今天接触到图像配准问题,决定每个图像的点是否属于一个图像特点

       
前天接触到图像配准问题,在网上查找了一会,精晓到当下还没有哪种方法可以应对富有的配准情状,任何一种配准算法都必须考虑图像的成像原理、几何变形、噪声影响、配准精度等元素。从规律上讲,配准大致可以分为以下三个步骤:

     
 特征提取是电脑视觉和图像处理中的一个定义。它指的是应用微机提取图像新闻,决定每个图像的点是否属于一个图像特点。特征提取的结果是把图像上的点分为不同的子集,这么些子集往往属于孤立的点、连续的曲线仍然连续的区域。 

第三讲_图像特点与讲述Image Feature Descriptor

  • 概要
    图片 1

 

特点的概念 

特征提取方法

(1)特征提取

       
至今截止特点没有万能和精确的概念。特征的确切定义往往由问题要么利用项目决定。特征是一个数字图像中“有趣”的一对,它是成百上千电脑图像分析算法的起点。因而一个算法是否成功往往由它选取和概念的特性决定。由此特征提取最重点的一个风味是“可重复性”:同一场景的两样图像所提取的表征应该是同等的。 

直方图

  • 对图纸数据/特征分布的一种总括;对不同量举行直方图总括;可以代表灰度,颜色,梯度,边缘,形状,纹理,局部特征等
  • 灰度直方图;对量化的bin需要人工选取;量化过宽过窄都糟糕

利用人工或者机关的办法检测图像中的不变特征,如:闭合区域、边缘、概略、角点等。特征提取算法需要满足以下多个标准

       
特征提取是图象处理中的一个起码运算,也就是说它是对一个图像举办的率先个运算处理。它检查每个像一向确定该像素是否意味一个特征。假如它是一个更大的算法的一有的,那么那么些算法一般只检查图像的特色区域。作为特征提取的一个前提运算,输入图像相似通过高斯模糊核在尺度空间中被平整。此后因而一些导数运算来统计图像的一个或多少个特性。 

聚类

  • 错落样本集中内在群组关系
  • 常用方法:Kmeans,EM算法,Mean Shift;谱聚类,层次聚类等
    图片 2
  • 贪婪算法,日常陷入局部最优解(非全局最优)
  • K值和起来核心点采用
    图片 3

(a)显明性,所提取的表征应该是相比较彰着的,分布广泛的、易于提取的特征;

      
有时,要是特征提取需要多多的计量时间,而可以动用的光阴有限制,一个高层次算法可以用来决定特征提取阶层,这样仅图像的部分被用来搜寻特征。 

颜色特征

  • 量化颜色直方图:适用于RGB,HSV等均匀空间
  • 聚类颜色直方图:适合Lab等非均匀空间;考虑对图像质料感知和图像復苏!

(b)抗噪性,具有较强的噪声抑制能力且对成像条件的变通不灵动;

       
由于诸多电脑图像算法使用特征提取作为其初级总括步骤,由此有恢宏特征提取算法被进化,其领取的特点各类各类,它们的盘算复杂性和可重复性也非凡例外。 

几何特征

(c)一致性,能纯粹地检测出两幅图像的共有特征;

边缘 
       
边缘是组成六个图像区域里面边界(或边缘)的像素。一般一个边缘的造型可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中持有大的梯度的点构成的子集。一些常用的算法还会把梯度高的点交换起来来组合一个更健全的边缘的描写。那个算法也说不定对边缘指出一些限制。 

边缘

  • 边缘edge:像素显然变换的区域,一阶导数的极值区域
  • 先高斯去噪,再利用一阶导数到手极值;导数对噪声敏感。
  • 高斯滤波sigma标准差代表物体的规格
  • 边缘提取条件问题:不同标准差的滤波捕捉不同口径的边缘
    图片 4

 

有的地看边缘是一维结构。 

兴趣点/关键点(Interest point/keypoint)

  • 不等视角图片之间的映射
  • 平安局部特征点,具有明显性,抗变形等
  • 运用于图片配准,拼接;运动跟踪,物体识别,3D重建,机器人导航

 (2)特征匹配

角 
       
角是图像中点似的特征,在有的它有两维结构。早期的算法首先举行边缘检测,然后分析边缘的走平素探寻边缘突然转向(角)。后来上扬的算法不再需要边缘检测这些手续,而是可以直接在图像梯度中查找低度曲率。后来发觉这么有时候可以在图像中自然没有角的地点发现装有同角一样的特色的区域。 

Harris 角点

  • 显然点,在此外方向上移步小观望窗,导致大的像素变动
  • 非极大值抑制
    图片 5
    图片 6

通过特征描述算作及相似性度量来树立所提取的特征之间的照应关系。特征匹配常用到的区域灰度、特征向量空间分布和特征标志描述等音讯。某些算法在展开特色匹配的同时也完成了更换模型参数的推测。

区域 
      
与角不同的是区域描写一个图像中的一个区域性的社团,不过区域也说不定仅由一个像素组成,因而不少区域检测也得以用来监测角。一个区域监测器检测图像中一个对此角监测器来说太平滑的区域。区域检测可以被想象为把一张图像收缩,然后在裁减的图像上展开角检测。 

斑点(blob)

  • 拉普拉斯梯度:一阶导数极值点,二阶导数零点,对噪音敏感,需要先做高斯平滑
  • 二阶高斯导数滤波LoG
    图片 7

 

脊 
       
长条形的实体被称为脊。在实践中脊可以被用作是象征对称轴的一维曲线,另外局部针对于各样脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中水墨画中再三采纳脊检测来识别道路,在工学图像中它被用来甄别血管。 

一对特征

 (3)变换模型估计

特点抽取 
       
特征被检测后它能够从图像中被抽取出来。那么些进程或者需要过多图像处理的微处理器。其结果被喻为特征描述或者特征向量。 

sift关键点

  • 特点
    图片 8

  • scale-invariant feature transform

  • 统计步骤

    • 测算高斯差分(DoG)尺度空间,获取极值点
  • 特征点处理:地方插值,除去低相比度点,去除边缘点

  • 方向估算,描述子提取

  • 尺度空间通过sigma不同实现
    图片 9
    图片 10

  • 圆半径:特征点尺度;圆心:特征点坐标
  • 特征点估计
    图片 11
  • 特征点方向归一化:将坐标轴方向旋转为关键点方向(方向不变性)
  • 特征点描述子:旋转后的坐标上采样16*16的像素窗,8方向直方图累计梯度幅度
    图片 12

指遵照待配准图像与参考图像之间的几何畸变的事态,选用能最佳拟合两幅图像之间变化的几何变换模型,可以分成全局映射模型和有些映射模型。其中,全局映射模型利用具有控制点信息举行全局参数估量;局部映射模型利用图像局部的特性分别举办局部参数推测。常见的转换模型包括仿射变换、透视变换、多项式变换等,其中最常用的是仿射变换和多项式变换。

常用的图像特点有颜色特征、纹理特征、形状特征、空间关系特征。 

Surf (Speeded up robust features)

  • sift近似算法,实现高效版:紧要有均值滤波和积分图像
  • 加快,精度略有牺牲

 

一 颜色特征 

HOG

  • 大势梯度直方图
    图片 13
  • 特征由来
    图片 14

(4)坐标变换与插值

(一)特点:颜色特征是一种全局特征,描述了图像或图像区域所对应的风物的表面性质。一般颜色特征是按照像素点的性状,此时所有属于图像或图像区域的像素都有独家的奉献。由于颜色对图像或图像区域的来头、大小等转移不灵活,所以颜色特征无法很好地捕捉图像中目标的局部特征。此外,仅使用颜色特征查询时,假设数据库很大,常会将许多不需要的图像也查找出来。颜色直方图是最常用的发表颜色特征的点子,其亮点是不受图像旋转和平移变化的熏陶,进一步依靠归一化还可不受图像尺度变化的震慑,基缺点是一向不发挥出颜色空间分布的音信。 

LBP局部二只格局

  • 基本已询问

将输入图像做相应的参数变换,使它与参考图像处于同一个坐标系下。由于图像变换后的坐标点不必然是整数,因而,需要考虑一定的插值处理操作。常用的插值方法包括:近日邻插值、双线性插值、双一次插值、B样条插值、高斯插值。

(二)常用的特征提取与配合方法 

Gabor滤波器组

  • 多方向和标准
    图片 15
    图片 16

(1) 颜色直方图 

       
其亮点在于:它能大概描述一幅图像中颜色的大局分布,即不同色彩在整幅图像中所占的比例,特别适用于描述那一个难以自动分割的图像和不需要考虑物体空间地方的图像。其症结在于:它不可能描述图像中颜色的片段分布及每种色彩所处的空间地点,即不可能描述图像中的某一有血有肉的目的或物体。 

         最常用的颜色空间:RGB颜色空间、HSV颜色空间。 

        
颜色直方图特征匹配方法:直方图相交法、距离法、大旨距法、参考颜色表法、累加颜色直方图法。 

(2) 颜色集 

       
颜色直方图法是一种全局颜色特征提取与配合方法,不可以区分局部颜色信息。颜色集是对颜色直方图的一种恍若首先将图像从
RGB颜色空间转化成视觉均衡的水彩空间(如 HSV
空间),并将颜色空间量化成几何个柄。然后,用色彩自动分割技术将图像分为若干区域,每个区域用量化颜色空间的某部颜色分量来索引,从而将图像表明为一个二进制的颜色索引集。在图像匹配中,相比较不同图像颜色集之间的相距和色彩区域的长空关系 

(3) 颜色矩 

       
这种情势的数学基础在于:图像中其他的颜色分布均可以用它的矩来表示。此外,由于颜色分布消息根本汇聚在低阶矩中,因而,仅使用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以抒发图像的颜料分布。 

(4) 颜色聚合向量 

       
其大旨思想是:将属于直方图每一个柄的像素分成两有的,假使该柄内的少数像素所占用的连续区域的面积领先给定的阈值,则该区域内的像素作为聚合像素,否则作为非聚合像素。 

(5) 颜色相关图 

二 纹理特征 

(一)特点:纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的外部性质。但出于纹理只是一种物体表面的特征,并不可以一心显示出物体的本质属性,所以只有使用纹理特征是无力回天获取高层次图像内容的。与颜色特征不同,纹理特征不是按照像素点的风味,它需要在含有四个像素点的区域中展开总括总括。在形式匹配中,这种区域性的性状具有较大的优越性,不会由于一些的过错而望洋兴叹配合成功。作为一种总括特征,纹理特征常具有旋转不变性,并且对于噪声有较强的抵抗能力。不过,纹理特征也有其缺点,一个很分明的缺陷是当图像的分辨率变化的时候,所统计出来的纹路可能会有较大偏差。此外,由于有可能遭遇光照、反射境况的震慑,从2-D图像中呈现出来的纹路不自然是3-D物体表面真实的纹路。 

       
例如,水中的倒影,光滑的金属面相互反射造成的震慑等都会促成纹理的变动。由于这么些不是实体本身的风味,由此将纹理音信运用于检索时,有时这个假冒伪劣的纹理会对寻找造成“误导”。 

       
在探寻具有粗细、疏密等地点较大距离的纹路图像时,利用纹理特征是一种有效的法门。但当纹理之间的粗细、疏密等容易辨识的消息之间相差不大的时候,日常的纹路特征很难准确地突显出人的视觉感觉不同的纹理之间的反差。 

(二)常用的特征提取与配合方法 

  纹理特征描述方法分类 

(1)总结方法总括方法的突出代表是一种叫做灰度共生矩阵的纹理特征分析方法Gotlieb
和 Kreyszig
等人在研商共生矩阵中各类总计特征基础上,通过实验,得出灰度共生矩阵的两个基本点特性:能量、惯量、熵和相关性。总计方法中另一种典型形式,则是从图像的自相关函数(即图像的能量谱函数)提取纹理特征,即因而对图像的能量谱函数的盘算,提取纹理的粗细度及方向性等特征参数 

(2)几何法 

       
所谓几何法,是创设在纹理基元(基本的纹路元素)理论基础上的一种纹理特征分析方法。纹理基元理论认为,复杂的纹路可以由若干简便的纹理基元以一定的有规律的形式重新排列组合。在几何法中,相比较有震慑的算法有二种:Voronio
棋盘格特征法和结构法。 

(3)模型法 

       
模型法以图像的社团模型为根基,拔取模型的参数作为纹理特征。典型的主意是随机场模型法,如马尔可夫(马克ov)随机场(MRF)模型法和
Gibbs 随机场模型法 

(4)信号处理法 

        纹理特征的领到与配合重要有:灰度共生矩阵、Tamura
纹理特征、自回归纹理模型、小波变换等。 

       
灰度共生矩阵特征提取与配合紧要依靠于能量、惯量、熵和相关性三个参数。Tamura
纹理特征基于人类对纹理的视觉感知心思学研讨,指出6种特性,即:粗糙度、比较度、方向度、线像度、规整度和粗略度。自回归纹理模型(simultaneous
auto-regressive, SAR)是马尔可夫随机场(MRF)模型的一种拔取实例。 

三 形状特征 

(一)特点:各样基于形状特征的物色形式都足以相比较实用地选用图像中感兴趣的对象来进展搜索,但它们也有局部一头的问题,包括:①脚下基于形状的检索形式还缺少相比较完善的数学模型;②一旦目的有变形时追寻结果往往不太可靠;③广大形态特征仅描述了目的局部的习性,要健全描述目标常对计量时间和存储量有较高的要求;④居多模样特征所反映的对象形状信息与人的直观感觉不完全一致,或者说,特征空间的相似性与人视觉系统感受到的相似性有差别。其它,从
2-D 图像中突显的 3-D 物体实际上只是实体在半空某一平面的黑影,从 2-D
图像中反映出去的形制常不是 3-D
物体真实的形制,由于视点的变型,可能会爆发各类失真。 

(二)常用的特征提取与配合方法 

Ⅰ两种典型的形制特征描述方法 

       
通常状态下,形状特征有两类表示方法,一类是大概特征,另一类是区域特点。图像的概况特征重要针对物体的外边界,而图像的区域特征则关乎到全体造型区域。 

三种典型的样子特征描述方法: 

(1)边界特征法该办法通过对边界特征的讲述来取得图像的样子参数。其中Hough
变换检测平行直线方法和边际方向直方图方法是经典方法。Hough
变换是采取图像全局特性而将边缘像素连接起来组成区域封闭边界的一种情势,其基本思维是点—线的对偶性;边界方向直方图法首先微分图像求得图像边缘,然后,做出关于边缘大小和自由化的直方图,平日的法门是布局图像灰度梯度方向矩阵。 

(2)傅里叶形状描述符法 

        傅里叶形状描述符(Fourier shape
deors)基本思维是用物体边界的傅里叶变换作为形状描述,利用区域界线的封闭性和周期性,将二维问题转化为一维问题。 

       
由分界点导出三种形态表明,分别是曲率函数、质心距离、复坐标函数。 

(3)几何参数法 

       
形状的发布和非凡选择更为简易的区域特征描述方法,例如使用有关形状定量测算(如矩、面积、周长等)的形制参数法(shape
factor)。在 QBIC
系统中,便是行使圆度、偏心率、主轴方向和代数不变矩等几何参数,举行基于形状特征的图像检索。 

       
需要证实的是,形状参数的领取,必须以图像处理及图像分割为前提,参数的准头必然境遇分割效果的影响,对私分效果很差的图像,形状参数甚至不可能领取。 

(4)形状不变矩法 

利用对象所占区域的矩作为形状描述参数。 

(5)此外情势 

        近来,在造型的意味和匹配方面的工作还包括有限元法(Finite
Element Method 或 FEM)、旋转函数(Turning )和小波描述符(Wavelet
Deor)等方法。 

Ⅱ 基于小波和相对矩的形象特征提取与匹配 

        该办法先用小波变换模极大值得到多规格边缘图像,然后统计每一口径的
7个不变矩,再转发为 10
个相对矩,将有着标准上的绝对矩作为图像特征向量,从而统一了区域和查封、不封闭构造。 

四 空间关系特征 

(一)特点:所谓空间关系,是指图像中分割出来的三个对象之间的交互的长空地点或绝对方向关系,这个关乎也可分为连接/邻接关系、交叠/重叠关系和富含/兼容关系等。平时空间地点信息方可分为两类:相对空间地方音信和相对空间地方音讯。前一种关系强调的是目标之间的对立意况,如上下左右涉嫌等,后一种关系强调的是目标之内的相距大小以及方位。显而易见,由绝对空间地点可推出相对空间地点,但发表相对空间地方音信常相比简单。 

       
空间关系特征的施用可增进对图像内容的叙说区分能力,但空间关系特征常对图像或目标的团团转、反转、尺度变化等相比较灵敏。另外,实际使用中,仅仅使用空间消息往往是不够的,不可以使得精确地发挥场景信息。为了寻觅,除动用空间关系特征外,还索要另外特征来配合。 

(二)常用的特征提取与配合方法 

       
提取图像空间关系特征可以有三种办法:一种艺术是第一对图像举行活动分割,划分出图像中所包含的对象或颜料区域,然后依据这些区域提取图像特点,并创立目录;另一种办法则简单地将图像均匀地划分为多少平整子块,然后对每个图像子块提取特征,并建立目录。 
态度推测问题就是:确定某一三维目的物体的方位指向问题。姿态估量在机器人视觉、动作跟踪和单照相机定标等很多领域都有接纳。 

       
在不同领域用于姿态估算的传感器是不均等的,在此间重要讲基于视觉的神态揣度。 

       
基于视觉的态度估摸按照使用的录像机数目又可分为单目视觉姿态猜测和多目视觉姿态估摸。遵照算法的不同又可分为基于模型的情态估计和按照学习的千姿百态算计。 

一按照模型的态度臆想方法 

       
基于模型的法门一般采用物体的几何关系还是物体的特征点来揣摸。其主导思维是采用某种几何模型或协会来代表物体的结构和形制,并通过提取某些物体特征,在模型和图像之间确立起对应涉及,然后通过几何或者其它措施实现物体空间姿态的臆度。这里所选取的模型既可能是概括的几何形体,如平面、圆柱,也恐怕是某种几何结构,也恐怕是因此激光扫描或任何格局赢得的三维模型。 

       
基于模型的态度估算方法是由此比对真实图像和合成图像,举行相似度总括更新物体姿态。最近基于模型的点子为了防止在大局状态空间中开展优化搜索,一般都将优化问题先降解成四个部分特征的非凡问题,很是倚重于部分特征的标准检测。当噪声较大无法领取准确的有的特征的时候,该措施的鲁棒性受到很大影响。 

二基于学习的态度臆度方法 

       
基于学习的点子借助于机械学习(machine
learning)方法,从事先拿到的不等态度下的教练样本中学习二维观测与三维姿态之间的对应关系,并将学习收获的裁定规则或回归函数应用于样本,所得结果作为对样本的姿态预计。基于学习的主意一般接纳全局着眼特征,不需检测或识别物体的一部分特征,具有较好的鲁棒性。其缺点是由于不可以拿到在高维空间中展开连续猜想所需要的密集采样,因而不能确保姿态猜测的精度与连续性。 

       
基于学习的姿态估算方法源于姿态识别方法的盘算。姿态识别需要事先定义多个姿态体系,每个门类包含了肯定的千姿百态范围;然后为每个姿态体系标注若干训练样本,通过形式分类的不二法门磨练姿态分类器以贯彻姿态识别。 

       
这一类措施并不需要对实体进行建模,一般经过图像的大局特征举行匹配分析,可以使得的制止有些特征措施在纷繁姿态和屏蔽关系境况下出现的特色匹配歧义性问题。可是姿态识别方法只可以将姿态划分到先行定义的多少个态度连串中,并不能对姿态举办连续的可靠的估价。 

       
基于学习的不二法门一般采纳全局着眼特征,可以确保算法具有较好的鲁棒性。不过这一类措施的态度估量精度很大程度倚重于磨练的放量程度。要想相比较准确地得到二维观测与三维姿态之间的应和关系,就非得拿到充分密集的样本来学习决定规则和回归函数。而一般的话所需要样本的数码是随气象空间的维度指数级扩大的,对于高维状态空间,事实上不容许得到举行准确估计所急需的凝聚采样。由此,无法赢得密集采样而麻烦管教估算的精度与连续性,是基于学习的态度估算方法无法打败的向来困难。 

       
和态势识别等顶尖的情势分类问题不同的是,姿态估算输出的是一个高维的情态向量,而不是某个项目标类标。由此这一类措施需要上学的是一个从高维观测向量到高维姿态向量的照射,近期这在机器学习世界中仍然一个不行困难的问题。 

       
特征是讲述格局的一流艺术,且我们常见认为特征的逐一维度能够从不同的角度描述格局,在理想图景下,维度之间是补充完备的。 

       
特征提取的第一目标是降维。特征抽取的第一考虑是将原本样本投影到一个低维特征空间,拿到最能影响样本本质或开展样本区分的低维样本特征。 

       
一般图像特点可以分成四类:直观性特征、灰度总括特征、变换系数特征与代数特征。 

       
直观性特征紧要指几何特征,几何特征相比稳定,受人脸的情态转变与光照条件等因素的熏陶小,但正确抽取,而且测量精度不高,与图像处理技术密切相关。 

       
代数特征是依据总计学习方法抽取的表征。代数特征具有较高的辨识精度,代数特征抽取方法又可以分成两类:一种是线性投影特征抽取方法;此外一种是非线性特征抽取方法。 

       
习惯上,将基于主分量分析和Fisher线性鉴别分析所收获的性状抽取方法,统称为线性投影分析。 

      
基于线性投影分析的性状抽取方法,其主干考虑是基于早晚的属性目的来查找一线性变换,把原有信号数据压缩到一个低维子空间,使数码在子空间中的分布更为严密,为数量的更好描述提供手段,同时统计的复杂度得到大大降低。在线性投影分析中,以主分量分析(PCA,或称K-L变换)和Fisher线性鉴别分析(LDA)最具代表性,围绕这二种艺术所形成的特点抽取算法,已化作情势识别领域中非常经典和宽广使用的措施。 

       
线性投影分析法的第一弱点为:需要对大气的已有样本举行学习,且对稳定、光照与实体非线性形变敏感,由此采集条件对分辨性能影响较大。 

       
非线性特征抽取方法也是商讨的热点之一。“核技巧”最早选择在SVM中,KPCA和KFA是“核技巧”的推广应用。 

       
核投影方法的中坚考虑是将相貌本空间中的样本通过某种形式的非线性映射,变换来一个高维甚至无穷维的半空中,并借助核技巧在新的空中中应用线性的分析方法求解。由于新空间中的线性方向也呼应原样本空间的非线性方向,所以遵照核的阴影分析得出的黑影方向也应和原样本空间的非线性方向。 

       
核投影方法也有部分欠缺:几何意义不明确,无法精通样本在非显式映射后化作了什么分布情势;核函数中参数的抉择没有相应采用标准,大多数只能选择经验参数接纳;不适合操练样本很多的状态,原因是透过核映射后,样本的维数等于操练样本的个数,假诺操练样本数目很大,核映射后的向量维数将会很高,并将赶上统计量上的难题。 

        
就应用领域来说,KPCA远没有PCA应用的广泛。即使作为普通的降维KPCA确实比PCA效果好,特别是特色空间不是一般的欧式空间的时候进一步肯定。PCA可以因而大气的当然图片学习一个子空间,可是KPCA做不到。 

       
变换周详特征指先对图像进行Fourier变换、小波变换等,得到的系数后作为特色举行甄别。

相关文章