刘云翔,陈 剑,张强博
(上海应用技术大学计算机科学与信息工程学院,上海 201418)
如今在医学领域中图像配准[1]得到了广泛应用,大多医学图像[2]在处理中都会经过图像配准过程,它可以对不同图像进行拼接及融合,从融合的图像中找寻到更加丰富的数据信息,以此帮助医生解决疑难杂症。在临床手术中,临床医生都会依据配准的图像中取得更加详尽的病变信息,例如2D图像X光进行图像融合后能够更好地追踪到手术器械与人体组织相对应的空间位置信息,这无疑给人类带来巨大的贡献。因此为了提升图像配准在医学领域的应用效果,需要对形变医学图像配准方法进行进一步研究。
曹国刚[3]等人提出基于改进头脑风暴优化算法的医学图像匹配方法,该方法预先对需要匹配的图像进行分解,再采用IBSO算法对分辨率较低的图像进行全局配准,而分辨率较高的图像则是利用搜索法进行配准,将两种算法结合,并对医学图像进行配准实验测试,以此验证了结合后的算法对图像配准的精度更高,该方法的分解效果存有误差,存在图像配准效果差的问题。陈向前[4]等人提出基于深度学习的2D/3D医学图像配准方法,该方法采用普通的2D/3D配准方法对图像进行配准时,发现该方法对图像的灰度匹配依赖性过高,导致配准的时间长,针对这一不足对其进行改进,利用深度学习的卷积神经网络训练医学图像数据,从中取得医学图像特征,并对医学图像中的各个参数进行预测,以此实现配准,该方法的训练结果不够完善,存在图像配准时间长的问题。张家岗[5]等人提出基于深度卷积特征光流的形变医学图像配准算法,该方法首先利用卷积神经网络对医学图像中的特征进行提取,并根据图像与图像间的差异性,利用特征差异获取图像光流场数据,使图像光流场与实际形变医学图像更加相似,以此提升了形变医学图像配准精度,实现图像配准方法,该方法的特征提取效果存有欠缺,存在特征点的获取结果与实际结果相差较多的问题。
为了解决上述方法中存在的问题,提出基于角点检测与SIFT的形变医学图像配准方法。
2.1 医学图像特征点提取
为了提升医学诊断效果,采用角点检测与SIFT相结合的方法对中药医学图像特征进行提取。
1)尺度空间极值点检测
在尺度空间中,各个尺度的搜索可以在尺度空间内获取[6,7],这时的尺度空间表示为:L(x,y,σ)。通常情况下,中医药学图像的尺度空间定义为
L(x,y,σ)=G(x,y,σ)⊗I(x,y)
(1)
式中,⊗描述的是卷积运算,I(x,y)描述的是中医药学输入图像,G(x,y,σ)描述的是二维高斯函数。
G(x,y,σ)也可定义为
(2)
式中,σ描述的是尺度因子,(x,y)描述的是空间坐标点,w描述的是权值。
由于中药医学图像的L(x,y,σ)主要由I(x,y)与σ相互卷积而成,所以卷积后的图像需要利用高斯金字塔进行表示。
对高斯金字塔中的中药医学图像设定完成后,需要检测高斯金字塔中的极值点,将其用作初始特征点,便于后续对中医药学图像的配准,极值点[10,11]的检测流程如下所示:
①首先对中药医学图像进行卷积操作,从中产生与中药医学图像相对应的尺度空间,即G(x,y,σ)。
②利用高斯金字塔对G(x,y,σ)进行表示,并对高斯金字塔中的邻近层次进行相减操作,以此形成差分高斯金字塔。
③对同一层次的2.5*2.5邻域与邻近2.5*2.5邻域进行检测,主要检测邻域中的极值点。
通过上述流程完成中药医学图像极值点的检测,将检测结果用作初始特征点,并把初始特征点中具有高灰度差异的交点作为最终关键点[12]。
2)Harris角点生成
角点特征容易受到医学图像像素、纹理等信息的影响,导致不能完整地反映出角点特征,因此为了避免这种问题的发生,利用向量对图像特征点的方向特征进行描述,具体表现如下:
①找一个2.5*2.5的邻域窗口,该窗口的主要中心为Harris角点,采用直方图[13]对邻域窗口中的中医药学图像像素梯度方向进行计算,以此获取梯度大小及梯度方向等信息。
②直接对中医药学图像像素点进行生成,从而形成梯度方向直方图,并对图像特征点的正方向进行计算。设置直方图中的梯度范围在0°～360°之间,将该范围划分成36段,其中每一段表示为10°。那么这时梯度中的加权函数wn就可以定义为:
wn=G(kx,ky,3/2σ)
(3)
③直接在直方图中选取累加值最大的梯度方向点,共选取三个,它们也被称作方向特征,主要用来反映角点特征。
通过极值点检测与Harris角点特征的生成,可以得到基于角点检测与SIFT方法的中医药学图像特征点提取流程,表示如下:
①基于尺度空间极值点检测流程之后,需要对每个初始特征点所对应的Harris角点算子进行计算,并对计算结果进行排序。
②将Harris角点算子计算结果中的前z个点用作最终特征点。
③对z个特征点的方向进行描述,以此完成对中医药学图像特征点的提取。
深度学习的卷积神经网络可以更好地对中药医学图像进行配准,因此,构建一个深度学习的卷积神经网络模型,该模型的具体流程如图1所示。
图1 卷积神经网络模型配准流程
图2 医学图像
卷积神经网络[14]模型会根据角点检测与SIFT方法提取的中医药学图像特征对医学图像进行预测,以此获取图像中的各个参数。该模型相当于一个专家系统,对图像各项参数获取后会依据患者的具体病症,直接输出与其对应的药方,在实现形变医学图像配准的同时还可以达到药方输出的效果,具体表现如下所示:
把角点检测与SIFT方法提取的中医药学图像特征输入到卷积神经网络模型中,对形变医学图像进行配准时,需要对提取的特征进行训练,同时还要对不同的损失函数进行优化,以此降低图像之间的差异,提升最终匹配效果。
1)损失函数
(4)
对中药医学图像进行配准时,共有两种匹配方式。第一种是对正确的中医药学图像进行匹配,而第二种是对非正确的中医药学图像进行匹配。所以在医学图像特征匹配网络中,特征匹配的损失函数用Ldescriptor进行表示,其方程表达式定义如下
(5)
式中,DISpositive描述的是正确的中医药学图像匹配差异,DISnegative描述的是非正确的中医药学图像匹配差异,E描述的是图像到中心点的欧氏距离。
根据式(4)、式(5)可以得知,当非正确中医药学图像匹配期间的欧式距离E小于设定阈值,就需要对中医药学图像进行掩模。
2)形变医学图像配准
将基于角点检测与SIFT结合方法提取到的中药医学图像特征输入到构建的模型中,可以有效提升形变医学图像的配准精度,同时也能够优化图像特征提取及配准效果。
当一个待配准的中药医学图像输入到模型中时,根据提取的特征点对像素点为30×30的中药医学图像进行裁剪,这时把该图像的输入特征匹配点对裁剪后的图像进行匹配。利用损失函数对特征点进行训练,以此实现对Ldetector与Ldescriptor的优化,从而降低中医药学图像的错误匹配率,完成形变医学图像的配准。
为了验证基于角点检测与SIFT的形变医学图像配准方法的整体有效性,需要对该方法进行对比测试。采用基于角点检测与SIFT的形变医学图像配准方法(方法1)、基于改进头脑风暴优化算法的医学图像配准方法(方法2)和基于深度学习的2D/3D医学图像配准研究方法(方法3)进行对比测试。
1)选取一张大小相等的医学图像,对其进行尺度、旋转、平移等变换后,采用方法1、方法2和方法3分别对该图像的特征点进行获取,根据获取结果与实际值进行对比,以此验证该方法的图像配准效果。
分析图3中的数据发现,三种方法在各个时间段内所获取的特征点都有所不同。但整个测试期间,方法1与实际值的特征点始终保持一致,而其余两种方法特征点上下浮动较大,与实际值相差较远,由此可见方法1的特征点与实际值相同,验证了方法1的医学图像配准效果最优。
图3 特征点与实际特征点的对比测试
2)采用方法1、方法2和方法3对医学图像进行配准,将配准结果与实际配准结果进行比较,配准结果与实际结果越相近,说明该方法的配准结果准确率越高,反之则越低,测试结果如图4所示。
图4 配准结果测试
根据图4可知,方法1的匹配结果与实际匹配结果相同,表明方法1的配准精度最高。而方法2进行配准时,有一处位置图像没有配准成功,说明方法2的配准效果较差,而方法3进行配准时,与实际图像相比,方法3的图像配准位置有三处没有配准成功,说明三种方法中方法3的配准效果最差、配准准确率最低。
综上所述,方法1的配准效果与实际结果更为相似,这是因为方法1提取了医学图像特征点,以此提升了方法1的配准效果,同时提高了方法1的配准准确率。
3)基于上述实验,采用方法1、方法2和方法3分别对形变医学图像的配准时间进行测试,测试结果如图5所示。
图5 配准时间测试
分析图5中的数据发现,对图像进行配准时,方法1、方法2与方法3的初始时间均不相同,可明显发现,方法1的初始配准时间要低于其余两种方法,而后上升速度运动轨迹较慢,配准时间持续低于方法2和方法3,表明方法1的配准时间最短,配准速度最快。
针对形变医学图像配准方法存在的问题,提出基于角点检测与SIFT的形变医学图像配准方法。该方法采用角点检测与SIFT结合的方法提取医学图像特征点,通过构建深度学习的卷积神经网络模型对中药医学图像进行配准,实现形变医学图像配准方法。该方法在医学图像配准方法中占据着重要地位,为今后的医学图像配准方法奠定了重要基础。
猜你喜欢 医药学角点卷积 基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02从滤波器理解卷积电子制作(2019年11期)2019-07-04基于FAST角点检测算法上对Y型与X型角点的检测电子技术与软件工程(2018年10期)2018-07-16基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20基于边缘的角点分类和描述算法电子科技(2016年12期)2016-12-26基于圆环模板的改进Harris角点检测算法系统工程与电子技术(2016年4期)2016-08-24中国民族传统医药学现代传承与高等教育中国民族医药杂志(2016年7期)2016-05-09论蒙医药学的挖掘与展望中国民族医药杂志(2016年7期)2016-05-09中医药学术语系统研究概述中国中医药图书情报杂志(2015年5期)2015-12-10一种基于卷积神经网络的性别识别方法电视技术(2014年19期)2014-03-11