3O卷2期 2011年4月 中 国 生物 医学工程学报 Chinese Journal of Biomedical Engineering V01.30 No.2 April 2011 基于多目标交叉变异粒子群算法的多模医学图像非刚性配准 许鸿奎 江铭炎 杨明强 250100) 250101) ’(山东大学信息科学与工程学院,济南(山东建筑大学,济南摘 要:以互信息为相似性测度,采用B样条变换对多模态医学图像进行非刚性配准时,由于噪声及图像插值等 原因造成的互信息局部极值使得传统优化方法不能搜索到最佳配准参数。为此,使用粒子群智能优化方法作为搜 索策略,以降低对图像预处理的要求,进一步提高基于互信息的非刚性配准的鲁棒性。为了克服粒子群算法受初 始值选取等因素的影响易陷于局部最优的缺点,使用LBFGS优化得到的结果构造初始粒子群,采用多目标优化方 法结合交叉变异策略加以改进,使得算法在解空间搜索的遍历性得到改善,优化结果更接近全局最优。MR—T2与 MR.PD图像的配准实验证明,该方法提高了基于互信息的B样条非刚性配准的鲁棒性,配准率达到94%;CT与 PET图像的配准实验表明该方法相比惯性权重粒子群算法提高了配准精度,互信息增加了0.026;另外,CT与 CBCT图像的配准实验也验证了本方法的有效性。 关键词:非刚性配准;互信息;多目标优化;粒子群算法;交叉变异 中图分类号TP391 文献标识码A 文章编号0258—8021(2011)02-0232 ̄8 Non-rigid Registration of Medical Multimodal Images Based on Multi-objective Cross-mutation PSO Algorithm XU Hong—Kui JIANG Ming.Yan YANG Ming—Qiang (School of Information Science and Engineering,Shandong University,Jinan 250100,China) (Shandong Jianzhu University,Jinan 250101,China) Abstract:When mutual information is used as similarity measure in B—spline based non—rigid registration for muhimodal medical images,it is difficult to find the best registration parameters using traditional optimization as search strategy due to local maxima of mutual information caused by image noise and interpolation.We proposed to apply particle swarm optimization(PSO)to improve the robustness of non-rigid registration.LBFGS optimization was utilized to make initial particle swarm to avoid local optimum.Then,the multi—objective optimization,combined with cross mutation strategy,was used to achieve global optimum because of the improvement in traversal for solution space.Registration experiments with MR—T2 and MR・PD images demonstrated that the robustness of mutual information based non-rigid registration was improved and the registration ratio was up to 94%.Experiments with CT and PET images indicated that the mutual information increased by 0.026 over inertia weight PSO.Moreover,experiments with CT and CBCT images also veriied the feffectiveness of the proposed method. Key words:non-rigid image registration;mutual information;multi—objective optimization;particle swarm algorithm(PSO);cross—mutation doi:10.3969/j.issn.0258-8021.2011.02.011 收稿日期:2010-05—10,录用日期:2010-11-12 基金项目:国家自然科学基金(30870666) }通讯作者。 E-mail:jiangmingyan@sdu.edu.ca 2期 许鸿奎,等:基于多目标交叉变异粒子群算法的多模医学图像非刚性配准 233 引言 不同模态的医学图像提供不同的信息,如CT (computer—assisted tomography)和MRI(magnetic 种群的多样性,克服粒子群算法受初始值的选取等 因素的影响易陷人局部最优的缺点。实验证明,不 必对图像进行预平滑处理也能得到理想的配准精 度,提高了互信息配准的鲁棒性。 resonance image)图像提供清晰的解剖结构信息,而 PET(positron emission tomography)和fMRI 1 基于互信息的图像配准 尽管多模医学图像的灰度并不相似,甚至差别 (functional MRI)则提供各种功能信息。图像融合 可以充分利用多模态医学图像的各种相互补充的信 很大,但对同一人体组织而言,对应像素点之间的灰 息,在医疗诊断、治疗方案的制定等方面发挥重要的 作用。 图像融合的前提是图像配准,而以互信息为相 似性测度的图像配准不需要对图像进行分割或其他 预处理,特别适合于多模态医学图像的配准。基于 互信息的配准最早由Maes提出¨ ,基于互信息的 非刚性配准最早由Meyer 采用薄板样条变换实 现 ;文献[3—5]则基于互信息采用B样条变换 完成了非刚性配准,其中文献[5]相对[3]提高了配 准速度,但是配准精度有所下降。虽然基于互信息 的配准已经得到了很大发展和应用,但在提高配准 精度上还面临许多挑战,主要问题在于传统的优化 方法如梯度下降法、拟牛顿法(1imited.memo ̄ Broyden Fletcher.Goldfarb.Shanno,LBFGS)等很容易 陷入互信息的局部极值,不能很好地搜索到最佳配 准参数。对图像进行预滤波处理,改善互信息曲面, 使其更为平滑,一定程度上可以提高配准精度。然 而实验证明,使用不同的滤波器得到的配准结果差 别很大,而不同的图像对滤波器的要求也不一样,这 就了基于互信息的配准方法的应用。为此,文 献[6—7]分别使用遗传算法、粒子群算法去全局搜 索最大互信息以获得最佳刚性变换参数,取得了良 好的结果;文献[8]使用海明窗滤波对图像进行预 处理,再利用粒子群算法进行全局搜索。然而,这 些方法都是针对刚性配准的。 基于互信息的非刚性配准(如基于B样条的配 准),特别适合于具有局部差异的多模态医学图像 之间的配准。相对刚性配准,更多的配准参数及其 相互作用,使得互信息曲面更加复杂;各种因素产生 的互信息局部极值对搜索策略提出了更高的要求, 若采用传统的以及上述优化方法,难以得到理想的 配准结果。针对这一问题,本研究提出一种新的配 准参数的全局搜索方法,用于基于互信息的多模态 医学图像的B样条配准。它以LBFGS的优化结果 为参考来构造初始种群,初始种群更优良;采用粒子 群算法进行多目标优化,结合交叉变异策略来增加 度在统计学上并非而是相关的;而互信息用于 描述两个系统间的统计相关性,或者一个系统中所 包含的另一个系统中信息的多少,因而以互信息为 测度进行配准是可行的 。 给定图像A和 ,它们的互信息量定义为: MI(A, )=日(A)+ (B)一 (A,B) (1) 其中, (A)和日( )分别为图像 和日的熵,日(A, )为二者的联合熵。互信息的计算可以通过两幅 图像的联合直方图统计来获得: MI( )=∑ 6)logs (2) 式中,P (。,b)为两图像的灰度对(a,b)在两图像 相同坐标位置的出现概率,P (a)是图像A中像素 取灰度值a的概率,P。(b)是图像B中像素取灰度 值b的概率。 基于互信息的图像配准可以描述为: To。 =arg maxMI(A,T(B)) (3) 式中,A为参考图像,曰为浮动图像, 表示对浮动图 像施加的某种变换,采用三次B样条变换。配准过 程就是对互信息函数的最优求解过程。 1.1基于B样条的图像变换 基于B样条自由变形的图像配准是通过操控 覆盖在图像上的控制网格来实现的。B样条函数的 局部特性使得一个控制点的移动只会影响它附近的 像素点,而不是整个图像所有的像素点都发生移动, 因而特别适合于具有局部变形的图像之间非刚性 配准。 定义域 为包含图像所有像素的最小平面矩 形域,用 表示由n ×n 个控制点 (0≤i≤n , 0≤ ≤n )所组成的网格,网格步长为 。将网格 覆盖在平面矩形域力上, 上的一个点P( ,Y)经 过三次B样条变换后的位置用下式表示: ( ,y)=∑∑B z(u)曰 ( ) 川 (4) 式中,“=詈一I詈I, =詈一{音}, f詈} ,.『= 234 中 国生物 医学工程学报 30卷 l詈j一1,L.J表示取整运算, ( ) :0,1,2,3 是B样条的第k个基函数 。 B。(M) (1一u) 6 B1(“) 3Ⅱ 一6“ +4 6 (5) 一3 ,+3u +3 +1 、 B2(Ⅱ) 6 3 B (u) “6 某点的位移由其周围的16个网格控制点及其 位移决定。0≤“<1,表示网格控制点对 贡献的 权重,该权重基于该点到各网格顶点的距离。 基于互信息的B样条配准,就是找到一组最合 适的网格控制点 对浮动图像进行变换,使得变换 后的浮动图像与参考图像之间的互信息最大,而最 优变换参数由搜索策略完成。 1.2传统优化算法对于互信息配准尚存在的问题 传统的优化算法如牛顿法、梯度下降法具有理 论完备、算法成熟、效率较高和结果稳定性较好等诸 多优点,因而在实际应用过程中获得了广泛应用。 但是它们对函数的连续性、导数的存在性都有相对 较高的要求,采用梯度下降法、LBFGS法寻找上述 最优配准参数,需要预先对图像进行高斯平滑处理, 以减少互信息的局部极值点,否则无法收敛到最优, 配准效果不理想。 互信息局部极值的产生原因是多方面的 ,比 如图像本身固有的特性,图像变换时插值的影响, 图像重叠区域大小的变化,噪声的影响等等。抑制 局部极值有多种方法,比如可以采用更高阶的插值 方法,或对图像先进行图像分割等预处理,再进行 配准。高阶的插值意味着计算量的增大,采用分割 预处理与图像本身的特性有较大关系,不具有普遍 适用性。对于基于B样条的非刚性配准,互信息局 部极值的产生原因更加复杂,更多的配准参数及其 相互作用使得互信息函数更加复杂。互信息函数的 非凸性、不规则性使得传统优化算法在寻优过程中 很容易陷入局部极值。实验证明,若不进行高斯平 滑预处理,梯度下降法和LBFGS找不到最优配准参 数;而不同的图像,不同阶次的B样条,甚至不同的 B样条网格尺寸对高斯平滑滤波器的参数要求也都 各不相同。这种对图像预处理的要求,影响了互信 息配准的鲁棒性。为此,拟采用全局搜索的智能优 化方法寻找最优配准参数。 2 粒子群搜索策略 从20世纪60年始,以遗传算法(genetic algorithm,GA)和粒子群优化方法(particle swarm optimization,PSO)为代表的智能算法得到了很大发 展,其主要特点是全局随机搜索策略,不用考虑目标 函数本身是否连续或者可微。而粒子群优化算法相 对遗传算法又具有本质的并行性,具有更高的搜索 效率。PSO算法起源于对一个简化社会模型的仿 真,它和鸟类或鱼类的群集现象有明显的联系。作 为种群进化方法,每个优化问题的解被认为是搜索 空间的一个飞行的粒子,所有的粒子都有一个由目 标函数决定的适应度值,每个粒子由一个速度决定 其飞行方向和距离。PSO算法初始化为一群随机粒 子,粒子们根据对个体和群体的飞行经验的综合分 析来动态调整各自的飞行速度,在解空间中通过迭 代寻找最优解。每一次迭代中,粒子通过跟踪两个 “极值”来更新自己,一个是个体极值pbest,即粒子 目前自身所找到的最优解;另一个是全局极值 gbest,即整个种群目前找到的最优解。在基本粒子 群算法中,速度和位置的更新按下面公式进行¨ : = :+c1r1(pbest;一 :)+c2r2(gbest ̄一 ;) (6) 。= l= :+f十 £f (L /) 式中,下标i代表第i个粒子,下标-『代表速度或位 置的第-『维,上标k代表迭代次数;C 和c 是学习因 子,通常C。、c ∈[0,4];,,和r2是介于[0,1]之间的 随机数;pbest 是粒子P 在第 维的个体极值的坐 标;gbest ̄是群体在第_『维的全局极值的坐标。 粒子群算法这种全局搜索策略,不必考虑目标 函数本身是否连续或者可微,因而用于基于互信息 的多模医学图像非刚性配准时,就没有对图像进行 平滑预处理的特别要求。实验表明,高斯平滑滤波 对其收敛性影响很小,因而采用粒子群优化算法来 搜索B样条配准参数。但是实验中也发现,即使采 用带惯性权重因子的粒子群算法 ,受初始值随机 选取的影响,结果也不稳定,出现了早熟现象,配准 结果不甚理想,为此本研究提出多目标交叉变异粒 子群优化算法加以改进。 3 多目标交叉变异粒子群优化算法 随着基本粒子群算法的不断应用,出现了很多 改进方法。除了上述引入惯性权重和压缩因子外, 2期 许鸿奎,等:基于多目标交叉变异粒子群算法的多模医学图像非刚性配准 235 典型的还有自适应模糊粒子群算法、杂交微粒群优 度;p是杂交概率。在迭代过程中,后代不断地继承 来自两个子群的父代的特征,然后又寻找使自己的 适应度函数最优的位置。这种交叉变异机制,保证 了种群的多样化,使得算法在解空间搜索的遍历性 化算法、免疫粒子群算法、小生境粒子群算法¨ 等 等,在不同的应用领域取得了良好的效果。 针对基于互信息的多模态医学图像的非刚性配 准,采用粒子群算法进行多目标优化¨ ,结合交叉 变异策略¨ 来跳出局部极值,克服粒子群算法早 熟的缺点;同时对种群的初始化加以改进,以 LBFGS的优化结果作为参考值构造初始种群,这样 构造的初始种群离目标函数的全局最优更近,陷入 局部最优的机会大大减少。虽然这样会消耗一定的 时间,但可以进一步提高配准精度。 3.1多目标粒子群优化算法 多目标优化最早由意大利经济学家V.F. Pareto提出,通常一个多目标优化问题可以表示如 下 : minF( )={ ( )√ ( ),一√ ( )} ∈S c R“ (8) 式中, c 称为可行解区域, 为决策变量,E={, ( )I E R }为目标向量, ( )i=1,2,…n是第i个 目标函数。在大多数情况下,各个目标函数可能是 有冲突的,这就使得多目标优化问题不存在惟一的 全局最优解,使所有目标函数同时最优。 由于误差的平方和(sum of square differences, SSD)也是配准图像的常用的相似性测度,采用互信 息为第一目标函数 ( ),而SSD为第二目标函数厂2 ( )。采用下述交叉变异的方法,同时优化两个目 标函数,以期增加种群的多样性。 3.2子群间的交叉变异 在两个子群中按一定的杂交概率选取指定数量 的粒子放入繁殖池中随机地两两进行杂交,产生相 同数目的子代粒子。子代粒子的位置按式(9)和式 (10)根据父代粒子的位置计算得到,子代粒子的速 度按式(11)和(12)根据父代粒子的速度计算得 到¨ 。杂交后的子代粒子回归到各自的子群并代 替父代粒子,从而保持种群的规模不变。 C ( )=P P。( )+(1一P)P:( ) (9) C:( )=P P ( )+(1一P)P ( ) (10) cJ( )I(11) c:㈩= :㈩l(12) 式中, 是粒子的位置矢量, 是粒子的速度矢量;C ( )和P ( )i=1,2是子代粒子和父代粒子的位置; C ( )和P ( )i=1,2是子代粒子和父代粒子的速 得到改善,可以有效地避免求解陷入局部最优。 3.3 算法流程 步骤1:子群划分:根据目标函数 ( )和 ( ) 把微粒群平均分成2个子群ChiledS。和ChiledS 。 步骤2:设置子群参数:设置粒子的杂交概率P, 设置其它参数学习因子c。、C ,惯性参量∞、速度限 制Umax等。 步骤3:以LBFGS的优化结果为参考,初始化两 个子群ChiledS 和ChiledS:中各粒子的初始位置。 步骤4:按照惯性权重粒子群算法更新子群中 粒子的速度和位置。 步骤5:子群间的交叉变异:从两个子群中按参 数选择一定的粒子进行杂交,根据式(9)和式(10) 以及式(11)和式(12)分别产生子代的速度和位置。 步骤6:满足迭代中止的条件,则停止迭代,否 则返回步骤4继续迭代。 由两个目标函数的搜索结果取均值作为最终配 准参数,然后对浮动图像进行B样条变换,完成和 参考图像的配准。 4 实验结果与分析 脑部实验图像来自BrainWeb 16]。图1(a)是 217像素×181像素的MR—T2图像,作为配准的参 考图像;图1(b)是相对应的MR-PD图像,在左上方 和右下方经过了局部变形,作为待配准的浮动图像。 此变形是对两个网格控制点进行一定的移位产 生的。 首先以互信息为相似性测度,采用LBFGS优化 方法进行三次B样条变换实现配准,B样条变换的 网格大小为32像素X 32像素。正如前面1.2节分 析,由于互信息曲面存在局部极值,配准前需要预滤 波平滑处理。图1(C)是使用模板大小为20像 素×20像素和尺度为5的高斯滤波器得到配准图 像,表1列出了使用不同参数的高斯平滑滤波器得 到的配准结果。可见,使用不同的滤波器配准的结 果差别很大。LBFGS优化方法对图像预处理的依 赖,影响了基于互信息配准方法的鲁棒性。 粒子群算法是一种全局优化方法,不需要图像 预处理,也能得到较高的配准精度。图2是采用惯 性权重粒子群优化方法的配准结果,配准前没有进 2期 许鸿奎,等:基于多目标交叉变异粒子群算法的多模医学图像非刚性配准 239 [12] 王万良,唐宇.微粒群算法的研究现状与展望[J].浙江工 业大学学报,2007,35(2):136—141. gaussian distributions[c]//Mario K.8th On-Line World Conference on Soft Computing in Industrial Applications. Berlin:Springer,2005:287—298. [13] Xiang Feng,Francic CM.A parallel evolutionary approach to multi—objective optimization[C]//Kay CT.2007 IEEE Congress on Evolutionary Computation. Singapore:IEEE Computational Intelligence Society.2007:l199—1206. [15] 张敏慧.改进的粒子群计算智能算法及其多目标优化的应 用研究[D].杭州:浙江大学,2005. [16] EVANS AC.BrainWeb:online simulated brain database[DB/ OL].http://WWW.bic.toni.mcgil1.ca/brainweb,2006—06— 08/2007—03—01. [14] Coelho Ls,Krohling Ra.Predictive controller tuning using modiied partficle swarm optimization based on cauchy and