1引言
1.1课题背景
在过去的三十多年中,伴随着计算机技术的迅猛发展,医学影像技术也得到了巨大的发展,目前在临床上广泛应用的医学影像设备有计算机X线摄影术(Compute Radiography, C6-R)、超声(Ultrasound)、数字I 线摄影术(Digital Radiography, DR)、核磁共振(Magnetic Resonance Imaging,MRI)、数字血管剪影(Digital Subtraction Angiography, DSA)和射线计算机断层摄影(Computer Tomography,ET)等。随着医学影像技术的高速发展,可供临床诊断、学术研究和教学演示的医学图像急速增多,为了对这些医学图像进行高效的管理和利用,人们开发了医学图像分类管理系统,它将各类医学图像数字化后,分类存档到计算机中,并通过网络快速传输和共享,给人们带了极大的便利。但是,仅仅实现对医学图像的存储和传输并不能够为医学工作者和相关科研人员进行临床诊断和科学研究提供进一步帮助,而针对医学图像检索技术的研究却不够成熟,远远不能满足在临床、研究和教学中的应用需求⑴,这为医学图像检索技术的进一步研究和发展提出了迫切的需求。
1. 2传统的图像检索
传统的图像检索是基于关键字的图像检索(Keyword-Based Image Retrieval,KBIR),这种检索方式是将一系列描述图像相关信息(如图像内容、症状部位、患者代码和患者病症等)的关键字手工进行输入,然后通过特定算法在这些关键字和图像之间建立索引,如此以来就把对图像的检索变成了对文本的检索[2]。这种方式目前在许多医院的PACS(Picture Archiving and Communications Systems)中采用,PACS 是医学系统用于储备医疗图像数据的主要形式,简单易实现。但是,随着图像的爆炸性增长,这种依赖于手工标注的方式,存在着图像标注主观性强、耗时、同义词和一词多义的现象,这些现象导致图像检索的查准率、查全率较低和词义的表述含糊、不准确等缺点。由于基于关键字的医学图像检索这些缺点,它不能满足现代化医院高速运转的需要,因此,基于内容的医学图像检索应运而生。
2 CBIR原理和技术
2.1医学图像的基本特征
医学图像与一般图像(如自然景观、人物图片等)不同,具有自己独特的特征:(1)多模态性,现代医学影像设备的成像原理各不相同是造成医学图像的多模态性的主要原因。(2)模糊性,医学图像本质上具有不均勻性和模糊的特点。主要原因有以下三点:①CT值的不稳定性和技术上的噪声信号造成了模糊效应;②某些病变组织经常浸润于周边组织导致图像中物体的边缘、拐角以及区域间的关系都难以确确定。③在病变情况下出现的某些症状,如骨豁表面的骨刺、脏器表面的肿块,给数学建模带来了不可预测的困难,造成了不确定效应的出现。(3)灰度性,医学图像大多数只是灰度图像,没有彩色信息,因此能够利用的灰度信息相对较少。医学图像这些独有特征,决定了基于医学图像的检索难度大、复杂性高、任务艰巨,也决定了基于内容的医学图像检索的研究方向和目标。
2. 2 CBIR的基本原理
在典型的CBIR系统中,首先需要对图像库中的图像提取特征向量并建立图像与特征向量之间的索引,然后将向量存入特征库中。对待检索的目标图像提取特征向量之后在特征库中进行快速的匹配搜索来检索相似的图像,并根据相似度由高到低的顺序返相似度最高前M个图像作为检索结果。传统的用于检索的特征主要有灰度特征、纹理特征和形状特征等,其中纹理特征在医学图像检索中应用比较多,因为其反应图像的细致性。提取的特征的好坏直接关系到检索性能的优良。为了提高检索的效率,我们需要将图像中提取的特征向量和图像进行索引。在查询过程中,将从样本图像中提取的特征向量与特征库中的特征向量进行相似性比较。CBIR检索结构图如2.1所示,在图中最重要的就是图像索引数据库。在建立图像数据库和特征数据库时,对数据库中的全部图像提取特征向量并把特征向量和图像建立索引;在图像检索过程中,把从待检索的图像提取的特征向量和图像特征库中的所有特征向量进行相似度比较。为了提高检索的准确率并使检索更加符合人的视觉感知,一般会将人机交互部分即相关反馈加入到系统中,系统根据用户的评价进行各特征向量权重的调整,使查准率和查全率更高,更符合用户的需求。
1 引言 ………………1
1.1课题背景……………… 1
1.2传统的图像检索………………1
1.3 CBIR研究意义和应用现状………………1
1.4本文工作介绍………………3
2CBIR原理和技术………………5
2.1医学图像的基本特征………………5
2.2 CBIR的基本原理………………5
2.3 CBIR系统的关键技术………………6
2.4本章小结 ………………………………12
总结
本文主要研究了基于内容的医学图像检索技术。首先讨论了医学图像检索中的关键技术以及应用前景;接着讨论了图像特征的选择、提取、相似性度量和综合检索等,提取的特征主要有SIFT、SURF、ROOTSIFT和拓扑特征。在第三章中本文对这些特征提取算法进行了比较和分析;在第四章中本文提出了一种新的特征提取方法即拓扑特征,是一种用于刻画目标局部形状的描述子,在人脸识别、图像匹配和目标跟踪等领域占有很重要的地位。该算法提取的特征具有尺度、旋转不变和计算速率快等特性,在第五章中首先讲述了基于特征融合的医学图像检索的原理和关键技术,其次,分别利用单独的特征对医学图像进行了测试并进行了分析和总结。然而,使用底层视觉特征进行相似度度量与人对图像内容的理解和感知存在很大差异,在很多情况下仅仅以图像单个特征检索依据得到的检索结果不尽人意。最后,本文给每个特征向量赋予了不同的权重,在图像融合的基础上,提出了一种的新的方法ROOTSIFT和拓扑特征相^合的算法,得到了更为满意的结果。
本文介绍的相关算法,使得医学检索效率有了较大的提高。经过实验结果显示表明,本文提出的方法在医学检索上具有一定的参考价值。由于目前的基于内容的医学图像检索技术还有很大的缺陷,理论和实际应用上仍然有许多问题需要解决。如高维索引技术;图像特征相关性研究;压缩域的医学图像检索;应用于Internet领域的智能图像检索引擎等。这些导致基于内容的医学图像检索技术还没有在国内诸多医院进行普及。基于此,我们下一步的研究重点有:(1)进一步针对医学图像进行检索研究。本文内容对医学图像所做的研究并不完善,如何有效快速从海量图像中检索出和病人病情相关的案例是医学图像检索的一个关键。(2)语义信息的提取。本文所采用的特征都是图像的底层特征,怎么样实现底层特征和高层语义信息相结合的检索,是下一步的研究重点。(3)相关反馈机制的引入。本文实验中,我们只是以机器为中心进行检索,在检索的过程中没有加入人工交互机制。因此,在今后的研究过程中我们会把相关反馈机制加入,使用户在检索的过程可以及时的进行判断,以便提高检索的精度和效率。使查询过程和结果更加人性化、更加符合用户的感知需求。
参考文献
[1] Henning Muller, Javashree Kalpathy-Cramer, Ivan Eggel, et al. Overview of the CLEF 2009 medical image retrieval track, http://clef.isti.cnr.it/2009/working_notes, 2010-3-2.
[2] K.Barnard, P.Duygulu, D.Forsyth, et al. Matching words and pictures. Journal of machine learning research, 2003: 1107-1135.
[3] A Review of Content-Based Image Retrieval Systems in Medical Applications-Clinical Benefits and Future Directions. Henning Muller etc. International Journal of Medical Informatics.http://sblunwen.com/yxyxx/ Volume: 73,Issue: 1,February, 2004,pp.l-23.
[4] Content-based image retrieval in PACS. H.Qi, W.E.Snyder. Journal of Digital Image. 12(2)(1990)81-83.
[5] Shyu C R, Brodley C E,et al. ASSERT: A Physician-in-the-loop content-based retrieval system for HRCT iamge databases [J]. Computer Vision and Image Understanding,1999,75(1/2): 111-132.
[6] Shyu C R,Pavlopoulou C,et al. Using human perceptual categories for content-based retrieval from a medical image database [J]. Computer Vision and Image Understanding, 2002,88: 119-151.
[7] Kak A,Pavlopoulou C. Content-base image retrieval from large medical databases[C]. Proc. of the First International Symposium on 3DPVT 02 of IEEE,2002: 138-147.
[8] Marchiori A,Brodley C. CBIR for medical images-an evaluation trial[C]. In: IEEE Workshop on CBAIVL2001, Dec. 2001: 89-93.
[9] Kelly P M, Cannon T M, and Hush D R. Query by image example: the CANDID approach[C]. Proc. of SPIE Conference of Storage and Retrieval for Image and Video Databases III, 1995: 238-248.
[10]蔡蕾,王坷,张立保.基于局部二值模式的医学图像检索[J].光电子-激光,2008, 19 (1); 104-106