cover_image

影像组学中纹理分析简介

邱甲军 四川大学华西生物医学大数据中心
2022年11月14日 04:49

影像组学,被定义为从感兴趣区中提取高通量的定量特征以及对这些特征的数据挖掘,也通常被简单地理解为是基于特征工程与经典的机器学习方法进行辅助诊断、疗效评价、或预后的一种技术方案。其中,坊间传闻,特征工程决定了机器学习的上限。医学图像的处理从定性分析(人工视觉分析)转到定量分析(计算机辅助分析)时必然需要定量特征如形态、纹理等。很多时候,单一地使用形状或大小等形态特征表达病灶可能存在困难,如肿瘤的形状与大小基本上是随机的,几乎不可能只使用形状、边界、或者大小等形态特征来鉴定肿瘤良恶性。相比之下,纹理是一种通过数学方法提取的定量描述符:一方面,病理组织学特性与病体机理改变是紧密关联的;另一方面,CT、MR等图像又是基于对不同组织结构(即不同介质、不同密度等)的反应不同而形成信号。可以推断,病体机理改变与这些基于断层扫描的医学图像的灰度模式之间存在某种关联。因此,纹理是一种优秀的定量特征,具有不可替代的优势。

图片

纹理分析主要有四大类方法,下面简单介绍一下它们在医学图像辅助诊断中的应用。

图片


 统计分析法

统计分析[1-2]是纹理分析中非常重要的分析手段,是在各个领域中得到了有效应用的成熟方法,特别是在医学图像的处理中。统计分析方法早在20世纪70年代 就应用于  自然图像的纹理特征提取中,最原始的统计是对像素灰度的统计,计算其均值、方差、二阶矩、三阶矩、直至多阶矩等统计量,并以统计量表达纹理特征,后来发展到考虑空间位置的共生矩阵以及游程长度矩阵等。统计分析法按照统计的复杂程度分可以为一阶统计分析、二阶统计分析、以及高阶统计分析。一阶统计分析如局部二值模式、直方图等等,二阶统计分析如灰度共生矩阵、灰度游程长度矩阵等,高阶统计分析如三维共生矩阵等,这些统计分析方法所计算的纹理特征通常都代表了一定的含义的“模式”。

结构分析法
结构分析法[4]分析图像中组成纹理的基元及其排列规则。基元指像素的灰度或其他具有特定性质的连通的像素集合。基元的排列规则常用树文法(Tree Grammar Syntactic Approach)[4, 13]来描述,基元具有面积、周长、偏心度、方向、延伸度、欧拉数、矩、幅度等主要特征。结构分析法主要基于数学形态学理论,对纹理构成容易理解,适合于描述规则和周期性的人工纹理。但对不规则纹理,当基元本身提取困难或基元之间的排布规则复杂时,该方法受到很大的限制[13]。

在医学图像辅助诊断应用中,病变的不规则性和复杂性,使得结构分析方法在该领域的应用非常有限。然而,在特定的临床问题中,基于结构分析方法有其特定的作用。

模型分析法


模型分析法是将纹理基元分布看成某种数学模型,运用统计理论中相应的方法对纹理模型进行分析,以获得纹理特征。在模型分析法中,纹理基于参数决定的分布模型而形成,以参数作为纹理特征。所以模型参数的估计是模型分析法的关键,模型法主要有MRF-GRF随机场模型、分形模型、自回归模型等。以MRF-GRF随机场为例,在医学图像辅助诊断中,很多病灶相互之间是叠加影响的(即存在噪声),病灶或器官组织本身也复杂(局部细节较多),而MRF-GRF模型对噪声很敏感,对局部细节特征的捕获不足,且计算量非常大,因此该方法较少使用。此外,医学图像中的纹理很难用单一模型表达。因此,模型分析法与结构分析发类似,在特定的临床问题中可能有其特定的应用。

频谱分析法


频谱法主要借助频率特性来分析纹理特征。频谱法是建立在多尺度分析(又称为多分辨率分析)基础上的纹理分析方法,因此有必要对频谱分析理论作一个介绍,对信号的频谱分析理论大致经历了6个阶段[14]:

⑴1822年,自从Fourier发表“热传导理论”以来,傅里叶变换(Fourier Transform)便成为最完美的数学分析工具之一,同时也是广泛应用的信号分析方法之一。

⑵为了解决傅里叶变换中的局部性问题,Dennis Gabor在1946年提出了“窗口傅里叶变换”的概念,该变换更多地称为伽柏变换(Gabor Transform);伽柏变换基于滤波器思想把图像不同的频率范围分别过滤出来,具有一定的多分辨率分析思想。

⑶1987年,为了解决Gabor变换中突变信号和非平稳信号得不到满意结果等问题,S.Mallat又建立了小波变换(Wavelet Transform)的概念,小波变换是一种多分辨率分析(Multi-resolution Analysis)方法,即多尺度分析方法,它是建立在函数空间概念的理论,该方法是在研究图像处理问题时建立的。特别地,因多分辨率分析中的基本思想与多抽样率滤波器组相一致,由此建立了小波变换与数字滤波器之间的联系。

⑷1998年,为了补充在高维情况下,小波分析并不能够充分利用数据本身特有的几何特征问题,Emmanuel J Candès提出脊波变换(Ridgelet Transform),称为多尺度几何分析方法。

⑸脊波变换提出之后,在此后的得到若干年内陆续扩展,又出现了如曲波变换(Curvelet Transform)、条带波变换(Bandelet Transform)、楔波变换(Wedgelet Transform)、以及小线变换(Beamlet Transform)等多尺度集合分析方法。

⑹在2002年,MN Do以及Martin Vetterli等提出了轮廓波变换(Contourlet Transform)的概念,该变换是一种“真正”的图像二维表示方法,也称塔型方向滤波器组,该变换是利用拉普拉斯塔形分解与方向滤波器组实现的另一种多分辨的、局域的、方向的图像表示方法。

总之,多分辨分析(包括小波变换与其他几类多尺度几何分析方法),是一种新的、高维函数的最优表示法,对于数据的某些重要特征集中体现于信号的低维子集中(如曲线、面等)的分量,多分辨率分析方法能够较好地进行检测、表示、与处理某些高维空间数据。比如在二维图像中,某些部位的主要特征可以由轮廓(包括内部与外部的边缘或突变细节)所刻画,而在三维图像中,有些重要特征又体现为丝状物(filaments)和管状物(tubes)。

伽柏变换、小波变换、以及轮廓波变换被常用于基于纹理分析的医学图像辅助诊断中[15-20]。

总结


纹理分析方法是影像组学的重要一环,以上只是一个常用方法的概括。没有一种通常的纹理分析方法是可以解决所有的临床问题的,对于一个特定的临床问题,需要有特定的解决方案。事实上,针对新的临床问题,也会不断有新的特征工程方法被提出。在实际研究过程中,我们可以首先将所有常用方法都执行一遍以观察初步实验结果(当然,这也是一个非常漫长且很困难的过程,毕竟涉及了太多可能的参数调节);最主要的,应该根据临床问题本身的特点,特别是结合成像原理、感兴趣区的组织学特性、以及其他可能的已知医学知识,去调节特征提取参数(后续的降维操作也可以与此相关)、去改进已有的特征提取方法、或者开发新的特征提取方法。


参考文献
[1]    R. J. Gillies, P. E. Kinahan, H. Hricak. Radiomics: images are more than pictures, they are data[J]. Radiology, 2015, 278(2): 563-577
[2]G. Castellano, L. Bonilha, L. M. Li, et al. Texture analysis of medical images[J]. Clinical Radiology, 2004, 59(12): 1061-1069
[3]R. M. Haralick, K. Shanmugam. Textural features for image classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973, 3(6): 610-621
[4]R. M. Haralick. Statistical and structural approaches to texture[J]. Proceedings of the IEEE, 1979, 67(5): 786-804
[5]H. K. Sawant, M. Deore. A comprehensive review of image enhancement techniques[J]. International Journal of Computer Technology and Electronics Engineering, 2010, 1(2): 39-44
[6]C. H. Chen, L. F. Pau, P. S. P. Wang, et al. The handbook of pattern recognition and computer vision (2nd edition)[M]. River Edge: World Scientific Publishing, 1998, 207-248
[7]A. Dixit, N. P. Hegde. Image texture analysis - survey[C]. International Conference on Advanced Computing and Communication Technologies, Rohtak, 2013, 69-76.
[8]P. Szczypinski, M. Strzelecki, A. Materka. Mazda - a software for texture analysis[C]. International Symposium on Information Technology Convergence, Gyeongju, 2007, 245-249
[9]P. Szczypinski, M. Strzelecki, A. Materka, et al. Mazda-a software package for image texture analysis[J]. Computer Methods and Programs in Biomedicine, 2009, 94(1): 66-76
[10]M. Strzelecki, P. Szczypinski, A. Materka, et al. A software tool for automatic classification and segmentation of 2D/3D medical images[J]. Nuclear Instruments & Methods In Physics Research A, 2013, 702: 137-140
[11]L. Zhang, D. V. Fried, X. J. Fave, et al. IBEX: an open infrastructure software platform to facilitate collaborative work in radiomics[J]. Medical Physics, 2015, 42(3): 1341-1353
[12]R. C. Gonzalez, R. E. Woods, S. L. Eddins. Digital image processing using matlab[M]. USA: Gatesmark Publishing, 2009, 644-656
[13]S. Y. Lu, K. S. Fu. A syntactic approach to texture analysis[J]. Computer Graphics and Image Processing, 1978, 7(3):303-330
[14]段贵多, 李建平, 黄添喜. 图像的多尺度几何分析概述[J]. 计算机应用研究, 2007, 24(10):9-14
[15]A. Cameron, F. Khalvati, M. A. Haider , et al. MAPS: A quantitative radiomics approach for prostate cancer detection[J]. IEEE Transactions on Bio-medical Engineering, 2015, 63(6):1145
[16]S. Fu, S. Chen, C. Liang, et al. Texture analysis of intermediate-advanced hepatocellular carcinoma: prognosis and patients' selection of transcatheter arterial chemoembolization and sorafenib.[J]. Oncotarget, 2016, 8(23): 37855-37865
[17]R. T. H. M. Larue, G. Defraene, D. De-Ruysscher, et al. Quantitative radiomics studies for tissue characterization: a review of technology and methodological procedures[J]. The British Journal of Radiology, 2017, 90(1070):20160665
[18]Q. Zhang, Y. Xiao, S. Chen, et al. Quantification of elastic heterogeneity using contourlet-based texture analysis in shear-wave elastography for breast tumor classification[J]. Ultrasound in Medicine & Biology, 2015, 41(2):588-600
[19]S. Lahmiri, M. Boukadoum. Hybrid discrete wavelet transform and gabor filter banks processing for features extraction from biomedical images[J]. Journal of Medical Engineering, 2013, 2013(7):53-56
[20]D. D. Manojbhai, R. Rajamenakshi. Large scale image feature extraction from medical image analysis[J]. International Journal of Advanced Engineering Research and Science, 2016, 3(1): 62-66





继续滑动看下一个
四川大学华西生物医学大数据中心
向上滑动看下一个