第一章 引言
1.1 研究背景与意义
图像分割是数字图像处理和计算机视觉中的基础内容,很多高层应用都依赖于准确的图像分割结果。例如在模式识别领域,利用图像分割结果找到图像中的关键区域,可进一步识别出这个区域中物体的类别;在医学研究领域,通过医学图像分割,定位出人体组织的具体位置和病变区域,协助医务人员进行治疗;在统计学领域,通过对待研究物体图像序列的分割,获取物体长时间范围内的统计学规律。而人体图像分割作为图像分割的一类具体问题,对提取到的人体轮廓的准确性和实时性都有较高的要求,其研究意义也更加明确。例如,在体育运动领域,通过对人体视频的逐帧分割,获取短时间内人体的姿态变化规律,帮助运动员提高成绩;在公共安全领域,通过对人流密集场所进行实时监控保证公共安全;在三维人体重建领域,通过人体图像分割可快速获取人体图像的比例特征,完成对三维人体模型的变形。
标准人体图像分割的另一个重要应用为人体的非接触式测量。现阶段,通过二维人体图像测量人体三维信息主要分为两个步骤,分别为人体图像分割和特征点数据拟合。人体图像分割作为人体特征点提取的基础,是人体测量结果的保证,而通过人体特征点信息拟合出的三维数据是否符合真实的人体数据是非接触式测量的关键。
随着生活水平的提高,人们对于体型的关注越来越高。一方面,国内外相继建立了各类人体数据库,用以对特定地区和特定人群的体型统计。另一方面,以虚拟现实技术为基础的虚拟试衣系统在市场中逐渐形成规模。通过对标准人体的图像分割,获取如胸腰臀等部位的宽度、厚度以及腿长等关键部位的二维数据,再通过数据拟合出真实的人体三维数据不管在体型统计还是在虚拟试衣系统中都具有重要的研究意义。
............................
1.2 研究现状
1.2.1 图像分割研究现状
标准人体图像分割作为图像分割的一类具体问题,与其相关的分割方法除了一些传统方法(如阈值法[1]、边界检测[2]、区域法[3])外,现阶段比较流行的有基于像素聚类的分割方法,基于图论的分割方法和基于深度学习框架的分割方法。 基于像素聚类的典型分割方法如:Fukunaga 等[4]提出的 Meanshift 算法,该算法将图像映射到多维特征空间中,在该空间中选择一些区域进行矢量操作,并将操作的结果记为 Meanshift 向量。通过对若干个 Meanshift 向量的有限次迭代使算法收敛到图像中概率密度最大的点,称为模点。通过对模点的聚类完成图像分割,但该方法在图像对比度较差时,易产生欠分割现象;因此,Levinshtein 等人[5]在 Meanshift 算法基础上提出了 TurboPixels 超像素生成算法,该算法相较于Meanshift 算法引入了紧凑度约束,通过对初始种子点的膨胀操作,在图像的不同区域之间通过曲率演化检测出边界。该方法分割的超像素块紧凑、边界光滑,并有效抑制了 Meanshift 算法中的欠分割现象;Achanta 等[6]提出 SLIC 方法分割图像,该方法将图像分割成多个大小均匀的超像素块,用超像素块代替大量的像素来表达图像特征,由于设定的超像素块个数是人为定义的固定值,显然,不合理的固定值会造成分割出的超像素块无法贴合色块边缘等问题。
以图论为代表的分割算法典型如,Shi 等[7]在图像的最优分割和图论的最小分割基础上引入归一化方式,提出了规范割(Normalized Cut,NCut)算法,该算法可将图像分割为规则的超像素块,但像素块的边界贴合性一般,且该算法的时间复杂度为非多项式级别,不适用于对大图像的分割;在 NCut 算法的基础上,谱聚类[8]通过构造关于原图的拉普拉斯矩阵并求解特征值和特征向量,对图中顶点进行集合划分完成图像分割,但该算法对于大分辨率图像时会出现相似度矩阵庞大,算法运行时间缓慢的问题;Rother 等[9]提出了 Grab Cut 算法,该算法通过交互方式标记前景、背景,再对前景、背景所属的颜色空间建立高斯混合模型(Gaussian Mixture Model,GMM),用 GMM 参数迭代学习完成能量函数最小化,因而该方法可以更好地对彩色图像进行分割。
.............................
第二章 相关理论介绍
2.1 图像预处理算法
2.1.1 彩色图像去光照
现阶段,绝大多数图像采集设备采集到的照片属于 3 通道 RGB 的彩色图像。 而对于彩色图像,在同一拍摄环境下,不同的图像采集设备对于光照的处理算法不同,造成最后的成像效果具有差异。由于拍摄角度的问题,对于同样的拍摄设备,光照的强度、入射方向的影响对于最后的成像效果影响也较大。因此,在研究图像的相关性质时,往往需要去除光照对于图像的影响。
彩色图像的 RGB 归一化方式为一种简单快捷的去除光照的方法。在操作时,首先需要计算每个像素点的 R、G、B 分量占所有分量之和的比例,再将每个分量的比例归一化到 0-255 范围内。即:
...............................
2.2 图像分割算法
图像分割问题作为数字图像处理领域中的基础问题之一,对分割算法的精度、效率和鲁棒性都提出了较高的要求。目前,许多学者已提出了各类分割算法,但都局限于特定的场景,缺少一般性。这些算法大体上可分为三类:基于像素聚类的分割方法,基于图论的分割方法和基于深度学习框架的分割方法。
2.2.1 基于像素聚类的分割方法
聚类是按照某种规则将多个对象从一个集合分类到多个集合的过程。应用到图像分割中,将图像中具有相似性质的像素点划分到同一个区域,通过对像素点的多次迭代,最终确定各个区域的边界,完成图像分割。
针对 Mean Shift 算法时间复杂度较高的问题,Vedaldi 等人[24]对 Mean shift算法进行了改进,提出了 Quick Shift 算法。抛弃 Mean shift 算法中计算 Mean shift向量求解迭代位置的方法,而是在每次迭代时直接将像素点更新到使概率密度变大的最近的点。Quick Shift 的时间复杂度为 O(N2),效率较高,但与 Mean Shift类似,会产生像素块不够紧密的问题。
Sheikh 等人[25]在 Mean Shift 算法的基础上,提出了 Medoid Shift 算法。Medoid Shift 算法在迭代时需要求解能使公式 2-(9)达到最小值的点,而不是求解点下一次迭代的位置,这说明 Medoid Shift 是一种增量性算法。该算法的时间复杂度O(N3),算法效率低,因而限制了其应用。
..........................
3.1 自适应 SLIC 算法超像素块分割............................... 23
3.1.1 SLIC 算法的不足........................... 23
3.1.2 自适应 SLIC 算法........................ 24
第四章 人体关键部位尺寸测量.............................. 51
4.1 人体尺寸拟合................................. 51
4.1.1 获取人体二维体型数据............................... 51
4.1.2 使用回归方程进行三维数据拟合..................... 52
第五章 总结和展望............................... 59
5.1 研究工作总结.......................................... 59
5.2 研究工作展望.......................................... 59
第四章 人体关键部位尺寸测量
4.1 人体尺寸拟合
4.1.1 获取人体二维体型数据
在 3.3.4 中我们提取的人体特征点坐标中,选择部分特征点拟合人体关键部位的二维数据信息。如在人体正面图特征点中选取第 13 和第 54 个特征点的横坐标之差拟合胸宽,在人体侧面图中选择第 5 和第 21 个特征点横坐标之差拟合胸厚。人体关键部位特征点选取规则如表 4.1 和 4.2 所示:
其中,身高、腿长记为两个特征点的纵坐标差值绝对值,其他部位记为横坐标差值绝对值。由于图像特征点坐标的差值,仅为实际像素点的个数,并不是真的人体尺寸数据。因此必须在已知人体某一部位真实值的情况下,通过线性计算将上述差值转为真实值。本文以人体身高为例,设真实的人体身高为 h,图像中人体身高为 hg,臂展为 lg,则将图像中的臂展换算为真实臂展为 l×h/hg,其他部位均可通过此类比例换算得到。
..........................
第五章 总结和展望
5.1 研究工作总结
本文主要研究了不同背景下标准人体图像的分割方法。首先提出了一种基于自适应的 SLIC 超像素分割算法。分割时,首先在图像中设置极小的区域,由于该区域面积较小,可认为其内部灰度变化较小,在该区域内使用 CV 能量函数进行区域分割,每次分割结束时,记录内部分割曲线的移动方法和距离。并将该区域进行等比例的缩放为下一次迭代创建空间。而当内部分割曲线不再移动时,迭代结束,设置当前区域重心为聚类中心。对图像所以区域进行上述操作后得到若干聚类中心,进行简单线性迭代分割图像为多个边缘贴合色块边缘的自适应超像素块。
在获得自适应超像素块的基础上,融合人体模板信息,对感兴趣的区域进行谱聚类分割,获得表示人体体型的超像素块。对这些超像素块进行边缘融合获取人体轮廓线,完成人体图像分割。
在已获得人体轮廓线的基础上,提出了改进的 ASM 特征点提取算法。定义了人体基准点,在传统 ASM 搜索策略上引入了基准点校准和点集校准,并改变ASM 特征点的搜索方向提高了提取的精度和效率。
此后,作为应用。我们将提取到的人体特征点进行比例换算得到人体关键部位的二维数据。并利用这些二维数据进行回归分析和 BP 神经网络的学习,最后实验证明,BP 神经网络可以在保证精度的情况下拟合人体关键部位的三维数据。
参考文献(略)