基于改进最大类间方差法的手势分割方法研究

李擎; 唐欢; 迟健男; 邢永跃; 李华通

doi:10.16383/j.aas.2017.c150862

基于改进最大类间方差法的手势分割方法研究

doi: 10.16383/j.aas.2017.c150862

李擎^1,,
唐欢^1,,
迟健男^1, ,,
邢永跃^1,,
李华通^1,

北京科技大学自动化学院北京 100083

基金项目:

北京市自然科学基金 4122050

详细信息

作者简介:
李擎北京科技大学自动化学院教授.主要研究方向为智能优化理论及其在路径规划、基于数据驱动建模中的应用.E-mail:liqing@ies.ustb.edu.cn

唐欢北京科技大学自动化学院硕士研究生.主要研究方向为图像处理与分析, 手势识别, 视线追踪.E-mail:tanghuanyl@126.com

邢永跃北京科技大学自动化学院硕士研究生.主要研究方向为机器学习, 图像处理与分析, 视线追踪, 计算机视觉.E-mail:xingyongyue@outlook.com

李华通北京科技大学自动化学院硕士研究生.主要研究方向为图像处理与分析, 视觉伺服, 计算机视觉.E-mail:lhuatong@126.com

通讯作者:
迟健男北京科技大学自动化学院副教授.主要研究方向为视线追踪, 人机交互, 车辆辅助驾驶, 嵌入式系统.E-mail:syjnchi@126.com

计量
- 文章访问数: 2417
- HTML全文浏览量: 361
- PDF下载量: 1664
- 被引次数: 86
出版历程
- 收稿日期: 2015-12-23
- 录用日期: 2016-04-01
- 刊出日期: 2017-04-20

Gesture Segmentation with Improved Maximum Between-clusterVariance Algorithm

LI Qing^1
,,
TANG Huan^1
,,
CHI Jian-Nan^{1
, ,},
XING Yong-Yue^1
,,
LI Hua-Tong^1
,

School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083

Funds:

Natural Science Foundation of Beijing 4122050

More Information

Author Bio:
Professor at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. His research interest covers intelligent optimization theory and its application in path planning and data driven modeling

Master student at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. His research interest covers image processing and analysis, gesture recognition and gaze tracking

Master student at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. His research interest covers machine learning, image processing and analysis, gaze tracking and computer vision

Master student at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. His research interest covers image processing and analysis, vision serving and computer vision

Corresponding author: CHI Jian-Nan Associate professor at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. His research interest covers gaze tracking, human computer interaction, driver assistance system and embedded system. Corresponding author of this paper

摘要

摘要: 针对手势图像中由于噪声和成像干扰造成的手势模糊和边界不清晰的问题，提出了一种基于改进最大类间方差法的手势分割方法.首先建立手势图像的二维灰度直方图，在二维灰度直方图上确定噪声点位置，在原图的相应区域滤除噪声.然后重建二维灰度直方图将内点区的点集投影到45度线，得到投影灰度直方图.接下来在灰度投影直方图上采用全局Otsu确定局部Otsu的左边界，用高斯函数拟合得到局部Otsu右边界，最后采用局部Otsu分割手势.该方法可以有效地对手势图像进行精确分割，实验结果验证了本文算法的有效性.
- 手势分割 /
- 改进最大类间方差法 /
- 二维灰度直方图 /
- 投影灰度直方图
Abstract: In this paper, in order to solve the problem of ambiguity or unclear boundary caused by noise and interference in gesture imaging, a gesture segmentation method based on the improved maximum between-cluster variance algorithm is proposed. Firstly, a two-dimensional gray histogram of gesture image is generated, and positions of noise points are determined on the two-dimensional gray histogram. After filtering noise in the corresponding region of the gesture image, a two-dimensional gray histogram is reconstructed. The point set of the inner point area are projected to the 45 degrees line to generate the gray projection histogram. Then, the global Otsu is used to determine the left boundary of the local Otsu and Gauss function is used to get the right boundary of the local Otsu in the projection gray histogram. Finally, the local Otsu is used to segment the gesture image. This method can effectively segment the gesture image accurately. Experimental results have verified the effectiveness of the proposed algorithm.
- Gesture segment /
- improved Otsu /
- two-dimensional gray histogram /
- projection gray histogram
注释:

1) 本文责任编委贺威

HTML全文

本文责任编委贺威

图 1 待精确分割的手势图像

Fig. 1 Gesture images to be segmented accurately

下载: 全尺寸图片幻灯片

图 2 手势分割框架图

Fig. 2 Framework of gesture segmentation

下载: 全尺寸图片幻灯片

图 3 二维灰度直方图区域划分图

Fig. 3 Region division of two-dimensional gray histogram

下载: 全尺寸图片幻灯片

图 4 投影原理图

Fig. 4 Principle of projection

下载: 全尺寸图片幻灯片

图 5 投影灰度直方图

Fig. 5 Projection gray histogram

下载: 全尺寸图片幻灯片

图 6 实验1处理过程及结果图

Fig. 6 Processing and results of Experiment 1

下载: 全尺寸图片幻灯片

图 7 实验2处理过程及结果图

Fig. 7 Processing and results of Experiment 2

下载: 全尺寸图片幻灯片

图 8 实验3处理过程及结果图

Fig. 8 Processing and results of Experiment 3

下载: 全尺寸图片幻灯片

图 9 实验4处理结果图 (本文算法)

Fig. 9 Processing and results of Experiment 4 (Proposed algorithm)

下载: 全尺寸图片幻灯片

表 1 实验样本表

Table 1 Experimental samples

样本名称	样本特点	样本选择目的
实验1	不加噪声, 对比度较高, 边界清晰	验证本文算法对成像质量高的手势分割效果
实验2	不加噪声, 对比度一般, 边界模糊, 存在背景覆盖目标的情况	验证本文算法对边界模糊的手势分割效果
实验3	存在噪声, 对比度一般, 边界模糊, 存在背景覆盖目标的情况	验证本文算法对存在噪声且边界模糊的手势分割效果
实验4	不同个体的不同手势图像, 边界模糊, 存在背景覆盖目标的情况	验证本文算法对不同个体手势分割效果

下载: 导出CSV

表 2 拟合曲线参数表 (本文算法)

Table 2 Parameters of fitting curve (Proposed algorithm)

实验	µ	σ
实验1	42	1.4487
实验2	60	6.7082
实验3	57	4.6043

下载: 导出CSV

表 3 边界灰度表 (本文算法)

Table 3 Edge gray (Proposed algorithm)

实验	k	t₂
实验1	210	252
实验2	142	203
实验3	145	202

下载: 导出CSV

表 4 阈值表 (三种算法)

Table 4 Threshold (Three algorithms)

实验	Otsu	肤色+ Otsu	本文算法
实验1	210	143	248
实验2	142	136	183
实验3	145	136	188

下载: 导出CSV

表 5 不同方法处理的结果评价表

Table 5 Results evaluation of different algorithms

实验	评价指标	Otsu	肤色+ Otsu	本文算法
实验1	指尖	较好	较好	较好
实验1	轮廓	一般	一般	较好
实验1	时间 (ms)	2.75	3.21	31.25
实验2	指尖	较好	较差	较好
实验2	轮廓	一般	较差	较好
实验2	时间 (ms)	2.85	3.82	37.63
实验3	指尖	较差	较差	一般
实验3	轮廓	较差	较差	较好
实验3	抑噪	一般	较差	较好
实验3	时间 (ms)	2.99	3.67	39.50

下载: 导出CSV

参考文献(20)

[1]	Bao H, Zhao X G. Study on hand gesture segmentation. In:Proceedings of the 2010 International Conference on Multimedia Technology (ICMT). Ningbo, China:IEEE, 2010. 1-4
[2]	Rahmat R W, Al-Tairi Z H, Saripan M I, Sulaiman P S. Removing shadow for hand segmentation based on background subtraction. In:Proceedings of the 2012 International Conference on Advanced Computer Science Applications and Technologies (ACSAT). Kuala Lumpur, Malaysia:IEEE, 2012. 481-485
[3]	Hou G D, Chang D Q, Zhang C S. Hand segmentation with metric learning superpixels. In:Proceedings of the 2014 IEEE China Summit & International Conference on Signal and Information Processing (ChinaSIP). Xi'an, China:IEEE, 2014. 455-459
[4]	Mo S, Cheng S H, Xing X F. Hand gesture segmentation based on improved Kalman filter and TSL skin color model. In:Proceedings of the 2011 International Conference on Multimedia Technology (ICMT). Hangzhou, China:IEEE, 2011. 3543-3546
[5]	Dawod A Y, Abdullah J, Alam M J. A new method for hand segmentation using free-form skin color model. In:Proceedings of the 3rd International Conference on Advanced Computer Theory and Engineering (ICACTE). Chengdu, China:IEEE, 2010. V2-562-V2-566
[6]	曹昕燕, 赵继印, 李敏.基于肤色和运动检测技术的单目视觉手势分割.湖南大学学报 (自然科学版), 2011, 38(1):78-83 http://www.cnki.com.cn/Article/CJFDTOTAL-HNDX201101017.htm Cao Xin-Yan, Zhao Ji-Yin, Li Min. Monocular vision gesture segmentation based on skin color and motion detection. Journal of Hu'nan University (Natural Sciences), 2011, 38(1):78-83 http://www.cnki.com.cn/Article/CJFDTOTAL-HNDX201101017.htm
[7]	Zhang Q Y, Chen F, Liu X W. Hand gesture detection and segmentation based on difference background image with complex background. In:Proceedings of the 2008 International Conference on Embedded Software and Systems (ICESS2008). Sichuan, China:IEEE, 2008. 338-343
[8]	Tsai T H, Lin C Y. Visual hand gesture segmentation using signer model for real-time human-computer interaction application. In:Proceedings of the 2007 IEEE Workshop on Signal Processing Systems. Shanghai, China:IEEE, 2007. 567-572
[9]	Yao Y, Li C T. Hand gesture segmentation in uncontrolled environments with partition matrix and a spotting scheme based on hidden conditional random fields. In:Proceedings of the 2nd IAPR Asian Conference on Pattern Recognition (ACPR). Naha, Japan:IEEE, 2013. 842-846
[10]	Ju Z J, Wang Y H, Zeng W, Chen S Y, Liu H H. Depth and RGB image alignment for hand gesture segmentation using Kinect. In:Proceedings of the 2013 International Conference on Machine Learning and Cybernetics (ICMLC). Tianjin, China:IEEE, 2013. 913-919
[11]	Ju Z J, Wang Y H, Zeng W, Cai H B, Liu H H. A modified EM algorithm for hand gesture segmentation in RGB-D data. In:Proceedings of the 2014 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Beijing, China:IEEE, 2014. 1736-1742
[12]	de Santos Sierra A, Ávila C S, del Pozo G B, Casanova J G. Gaussian multiscale aggregation oriented to hand biometric segmentation in mobile devices. In:Proceedings of the 3rd World Congress on Nature and Biologically Inspired Computing (NaBIC). Salamanca, Spain:IEEE, 2011. 237-242
[13]	史久根, 陈志辉.基于运动历史图像和椭圆拟合的手势分割.计算机工程与应用, 2014, 50(22):199-202 doi: 10.3778/j.issn.1002-8331.1212-0313 Shi Jiu-Gen, Chen Zhi-Hui. Hand gesture segmentation based on MHI and ellipse fitting. Computer Engineering and Applications, 2014, 50(22):199-202 doi: 10.3778/j.issn.1002-8331.1212-0313
[14]	Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1):62-66 doi: 10.1109/TSMC.1979.4310076
[15]	杨恢先, 李淼, 谭正华, 翟云龙, 张建波.二维直方图斜分最大散度差阈值分割算法.激光与红外, 2014, 44(4):463-468 http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201404025.htm Yang Hui-Xian, Li Miao, Tan Zheng-Hua, Zhai Yun-Long, Zhang Jian-Bo. Maximum scatter difference image thresholding segmentation algorithm based on two-dimensional histogram oblique. Laser and Infrared, 2014, 44(4):463-468 http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201404025.htm
[16]	吴一全, 潘喆, 吴文怡.二维直方图区域斜分阈值分割及快速递推算法.通信学报, 2008, 29(4):77-83 http://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200804016.htm Wu Yi-Quan, Pan Zhe, Wu Wen-Yi. Image thresholding based on two-dimensional histogram oblique segmentation and its fast recurring algorithm. Journal on Communications, 2008, 29(4):77-83 http://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200804016.htm
[17]	Chen Q, Zhao L, Lu J, Kuang G, Wang N, Jiang Y. Modified two-dimensional Otsu image segmentation algorithm and fast realisation. IET Image Processing, 2012, 6(4):426-433 doi: 10.1049/iet-ipr.2010.0078
[18]	徐国华, 张保明, 李旭.基于改进的最大类间方差法的遥感影像变化检测.测绘科学, 2012, 37(1):80-82 http://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201201028.htm Xu Guo-Hua, Zhang Bao-Ming, Li Xu. Change detection for remote sensing images based on improved Otsu algorithm. Science of Surveying and Mapping, 2012, 37(1):80-82 http://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201201028.htm
[19]	景晓军, 蔡安妮, 孙景鳌.一种基于二维最大类间方差的图像分割算法.通信学报, 2001, 22(4):71-76 http://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200104011.htm Jing Xiao-Jun, Cai An-Ni, Sun Jing-Ao. Image segmentation based on 2D maximum between-cluster variance. Journal of China Institute of Communications, 2001, 22(4):71-76 http://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200104011.htm
[20]	高世一, 杨凯珍.变边限高斯拟合提取激光条纹中心线方法的研究.仪器仪表学报, 2011, 32(5):1132-1137 http://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201105029.htm Gao Shi-Yi, Yang Kai-Zhen. Research on central position extraction of laser strip based on varied-boundary Gaussian fitting. Chinese Journal of Scientific Instrument, 2011, 32(5):1132-1137 http://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201105029.htm

施引文献

期刊类型引用(26)

1.	洪永欣，邓晚倩，张新. 近50 a萨雷兹堰塞湖水域时序变化及其驱动因素研究. 自然灾害学报. 2023(02): 125-132 . 百度学术
2.	邢航，黄旭楠，杨秀丽，王志琪，齐龙. 水稻谷粒考种参数自动提取装置及试验. 华南农业大学学报. 2023(06): 968-977 . 百度学术
3.	杨蕴，李玉，赵泉华. 基于局部空间信息的可变类模糊阈值光学遥感图像分割. 自动化学报. 2022(02): 582-593 . 本站查看
4.	李金，杨鹏飞，王菊芳，何进鹏，马伟，周珩. 基于数字图像处理的初级纤毛定量分析. 中国生物医学工程学报. 2022(02): 247-251 . 百度学术
5.	邢致恺，贾鹤鸣，宋文龙. 基于莱维飞行樽海鞘群优化算法的多阈值图像分割. 自动化学报. 2021(02): 363-377 . 本站查看
6.	于霞，李召鹏. 基于压缩相对轮廓特征点的手形识别. 沈阳大学学报(自然科学版). 2021(03): 252-259 . 百度学术
7.	胡正方，向阳，熊瑛，林洁雯，李亚军. 基于机器视觉的千粒质量测量仪的设计与试验. 湖南农业大学学报(自然科学版). 2021(04): 476-481 . 百度学术
8.	谢杰，张键，付天豪. 基于YCbCr空间肤色自适应分割方法. 科技创新与应用. 2021(26): 132-136 . 百度学术
9.	曾艳阳，谢高森，张建春. 基于截距直方图和Otsu融合的弱光图像分割. 激光与光电子学进展. 2021(20): 219-227 . 百度学术
10.	何义才，赵建虎，张红梅，阮世伦. 联合NSCT与多重分形的高噪声侧扫声呐图像分割. 测绘学报. 2020(02): 162-170 . 百度学术
11.	王梅，张震，张曦，屠大维. 基于复合特征和动态阈值圆法的手势识别算法研究. 计算机应用研究. 2020(02): 630-634 . 百度学术
12.	石爽，凤鹏飞，孙茜. 基于贝叶斯估计的多类间方差目标提取. 弹箭与制导学报. 2020(02): 32-34 . 百度学术
13.	吴轶凡，郭剑辉. 一种基于肤色模型的改进型手势分割算法的实现. 电子设计工程. 2020(18): 185-188+193 . 百度学术
14.	牛国臣，朱通. 基于OpenMv的类人机器人投篮系统设计（英文）. 机床与液压. 2020(12): 191-197 . 百度学术
15.	Guanlei Xu，Xiaotong Wang，Xiaogang Xu. Single Image Enhancement in Sandstorm Weather via Tensor Least Square. IEEE/CAA Journal of Automatica Sinica. 2020(06): 1649-1661 . 必应学术
16.	周向阳，罗雪梅，王霄. 结合边缘信息的二维Otsu阈值分割算法研究. 智能计算机与应用. 2020(06): 19-24+30 . 百度学术
17.	郭亚宁，林伟，潘泉，赵春晖，胡劲文，马娟娟. 基于推广流形学习的高分辨遥感影像目标分类. 自动化学报. 2019(04): 720-729 . 本站查看
18.	吴鹏，牛斌，马利，徐和然. 融合皮肤检测的卷积姿势机手势分割方法. 计算机工程与设计. 2019(11): 3205-3211 . 百度学术
19.	徐其峰，陈波. 光栅型波前曲率传感器光斑自动定位提取算法. 激光与光电子学进展. 2019(22): 21-26 . 百度学术
20.	王小鹏，姚丽娟，文昊天，赵君君. 形态学多尺度重建结合凹点匹配分割枸杞图像. 农业工程学报. 2018(02): 212-218 . 百度学术
21.	张平改，费敏锐，王灵，彭晨，周文举. 基于自适应颜色模型的炉膛火焰识别方法. 中国科学:信息科学. 2018(07): 856-870 . 百度学术
22.	安培源，张华. 基于边缘检测和Hough变换的圆定位算法. 浙江理工大学学报(自然科学版). 2018(05): 593-598 . 百度学术
23.	林龙彬，李建兴，罗堪，李昊宇，季雨枫，陈小勇. 基于改进脉冲耦合神经网络的螺母工件图像分割. 福建师范大学学报(自然科学版). 2018(06): 19-23 . 百度学术
24.	宋彦，谢汉垒，宁井铭，张正竹. 基于机器视觉形状特征参数的祁门红茶等级识别. 农业工程学报. 2018(23): 279-286 . 百度学术
25.	陈甜甜，姚璜，左明章，田元，杨梦婷. 基于深度信息的动态手势识别综述. 计算机科学. 2018(12): 42-51+76 . 百度学术
26.	陈喜胜，钟菊萍，李军. 最大类间方差法在污水排放图像处理中的应用研究. 现代计算机(专业版). 2017(32): 65-70+75 . 百度学术