桌面机械臂智能交互技术软件工程研究及应用

论文价格:0元/篇 论文用途:仅供参考 编辑:论文网 点击次数:0
论文字数:**** 论文编号:lw202329880 日期:2023-07-22 来源:论文网
本文是一篇软件工程论文,本课题主要研究桌面型机械臂的几种人机交互方式,将软硬件相结合,搭建了适合桌面型机械臂的开发框架,为进一步开发基于语音识别、基于机器视觉的机械臂应用提供基础。语音识别技术在智能化产品中的应用越来越普遍,该系统选用性价比较高 LD3320 语音识别模块,实现对机械臂的语音控制。摆脱了以往用手机或手柄控制机械臂的方式,让机械臂与人交互更便捷、更友好。LD3320 不仅成本低、价格便宜,运用起来也特别方便,减少了在这一块的开发时间。树莓派为英国的慈善组织为计算机教育专门开发的卡片式计算机,价格便宜,性能强大,被广泛的应用到教学领域。语音模块和树莓派之间相互通信,经过试验、测试验证了语音控制的性能,LD3320 语音模块识别准确率能够很好的满足基本需求。随着科技对未知区域的不断探索,语音控制的桌面机械臂不仅保证了机械臂运动的精确性和高效率,同时简化操作,提高了桌面机械臂的实际意义与智能化。

1 绪论

1.1 课题研究的背景
在科技高速发展的今天,机械臂[1]替代人类在现代化工厂中从事重体力劳动已经成为一种不可避免的时代趋势。目前,机械臂主要应用在汽车生产制造中,对汽车进行组装,喷漆、化工;在食品厂商中,对产品进行包装、码垛;在中越边境对遗留的地雷进行除雷工作以及代替人类从事危险、复杂的重体力工作。随着人工智能技术的进步,机器人也逐渐进入到普通家庭,承担扫地、刷碗等简单家务活动。所以机器人技术的发展对人类的生活水平提高有着举足轻重的作用。机器人[2-3]通常来讲分为两大类:一类被称为移动式机器人,移动式机器人一般拥有较大的工作空间,其优点是作业范围广、作业种类丰富;另一类被称为关节式机器人,关节式机器人一般具有特定的工作空间,其优点是关节机器人具有灵活的关节,依靠灵活的关节可以做移动式机器人难以做到的复杂动作。机器人凭借其高效的工作效率,逐渐得到人们的认可并且开始从汽车行业逐渐渗透到各行各业。工业机械臂的应用领域所占比例数据如下图1-1所示,从图1-1中可以看出机械臂的应用领域逐渐扩展到更多领域,但其在汽车领域工业机械臂所占的比重仍然最大。

........................

1.2 课题研究的目的和意义
与传统工业机械臂相比,桌面型机械臂具有环境多变、人机协作等特点,为其增加智能交互功能显得尤为重要。随着嵌入式技术的不断发展,桌面机械臂也迅速发展起来,在视觉分拣、流水线搬运、焊接、激光雕刻、3D 打印等领域桌面机械臂有其独特的优势。语音识别作为目前人工智能的一个发展方向,已经取得了不错的成绩。
语音识别技术可以直接让计算机与人进行“沟通”,免去了复杂操作,是一种简便的人机交互技术。如果能够将语音识别技术应用到桌面机械臂,将极大地简化对机械臂的手动操作,减轻操作人员的劳动强度,提高机械臂的智能交互能力。人机交互的发展趋势是人类通过最简单的方式与计算机进行“沟通”,让计算机了解操作员的意图从而完成人类指定的任务。语言是人类以及动物世界沟通最主要、最便捷方式之一。因此将语音识别技术应用到对桌面机械臂的控制中,可以实现更加人性的人机交互,实现对机械臂更佳便捷的操作控制。
视觉是人获得外界事物信息的一个重要渠道,将获得的信息传入大脑,由大脑进行信息处理,完成信息的识别。机器视觉就是电脑模拟人类视觉处理方式,对获取的图像信息进行分类判断。与传统方法不同,深度学习不需要进行人工特征提取,算法自动学习获得目标特征,在桌面机械臂抓取任务中,适用性强、目标识别效率更高。
........................

2 桌面机械臂语音控制系统

2.1 桌面机械臂总体结构
与工业机械臂常处在封闭的环境下抓取目标物体不同,桌面机械臂的人机交互方式非常丰富,其中语音控制、手持示教、视觉抓取、动作模仿都是桌面机械臂常常使用的交互方式。在家庭环境中,桌面机械臂不仅能够代替人类从事一些重复的体力劳动,还可以陪用户下棋娱乐。在新工科背景下,桌面机械臂由于价格便宜,体积小巧等突出优势,已经作为不错的实验器材,在很多高校实验室被广泛使用。本章主要介绍通过语音模块控制桌面机械臂实现对目标物品的抓取任务。为了保证产品的可靠性与稳定性,使用语音控制的机械臂为工业级桌面机械臂,此类机械臂具有结构紧凑、体积小巧、重复使用精度高等优点。此桌面机械臂具有 3 个自由度,其最大伸展距离不超过 320mm,机身为铝合金材质,具有质量轻,运行平稳、流畅等特点。
参照Dobot[17-18]机械臂结构,本设计使用 3 个带有行星减速器的步进电机,分别实现在 X 轴、Y 轴、Z 轴方向上的精准移动。为了矫正控制误差,提高整体灵敏度,在底座上安装光电限位开关,确保 X 轴能够安全找回坐标零点。电机选用两相混合式 42 步进电机,并且每个步进电机都配装三级行星减速器,用于提高输出扭矩,降低负载惯量。桌面机械臂末端采用标准的嵌入式插口,可以更换多种夹具,其中机械手一般使用舵机控制,通过控制树莓派输出 PWM 波就能张开或闭合机械手抓取目标物体。语音模块通过串口与树莓派相连,用户可以使用语音直接驱动机械臂的 3 个步进电机移动到指定位置,完成目标物体抓取动作。桌面机械臂总体结构如右图所示。


.......................

2.2 桌面机械臂控制系统设计
桌面机械臂的控制采用树莓派加驱动器的设计思路。出于系统安全稳定考虑,采用光耦隔离减少外围设备对主控板的电磁信号干扰。树莓派有 28 个 GPIO端口,可以像 C51 单片机的 I/O 端口一样使用。树莓派使用普通 GPIO 端口控制步进电机驱动模块 A4988,每个驱动模块占用 2 个 GPIO 端口,当树莓派通过 GPIO 端口对 A4988 模块的 DIR、STEP 端口进行适当设置时,步进电机就能按照指定的方式进行移动[21]。此外,电脑、手机等外围设备也可以通过连接树莓派的 AP 热点,给树莓派发送 json 格式的数据指令来实现对桌面机械臂的控制。
在系统工作时,桌面机械臂首先根据光电开关反馈回的信号,找回坐标零点完成系统初始化。LD3320 语音模块不断采集语音数据,并将采集到的语音数据与已存入的语音关键词进行匹配,找出关键词对应的命令码,并将机械臂的命令码按照自定义的串口通信协议生成一帧数据,每一帧数据都以 0x02 开头、0x03 结尾,第一个字节表示要控制的步进电机,后面 4 个字节合成一个 int 类型的整数,表示步进电机要移动的微步数,如果数据中出现 0x02、0x03 与 0x10时,要先发送 0x10,再紧接着将原数据加上 0x40 进行发送。树莓派接收到语音模块发送过来的控制信息,驱动相关步进电机按照指定方向移动特定步数。当机械臂移动到指定位置进行目标物体抓取时,树莓派设置舵机的控制端口输出 PWM,舵机根据脉冲占空比旋转对应的角度,完成机械手对目标物体的抓取任务。
..........................


3.目标检测算法研究...............................27
3.1 卷积神经网络目标检测算法分析................................... 27
3.1.1 R-CNN................................. 27
3.1.2 SPPNet..................................... 28
4 基于 Faster R-CNN 的桌面机械臂视觉系统.......................................35
4.1 深度学习框架选择及算法流程.................................... 35
4.2 Faster R-CNN 模型优化.......................................... 37
4.2.1 制作数据集............................. 37
4.2.2 改进区域推荐网络...................................... 40
5 桌面机械臂系统测试.................................... 52
5.1 语音控制桌面机械臂测试....................................... 52
5.2 桌面机械臂视觉测试.......................................... 53

5 桌面机械臂系统测试

5.1 语音控制桌面机械臂测试
语音控制桌面机械臂的测试主要从以下两个方面进行,一是语音识别模块能否正确识别非特定人所说的语音内容;二是桌面机械臂能否根据识别的语音内容作出相应的动作。
语音识别模块能否准确的识别非特定人所说的语音内容,与模块内部LD3320 芯片所集成的语音识别技术有关,现阶段的语音识别技术在自然语言的识别准确率和算法速率[54]上还存在一定的提升空间。噪声是影响语音识别准确率的重要因素之一,尤其是在嘈杂的实验室中,语音识别模块会采集到各种不同的声音,不仅降低了语音识别的准确性,还因语音识别模块对掺杂的噪声也进行识别处理,拖慢了语音识别的速度。在对语音识别模块进行测试时,一共选取 10 名参与者,每名参与者一次说完所有预存的中英文识别指令,每条识别指令重复循环测试 3 次,将桌面机械臂分别置于安静的室内环境和嘈杂的室外环境中进行测试。
............................

6 总结与展望

6.1 总结
在为主动应对新一轮科技革命与产业变革,支撑服务创新驱动发展。中央制定了“中国制造 2025”等一系列国家战略。教育部也积极推进新工科建设,全力探索领跑全球工程教育的中国模式,助力高等教育迈上新台阶。桌面机械臂由于体积小、成本低等突出优势,正在被各大高校、实验室选中用作学生教学的实验器材。与工业机械臂处在密闭的环境下工作不同,桌面型机械臂具有环境多变、人机协作等特点。更好的实现桌面机械臂的人机交互显得尤为重要。
本课题主要研究桌面型机械臂的几种人机交互方式,将软硬件相结合,搭建了适合桌面型机械臂的开发框架,为进一步开发基于语音识别、基于机器视觉的机械臂应用提供基础。语音识别技术在智能化产品中的应用越来越普遍,该系统选用性价比较高 LD3320 语音识别模块,实现对机械臂的语音控制。摆脱了以往用手机或手柄控制机械臂的方式,让机械臂与人交互更便捷、更友好。LD3320 不仅成本低、价格便宜,运用起来也特别方便,减少了在这一块的开发时间。树莓派为英国的慈善组织为计算机教育专门开发的卡片式计算机,价格便宜,性能强大,被广泛的应用到教学领域。语音模块和树莓派之间相互通信,经过试验、测试验证了语音控制的性能,LD3320 语音模块识别准确率能够很好的满足基本需求。随着科技对未知区域的不断探索,语音控制的桌面机械臂不仅保证了机械臂运动的精确性和高效率,同时简化操作,提高了桌面机械臂的实际意义与智能化。

在基于机器视觉的目标物体抓取任务中,本课题选用基于 VGG16 的 FasterR-CNN 深度学习模型。用卷积神经网络去做物体识别,比传统的单纯用 OpenCV做图像处理,识别准确率大幅提高。通过张正友标定法获取相机的内外参数,运用视觉测距原理,通过坐标转换求解到目标物体在世界坐标系中位置。发送指令驱动桌面机械臂抓取目标物体。经过试验测试,桌面机械臂可以将很好的将摆放在桌子上的水果抓取到水果筐中,当有水果从机械夹手中滑落,桌面机械臂在下一次识别中,仍然会对其再次抓取,直到将其放进水果筐中。本研究课题趣味性强,涉及到的知识面广。
参考文献(略)


如果您有论文相关需求,可以通过下面的方式联系我们
客服微信:371975100
QQ 909091757 微信 371975100