基于Kinect的机器人自主抓取技术研究开题报告

1. 研究目的与意义（文献综述）

1.1研究背景

随着“工业4.0”概念的提出，对国内制造行业的自动化水平、智能化水平提出了更高的要求，要通过信息技术及“互联网 ”的方式实现制造业的智能转变，将研究方向转向智能制造和先进机器人等智能技术，逐步推进制造业的改革与创新，实现智能化生产的目标。

机器人作为新兴的技术，在工业与服务业等行业都有广泛的应用与研究。机器人学科涉及到人工智能、计算机科学，机械，电子，材料等多门交叉学科，近年来对于机器人的各方面研究也是学术研究中的热门方向。在工业领域，机器人更是成为近年来最为重要的生产设备之一，工业机器人的典型应用包括焊接、刷漆、组装、采集和放置等。传统工业机器人的工作方式有在线示教和离线编程两种方式。在线示教是通过机器人的受控操纵盒来控制机器人运动，记录下特定位置下机器人的位姿状态，记录若干点后控制机器人进行抓取操作。之后机器人就会沿示教点的位姿、运动轨迹和夹紧参数进行自主运动，完成目标任务。离线编程是基于精确的机器人模型，并且有准确的工具坐标，在软件的三维内虚拟环境中生成机器人的运动轨迹，完成相应的任务，最后生成可执行程序传输给机器人。这两类方法在汽车行业得到了非常广泛的应用，并且在国际上已经非常成熟，但是随着汽车行业的逐渐饱和，3c行业的进一步发展，这种非智能的机器人控制方式并不适用于新兴行业。3c行业产品更新换代较快，而示教的方式仍依赖于技术人员的判定和操作，存在编程繁琐、效率低、精度低等问题，难以适应当先市场小批量、多品种的柔性生产需求。

2. 研究的基本内容与方案

1.2、研究（设计）的目的

本设计的研究目的在于解决1.1中提到的目前机器人行业存在的问题：抓取物体依赖于示教，智能化程度低，不适于小批量、柔性化生产等。本设计旨在通过视觉传感器获取视觉信息，进行预处理后识别出目标物体，然后分析得到物体的位置和姿态信息，系统判断出最佳抓取位置后，确定抓取策略完成抓取动作，实现利用机器视觉完成机器人自主抓取的目标。

1.3、研究（设计）的意义

基于机器视觉的机器人抓取技术可以显著增强传统工业机器人的工作性能，在目前传统制造行业逐渐饱和，3C行业逐步扩大的市场背景下，智能程度更高，自主性更强的机器人更受市场青睐。以往的生产，操作对象的初始位置和终止位置都被严格限定，机器人只能完成点到点任务动作，无法在外部参数变化的情况下做出动态的变化，而视觉技术的应用，大大提高了机器人的灵活性，可以有效解决目前工业中检测、装配、加工等环节自动化水平低下的问题，提高生产效率与产品精度，并有效控制成本。因此，引入机器视觉技术，实现目标物体的识别和定位，并进行自主抓取及其他操作具有十分重要的意义。经过国内外学者多年的研究与探索，机器人视觉伺服控制在理论水平上已经较为成熟，但在实际工况下仍有许多问题尚未解决，例如视觉伺服系统的稳定性，抓取的力的控制，对动态物体抓取的实时性等，因此机器人的视觉伺服控制仍具有宽广的研究前景与重要的研究意义。

2.研究（设计）的基本内容、重点及难点、拟采用的技术方案及措施

2.1、研究（设计）的基本内容

本次设计主要研究机器人视觉伺服控制的原理方法，通过Kinect传感器获取目标及其周围所在环境的图像，并通过图像处理得到目标的姿态与坐标，将数据传输到机器人，完成对目标的抓取。主要围绕以下三个方面进行展开研究：

1）如何从环境中检测并识别出目标物体；

2）如何获得目标物体的形状等特征，以及目标与机器人的相对位姿关系；

3）如何对识别的目标物体进行可靠抓取；

因此本设计的主要研究内容如下：

1）阅读大量文献，了解国内外机器人视觉伺服的研究现状，并研究典型的解决方案；

2）通过Kinect深度摄像头获取视觉信息，并对相机进行单目标定和双目标定，获取相机的内部参数；

3）对获取的图像信息进行处理，包括图像预处理、图像分割、特征提取、目标识别等一系列操作，最终获得目标物体的位置和姿态；

4）对机器人进行正、逆运动学建模，得到机器人腕坐标系到极坐标系的变换矩阵，以及机器人末端在特定坐标时各个关节的q表达式；

5）对机器人进行手眼标定及抓取策略分析；

6）完成抓取实验或仿真，验证设计方案的可靠性及伺服系统的稳定性；

2.2研究的重点、难点

本设计研究的重点和难点有两部分，一部分在于对深度图像的处理并提取有效信息，只有从图像中得到目标物体准确的姿态及空间坐标，才能完成后续的抓取任务。而图像在受到外界因素例如光照、通信等的干扰的情况下会产生噪声，需要对图像进行滤波从而消除噪声。如何对目标物体进行识别也是难点之一，需要对图像进行边缘提取，并确保识别的准确性、可靠性及较高的精度。

另一部分在于对机器人的抓取策略研究，即已知目标物体的位姿时对机器人的抓取路径规划和抓取位置检测，机器人的运动规划问题一直是机器人领域研究的热点，目前有人工势场法，A*算法、PRM和RPT等规划算法，需要选取合适的算法并进行一定的优化。另一部分是抓取姿态的生成，涉及到抓取物体的位置及姿态，这对于抓取稳定性而言非常重要。

2.3研究（设计）拟采用的技术方案及措施

2.3.1研究（设计）拟采用的技术方案

本设计主要以Kinect视觉传感器，机器人及其控制系统为研究平台，抓取目标选择简单的圆柱体和长方体。首先需要对Kinect的彩色摄像头和深度摄像头分别进行标定，标定方法采用“张正友标定法”，然后进行双目标定及矫正。

利用Kinect获取包含目标物体在内的环境图像，并得到三维点云。首先对图像进行预处理，包括图像灰度化处理、对比度增强等，然后对图像进行滤波处理，主要有均值滤波、中值滤波、高斯滤波等方法。通过边缘检测的方法对目标物体进行分割，边缘检测通常是对图像中灰度值有显著变化的区域进行识别，常用的边缘提取算子有Roberts、Sobel、Prewitt、Laplacian等。通过在2D图像上的分割，得到目标物体的所在区域范围，然后利用3D点云模型在点云空间下进行匹配，得到目标物体的坐标和深度信息。利用Kinect的内在参数矩阵和外在参数矩阵，便可得到目标物体在摄像头坐标系下的空间坐标。

由于目标物体的空间位置是以Kinect坐标系为准，无法利用结果直接控制机器人抓取物体，因此需要对机器人进行正、逆运动学建模，以实现在给定机器人末端期望位姿的情况下求解机器人各关节的准确转角度。另外需要利用摄像头对机器人进行手眼标定，获得Kinect坐标系与机器人基坐标系的变换矩阵。

对机器人的抓取策略进行研究，包括抓取姿态的生成和运动规划问题，抓取姿态主要考虑到物体的外形特征，如何寻找最佳抓取区域；然后需要在机器人仿真平台对运动规划算法进行仿真，如PRM和RPT等，选取最优算法。

最后利用仿真或实验对以上的方案或计算进行验证，包括机器人正逆运动学解的正确性，目标物体的定位准确性等，完成基于Kinect视觉信息反馈下机器人对目标物体的抓取实验。本设计的视觉伺服原理图如图2.1所示

图2.1 视觉伺服系统原理图

2.3.3研究（设计）技术路线图

3. 研究计划与安排

第1～2周 完成开题报告和英文翻译；

第3～6周 学习视觉伺服相关知识，完成总体技术方案设计；

第7～12周 完成目标识别、路径规划等设计并建立实验系统；

4. 参考文献（12篇以上）

参考文献：

[1]john j.craig.机器人学导论[m].北京：机械工业出版社，2018.

[2]熊有伦，李文龙等.机器人学：建模、控制与视觉[m].武汉：华中科技大学出版社，2018.