曹 兰
基于线激光扫描的鞋底点胶路径规划方法
曹 兰
（漳州职业技术学院电子信息学院，福建，漳州 363000）
以三维视觉检测速度快、机器人喷胶效率高和通用性强等特点，提出了一种基于线激光扫描的鞋底点胶路径规划方法。首先，利用线激光扫描鞋底工件，通过全局高度阀值来分离出鞋底信息。其次，采用法向量的偏置算法提取鞋底的边缘轮廓，且对轮廓曲线进行最小二乘法多项式的平滑处理。最后，运用手眼标定变换矩阵将获取的轨迹坐标转换为点胶机器人的运动坐标，以自动生成点胶机器人运动轨迹线。实验表明，采用的点胶机器人运动轨迹规划方法实现了鞋底点胶自动化，具有一定的工业应用价值。
4点标定；
线激光；
偏置算法；
平滑处理
鞋底涂胶是所有制鞋不可或缺的工序，涂胶质量好坏事关成品鞋质量。由于人工喷涂方式不一，传统手工涂胶很难保证涂胶量的均匀程度和稳定的质量，而且近距离触碰胶水严重影响了操作人员的健康，并对环境造成污染。因此，自动化鞋底涂胶工艺具有重大意义。本研究针对鞋底智能点胶系统开发的关键技术[1]，利用线激光轮廓传感器和四轴机器人实现了鞋底自动喷胶平台，重点研究了智能点胶机器人运动轨迹的规划。
在本道制鞋工序中，点胶机器人的作业对象是各种不同类型的鞋底，意味着有各种不规则的曲面，机器人点胶运动轨迹需按需调整。因此，点胶机器人运动轨迹的规划是本道工序的重点。
贾明峰等采用算法分割图像，算子提取鞋底边缘三维轮廓曲线，用插值平滑处理所得曲线[2]；
赵云创新研究了有最小厚度约束的点胶机器人运动轨迹[3]；
丁度坤等研究了基于遗传算法的图像阈值分割方法，并用数学形态学处理图像[4]；
江婧等使用算法以及连接策略生成鞋底喷胶路径[5]；
晋文科等提出基于算法的七关节冗余来生成点胶机器人运动轨迹[6]；
马利等提出模糊信息（边缘轮廓锐度信息）特征估计,实现图像的边缘提取[7]；
孙美卫等分析鞋底数据信息特征，创新研究出了双边极大值约束控制的算法[8]。
国际上等人针对鞋类行业的柔性胶合工艺,设计了一种视觉引导的机器人系统，提出了一种能够在机器人框架和视觉系统框架之间转换坐标的校准程序，提出基于平面二维物体和三维物体两种点胶路径规划技术[9]。等人在机器人机械臂跟踪三维曲线轮廓的任务空间轨迹规划中，为了使机器人适应更复杂的任务，改进了点对点路径规划方法，研究多个节点的路径规划，提出了一种基于路径规划方法。这种路径规划方法通过确定中速和时间，允许机器人通过任务空间中的多个点移动，以满足初、末节的速度条件。为了优化机器人的运动，提出了一种时间尺度法，分别使实际机器人的速度和加速度的物理最大值与规划轨迹的差值最小[10]。
1.1 系统结构设计
图1为鞋机运动系统设计图。本系统由流水线平台、线激光轮廓传感器、点胶机器人及工控机等组成，能自动规划鞋底边缘曲线，生成点胶路径，实现点胶机器人自动点胶。适用于不同鞋型自动点胶的要求[11-12]。图2为系统实物图。
图1 鞋底点胶设计图
基于线性激光轮廓传感器的鞋机运动系统是一条闭合的椭圆形自动流水平台，线性激光轮廓传感器和视觉机器人紧靠传送带。首先用4点标定法进行系统的手眼标定，确定机器人与相机的转换矩阵。系统运行时，用线性激光扫描鞋底的表面，经计算机选择合适的算法拟合鞋底的轮廓，通过转换矩阵转换为点胶机器人的运动坐标，通过千兆网连接工控机，导入运动坐标，控制机器人完成喷胶任务。
图2 系统实物图
线性激光轮廓传感器选用公司的，其激光线轮廓点数为640，测量范围为400mm,支持最新的版固件测量工具，方便采集3D数据。本系统满足线性激光轮廓传感器的应用条件而实现激光线扫鞋底，实时采集扫描图片，采用适当算法规划鞋底轮廓路径，并控制的4轴机器人实现点胶动作。
1.2 工作流程
如图3所示，本系统在第一次运行时，操作者需将标定版置于线激光传感器下面的平台上，标定系统。之后再运行时，图2中所示的定位装置循环触发线激光传感器进行激光线扫描鞋底工件，采集鞋底图像至电脑终端。计算机通过适当算法处理所得图像提取鞋底轮廓并进行平滑优化处理，得到鞋底边缘轮廓坐标，并转换为机器人的点胶运动坐标。控制机器人执行运动坐标实现点胶工作。
图3 系统工作流程图
1.3 系统的手眼标定
线激光传感器在相机坐标系下扫描鞋底采集图像，控制机器人运动的坐标点都是基于机器人坐标系的。系统的手眼标定可以确定两个坐标系的转换矩阵。本系统采用4点标定，
令机器人的基坐标系为，相机坐标系为，机器人执行器端坐标为，根据位姿变换关系，有：
(1)式展开，得：
(2)式中左右最后一列可得等式：
图4 4点标定版
实验时，相机坐标系下标定板上的标定点可以通过图像处理进行定位（表1）。采用示教法可以定位机器人执行器末端四个标定点的坐标如图4所示。调用算子即可获得其转换矩阵。
表1 机器人坐标系下标定板坐标
Table 1 Calibration board coordinates under the robot coordinate system
ABCD X -143.210155.750153.564 -145.310 Y352.991347.878238.373243.420 Z-120.392-119.324-120.176-120.786
2.1 阀值分割
在实际应用中，工件通常有如图5所示的两种边缘轮廓。单边缘是指内部没有其他子边缘，如图5()所示；
反之就是嵌套边缘，如图5()所示。若是嵌套边缘，还可继续划分为外边缘和内边缘[14]。根据鞋底点胶实际情况，鞋底点云数据拟合针对的便是嵌套边缘。
图5 边缘类型
本系统使用的软件是Halcon17，它提供了极为丰富的算子，方便实现各类算法。鞋底边缘提取，采用全局阀值图像分割算法，实现步骤：
1）读取鞋模原图图6()得灰度图6()。
2）利用( )算子对高度进行全局阀值分割，最小灰度值为17.507，最大灰度值为100，处理后的图像如图6()所示。
3）利用( )算子填充区域中的孔洞部分，得到图像6()。
4）利用( )算子平滑处理图6()图脚跟右边边缘肉眼可见的区域干扰信号。取值为3.5，平滑后的图像如图6()。
(a)鞋模原图；
(b)二值化处理后的灰度图；
(c)高度阀值处理后的鞋模图；
(d) 对(c)填充处理；
(e)对(d)图下半部分平滑毛刺处理
2.2 二值形态学处理
图像的二值形态学处理，是基于数据集合的概念，能将图像信息进行简单分类，去除不太相关的数据信息，保持图像信息的基本轮廓特征，并能实现数据并行处理。基本的二值形态学运算有腐蚀、膨胀、开运算和闭运算。本系统中采用先膨胀后腐蚀即闭运算处理图6()中鞋底外的残留干扰信号。
(a)开运算处理；
(b)腐蚀处理；
(c)图7(a)和图7(b)点云数据差
本系统采用二值形态学处理的实现步骤是：
1）利用( )算子剔除图6()轮廓外毛刺，参数取值为78，平滑后的图像如7()。
2）利用( )算子进一步对图7()进行腐蚀操作，参数取值为15，处理后的图像为图7()。
3）利用( ) 算子取图7()和图7()数据集的差值，得到鞋底的轮廓框架图7()。
2.3 鞋底边缘轮廓提取
在鞋底边缘曲线提取过程中，采用基于法向量的偏置算法处理鞋底的数据信息，提取鞋底的边缘轮廓，生成机器人运动轨迹曲线。鞋底轮廓曲线为[15]：
偏置处理后曲线为：
设置偏置的距离，对轮廓曲线上的每个数据点及两个相邻点进行分段处理，可近似求得曲线上每个点对应的法线。由(7)和 (8) 式可得鞋底轮廓。
(a) 法向量偏置算法提取的鞋底边缘轮廓；
(b) 取点最小二乘法多项式拟合；
(c) 平滑处理后的鞋底边缘轮廓
图8 鞋底边缘轮廓提取
Fig.8 Edge contour extraction of shoe sole
上述偏置算法提取到的鞋底边缘轮廓线还有细微的波动，如图8()，设置特定长度，选取鞋底边缘轮廓线上的个行列坐标交叉点，采用最小二乘法多项式对波动曲线进行拟合8()[16-18]，平滑处理后的鞋底边缘轮廓如图8()。
2.4 点胶机器人运动坐标
通过分解图像，得到鞋底边缘轮廓的三维图如图9所示。将轮廓线上的三维坐标通过手眼标定转换矩阵转换成点胶机器人的运动坐标，如图10，即完成点胶机器人的路径规划。图10拟合的机器人运动坐标曲线见图11。
图9 边缘提取后的鞋底三维图
图10 机器人部分运动坐标
图11 机器人运动坐标拟合的曲线
在进行点胶实验时，设置线激光传感器机械手IP地址，使相机连接机械手，读取手眼标定矩阵。线激光传感器扫描鞋底，采集图像，获取鞋模轮廓参数，提取轮廓点坐标，并转换为机器人运动坐标，发送给机器人进行点胶。由于线激光传感器与机器人之间有一定的距离差，线激光传感器扫描之后，要延时5.6 s机器人再开始运行。在进行点胶实验时，调整鞋模在实验平台的前后左右位置，进行20次点胶实验。旋转鞋模180度，对调鞋跟和鞋尖位置，再次调整鞋模在实验平台的前后左右位置，进行20次点胶实验。通过实验可以看到，机器人每次在不到4s时间就可以准确完成鞋底点胶工作，完成率为100%。
图12 机器人点胶实验
搭建基于线激光轮廓传感器的鞋底自动点胶平台，机器人末端为模拟点胶装置，图2所示的定位装置可以暂停和启动控制流水平台，可用于实现静态下鞋模点胶操作。同时，当前方鞋模正在点胶时，相机下方的鞋模静止于等待状态。实际测试结果显示，本法采用的点胶机器人运动轨迹规划方法实现了鞋底点胶自动化，具有一定的工业应用价值。为了进一步改善系统性能，将继续研究新的运算量小、更准确获得边缘信息的算法，达到更优的控制效果。
[1] 沈飞.制鞋涂胶设备设计及关键工位研究[D].杭州:浙江工业大学,2016.
[2] 贾明峰,胡国清,吕成志.基于图像处理的自动喷胶系统的研究[J].制造业自动化,2017,39(6):116-119.
[3] 赵云.基于自由曲面的工业机器人喷涂轨迹规划及仿真技术研究[D].武汉:武汉工程大学,2017.
[4] 丁度坤,舒雨峰,谢存禧,等.机器视觉在鞋机运动轨迹识别中的应用研究[J].机械设计与制造,2018(2): 257-262.
[5] 江婧,刘利刚.鞋胶喷涂的路径生成与优化[J].计算机辅助设计与图形学学报,2020,32(5) :830-836.
[6] 晋文科,张华,刘满禄.基于NURBS算法的冗余机械臂轨迹规划[J].科学技术与工程,2014,14(28):226-230.
[7] 马利,李晶皎,马技,等.一种应用轮廓锐度的单视点图像深度信息提取算法[J].小型微型计算机系统,2016,37(2):316-320.
[8] 孙美卫.基于K最近邻的3D鞋底喷胶路径规划方法[J].齐齐哈尔大学学报:自然科学版,2020,36(5):21-25.
[9] Kim J, Jin M L, Sang H,et al Y.Task space trajectory planning for robot manipulators to follow 3-D curved contours[J].Electronics,2020,9(9):1424.
[10] Pagano S, Russo R, Savino S. A vision guided robotic system for flexible gluing process in thefootwear industry[J].Robotics and omputer-Integrated ufacturing, 2020,C(65):101965-101965.
[11] 孟飞武.面向制鞋涂胶的SCARA机器人结构设计与研究[D].淮南:安徽理工大学,2015.
[12] 郭震冬,黄亮,顾正东,等.三维激光扫描技术在古建筑测量中的应用[J].智能城市,2019(18):1-2.
[13] 翟敬梅,黄锦洲,刘坤.双目视觉下基于边缘特征的机器人作业环境检测方法[J].华南理工大学学报:自然科学版,2018,46(3):1-7.
[14] 黄登红,周忠发,吴跃,等.基于无人机可见光影像的高原丘陵盆地区山药植株识别[J].热带地理,2019,39(4):571-582.
[15] 吴拱星.智能喷胶机器人的姿态控制与轨迹规划[J].中原工学院学报,2019,30(4):45-48,54.
[16] 张帆.图像处理中曲线曲面拟合问题研究[D].济南:山东大学,2015.
[17] 刘俊.移动最小二乘散点曲线曲面拟合与插值的研究[D]. 杭州:浙江大学,2011.
[18] 王红平,史明.基于改进移动最小二乘法的数据拟合[J].组合机床与自动化加工技术,2021(3):9-13.
PATH PLANNING MESHOD FOR SHOE SOLE DISPENSING BASED ON LINE LASER SCANNING
CAO Lan
（Electronic Information Department, Zhangzhou Institute of Technologe, Zhangzhou, Fujian 363000, China）
Based on faster speed of 3D visual measurement and high efficiency of robot spraying and strong commonality, this paper presents the line laser scanning path method of shoe sole dispensing. Firstly, a line laser sensor was used to scan the sole artifacts to get the sole information through the global height threshold. Secondly, using the offset algorithm of the normal vector the edge contour of the sole was extracted, and the contour curve was smoothed by least square polynomial. Finally, the transformation matrix of a hand-eye calibration was used to convert the coordinates of a acquired trajectory into the motion coordinates of the dispensing robot, which automatically generate the motion trajectory of the dispensing robot. It showed that the trajectory planning method of dispensing robot realized the automation of sole dispensing and had certain industrial application value.
4-point calibration; line laser; bias algorithm; smoothing
1674-8085（2022）04-0064-06
TP241.2
A
10.3969/j.issn.1674-8085.2022.04.010
2021-09-14；
2022-03-03
国家自然科学基金项目 (62001199); 福建省中青年教师教育科研项目(科技类JAT191419，科技类JAT171100)
曹 兰（1982-），女，湖北天门人，讲师，硕士，主要从事人工智能，机器视觉研究(E-mail:157621421@qq.com).
猜你喜欢 标定轮廓鞋底 轻卡前视摄像头的售后标定汽车电器(2021年8期)2021-08-24一种轻卡前视单目摄像头下线标定方法汽车电器(2021年7期)2021-08-04使用朗仁H6 Pro标定北汽绅宝转向角传感器汽车维修与保养(2020年11期)2020-06-09画与理文萃报·周二版(2020年7期)2020-04-17跟踪导练（三）时代英语·高一(2019年5期)2019-09-03“鞋底垫厚点，也能走得快”——贫困户崔普选和他的“梦中梦”当代陕西(2019年11期)2019-06-24CT系统参数标定及成像—2智富时代(2019年2期)2019-04-18CT系统参数标定及成像—2智富时代(2019年2期)2019-04-18鞋底防滑儿童故事画报·发现号趣味百科(2015年1期)2015-05-22儿童筒笔画大灰狼(2009年7期)2009-08-26