(12)发明专利申请
(10)申请公布号 CN 109827521 A(43)申请公布日 2019.05.31
(21)申请号 201910202385.2(22)申请日 2019.03.11
(71)申请人 烟台大学
地址 264005 山东省烟台市烟台大学计算
机与控制工程学院,烟台市莱山区清泉路30号(72)发明人 武栓虎 李爱娟 辛睿 (74)专利代理机构 苏州中合知识产权代理事务
所(普通合伙) 32266
代理人 伍兵(51)Int.Cl.
G01B 11/24(2006.01)
权利要求书3页 说明书9页 附图2页
CN 109827521 A(54)发明名称
一种快速多线结构光视觉测量系统标定方法
(57)摘要
一种快速多线结构光视觉测量系统的标定方法,步骤如下:(1)分别标定首尾(第一个和最后一个)两个光平面,得到其光平面单位法向量
(2)利用步骤(1)得到首尾光平面的和距离参数;
法向量计算两个光平面的旋转角和旋转向量;(3)利用多线结构光等距平行且相交于一条直线的特征和步骤(2)计算的旋转角计算各相邻光平面之间的夹角;(4)利用步骤(3)计算的各光平面之间夹角和步骤(2)计算的旋转向量构造各光平面之间的旋转矩阵;(5)根据步骤(4)得到的旋转矩阵和第一个光平面的单位法线向量,计算中间各光平面的单位法向量;(6)利用步骤(1)得到的首尾光平面方程,首先计算各光平面的共有交线,并采样多个点,然后分别计算中间各光平面方程的距离参数。
CN 109827521 A
权 利 要 求 书
1/3页
1.一种快速多线结构光视觉测量系统的标定方法,其特征在于,包括以下步骤:(1)分别标定首尾(第一个和最后一个)两个光平面,得到其光平面单位法向量和距离参数;
(2)利用步骤(1)得到首尾光平面的法向量计算两个光平面的旋转角和旋转向量;(3)利用多线结构光等距平行且相交于一条直线的特征和步骤(2)计算的旋转角计算各相邻光平面之间的夹角;
(4)利用步骤(3)计算的各光平面之间夹角和步骤(2)计算的旋转向量构造各光平面之间的旋转矩阵;
(5)根据步骤(4)得到的旋转矩阵和第一个光平面的单位法线向量,计算中间各光平面的单位法向量;
(6)利用步骤(1)得到的首尾光平面方程,首先计算各光平面的共有交线,并采样多个点,然后分别计算中间各光平面方程的距离参数。
2.根据权利要求1所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,视觉测量系统标定包括相机参数标定和多线结构光平面标定,相机投影测量模型为:
其中:s为常比例系数,(u,v)为目标与对应结构光平面交线上点的图像坐标,K为投影矩阵,fx和fy分别为相机在x、y方向焦距参数,Cx和Cy为成像主点,[xc,yc,zc]T是相机坐标系下的点的三维坐标;
多线结构光平面模型为:
其中:2N+1是光平面的个数,[ni,x,ni,y,ni,z]T表示第i个光平面的单位法向量,[xc,yc,zc]T是相机坐标系下的点的光平面上的任何三维坐标,|di|是相机坐标原点到激光平面的垂直距离。
3.根据权利要求2所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述步骤(1)中首尾单结构光平面基于相机投影矩阵和单应矩阵进行快速标定,单应矩阵根据标靶的上所有特征点和对应的图像像素坐标由下式确定:
其中,H为单应矩阵,[u,v]T为投影坐标,[xw,yw]T为标靶平面上对应世界坐标;根据单应矩阵后,可求出光平面与平面标靶交线上的任何像素对应的世界坐标,那么相机坐标系下的特征点三维坐标为:
2
CN 109827521 A
权 利 要 求 书
2/3页
4.根据权利要求3所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,在首尾单结构光平面标定操作中,各移动平面标靶两次,分别求取两条直线上像素点对应的三维坐标,利用最小二乘拟合得到首尾两个光平面方程:
n1,xx+n1,yy+n1,zz=d1
n2N+1,xx+n2N+1,yy+n2N+1,zz=d2N+1其中:[n1,x,n1,y,n1,z]T和[n2N+1,x,n2N+1,y,n2N+1,z]T为首尾光平面的单位法向量,|d1|和|d2N+1|分别为相机坐标系原点到首尾两个光平面的距离。
5.根据权利要求4所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述步骤(2)中首尾两个光平面之间的旋转角θ基于其单位法向量内积由下式得到:
cosθ=n1,x·n2N+1,x+n1,y·n2N+1,y+n1,z·n2N+1,z其单位旋转向量由下式得到:
并且,绕旋转向量旋转角度θ的旋转矩阵R为:
6.根据权利要求5所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述步骤(3)中各相邻光平面之间的夹角为:
θθ2N+1-i=i,i=1,2,...,N。
7.根据权利要求6所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述步骤(4)中,根据各相邻光平面之间的夹角得到各光平面之间的旋转向量和旋转矩阵Ri,i+1,所述步骤(5)中,中间各光平面的单位法向向量由第一个光平面的单位法向向量基于下式得到:
3
CN 109827521 A
权 利 要 求 书
3/3页
8.根据权利要求7所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述步骤(6)中,通过联立首尾光平面方程得到各光平面共有交线为:
其中:为交线的方向向量(前述单位旋转向量),[x0,y0,z0]是直线上任意
一点;通过在直线上采样M个点[xi,yi,zi],i=1,2,...,M,得到中间光平面距离参数di为:
9.根据权利要求1-8任一项所述的一种快速多线结构光视觉测量系统的标定方法,其特征在于,所述标定方法应用于无接触汽车四轮定位轮胎建模。
4
CN 109827521 A
说 明 书
一种快速多线结构光视觉测量系统标定方法
1/9页
技术领域
[0001]本发明涉及计算机视觉应用领域基于结构光的视觉测量系统的标定问题,特别涉及一种垂直投射于成像平面时其交线图像具有等距平行特性的线结构光视觉测量系统快速标定方法。
背景技术
[0002]线结构光测量是一种通过向目标表面投射线结构光平面,从而获得该平面于待测目标表面交线处点的三维坐标。在实际应用中,通过增加第三轴运动信息将交线轮廓拼接起来,能够检测复杂目标表面的三维曲面轮廓。多线结构光是单线结构光的拓广,避免增加第三维运动信息,可以一次获得目标表面的三维坐标,具有高速、高精度、抗干扰性强等优点,近年来得到了广泛的应用。常用多线结构光投射器由光源和刻有等距平行线的镜头组成,在垂直投射到平面标靶时其交线图像具有平行等距的特点(如图1所示)。目前市面上出现的多线结构光投射器可投射的线数从7线到81线之多(一般情况为奇数条),但其标定过程一直沿用单线结构光的标定策略,即首先逐条检测、索引、估计每个光平面与标靶交线图像上的特征点,然后得到光平面方程,步骤繁琐,而且系统的最大标定精度取决于个别光平面的标定误差。
发明内容
[0003]基于上述问题,本发明针对常用多线结构光等距平行的特点,提出一种快速多线结构光视觉测量系统标定方法,无论多少个光平面,只需标定首尾(第一个和最后一个)两个光平面方程,就可推算出其它光平面的参数,整体精度取决于首尾光平面的标定精度,快捷、实用,具有很好的推广应用价值。
[0004]本发明的目标是通过以下技术方案实现的。
[0005]一种快速多线结构光视觉测量系统的标定方法,包括以下步骤:[0006](1)分别标定首尾(第一个和最后一个)两个光平面,得到其光平面单位法向量和距离参数;[0007](2)利用步骤(1)得到首尾光平面的法向量计算两个光平面的旋转角和旋转向量;[0008](3)利用多线结构光等距平行且相交于一条直线的特征和步骤(2)计算的旋转角计算各相邻光平面之间的夹角;[0009](4)利用步骤(3)计算的各光平面之间夹角和步骤(2)计算的旋转向量构造各光平面之间的旋转矩阵;[0010](5)根据步骤(4)得到的旋转矩阵和第一个光平面的单位法线向量,计算中间各光平面的单位法向量;[0011](6)利用步骤(1)得到的首尾光平面方程,首先计算各光平面的共有交线,并采样多个点,然后分别计算中间各光平面方程的距离参数。[0012]上述快速多线结构光视觉测量系统的标定方法,所述标定方法基于多线结构光视
5
CN 109827521 A
说 明 书
2/9页
觉测量系统模型,其标定过程标定包括相机参数标定和光平面标定,相机模型为:
[0013]
其中:s为常比例系数,(u,v)为目标与对应结构光平面交线上点的图像坐标,K为投影矩阵,fx和fy分别为相机在x、y方向焦距参数,Cx和Cy为成像主点,[xc,yc,zc]T是相机坐标系下的点的三维坐标;
[0015]多线结构光平面模型为:
[0016]
[0014]
其中:2N+1是光平面的个数,[ni,x,ni,y,ni,z]T表示第i个光平面的单位法向量,[xc,
yc,zc]T是相机坐标系下的点的光平面上的任何三维坐标,|di|是相机坐标原点到激光平面的垂直距离。
[0018]上述快速多线结构光视觉测量系统的标定方法,所述步骤(1)中首尾单结构光平面基于相机投影矩阵和单应矩阵进行快速标定,单应矩阵根据标靶的上所有特征点和对应的图像像素坐标由下式确定:
[0017][0019]
[0020]
其中,H为单应矩阵,[u,v]T为投影坐标,[xw,yw]T为标靶平面上对应世界坐标;根
据单应矩阵后,可求出光平面与平面标靶交线上的任何像素对应的世界坐标,那么相机坐标系下的特征点三维坐标为:
[0021]
上述快速多线结构光视觉测量系统的标定方法,首尾单结构光平面标定操作中,
各移动平面标靶两次,分别求取两条直线上像素点对应的三维坐标,利用最小二乘拟合得到首尾两个光平面方程:[0023]n1,xx+n1,yy+n1,zz=d1
[0024]n2N+1,xx+n2N+1,yy+n2N+1,zz=d2N+1[0025]其中:[n1,x,n1,y,n1,z]T和[n2N+1,x,n2N+1,y,n2N+1,z]T为首尾光平面的单位法向量,|d1|和|d2N+1|分别为相机坐标系原点到首尾两个光平面的距离。[0026]上述快速多线结构光视觉测量系统的标定方法,所述步骤(2)中首尾两个光平面之间的旋转角θ基于其单位法向量内积由下式得到:[0027]cosθ=n1,x·n2N+1,x+n1,y·n2N+1,y+n1,z·n2N+1,z[0028]其单位旋转向量由下式得到:
6
[0022]
CN 109827521 A
说 明 书
3/9页
[0029]
[0030]
并且,绕旋转向量旋转角度θ的旋转矩阵R为:
[0031]
上述快速多线结构光视觉测量系统的标定方法,所述步骤(3)中各相邻光平面之
间的夹角为:
[0033]
[0032]
[0034]
[0035]
并且:
[0036]θθ2N+1-i=i,i=1,2,...,N。
[0037]上述快速多线结构光视觉测量系统的标定方法,所述步骤(4)中,根据各相邻光平面之间的夹角得到各光平面之间的旋转向量和旋转矩阵Ri,i+1,所述步骤(5)中,中间各光平面的单位法向向量由第一个光平面的单位法向向量基于下式得到:
[0038]
[0039]
上述快速多线结构光视觉测量系统的标定方法,所述步骤(6)中,通过联立首尾光
平面方程得到各光平面共有交线为:
[0040][0041]
其中:为交线的方向向量(前述单位旋转向量),[x0,y0,z0]是直线上
任意一点;通过在直线上采样M个点[xi,yi,zi],i=1,2,...,M,得到中间光平面距离参数di
为:
[0042]
上述快速多线结构光视觉测量系统的标定方法,所述标定方法应用于无接触汽车
四轮定位轮胎建模。
[0044]本发明的有益效果在于:
7
[0043]
CN 109827521 A[0045]
说 明 书
4/9页
1.按照本发明的方法构造的视觉测量系统,最大误差由第一个和最后一个光平面
的误差决定,因此,只要高精度地标定好首尾光平面的参数,就可以保证整个系统的精度;[0046]2.本发明的方法相比传统逐线标定算法,不必检测和处理并索引中间各光平面的光条图像,大大减轻了图像处理的繁琐步骤和精度负担,快速、高效、稳定;[0047]3.实验结果表明,按照本发明的方法,在距离500mm的测量距离,最大误差可以控制在0.15mm以下,完全满足实际建模应用;
[0048]4.本发明的方法在无接触汽车四轮定位轮胎建模等应用中均得到良好验证,方便、快捷,标定成本低,有很好的推广前景。附图说明
[0049]通过阅读下文优选实施方式的详细描述,本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。在附图中:
[0050]图1为平行线结构光垂直投射成像示意图。[0051]图2为平行线结构光测量系统工作原理。[0052]图3为单应矩阵平面投影示意图。[0053]图4为实验标定操作示意图。
[0054]图5为平行结构光垂直投射剖面示意图。
具体实施方式
[0055]下面将结合本发明所基于的原理以及附图更详细地描述本公开的示例性实施方式。
[0056]首先介绍多线视觉测量系统模型:
[0057]线结构光视觉测量系统主要由线激光发射器和相机组成,其中,为了保证测量精度,相机成像方向和光平面投射方向夹角在30-60之间为宜。通过激光传感器发射激光平面并投射到物体表面,根据在物体表面形成的激光交线的图像像素坐标,就可以计算目标表面和激光平面交线上所有点的三维坐标,对被测目标建立三维模型,如图2所示。[0058]线结构光测量系统标定由相机参数标定和光平面标定两部分组成。单相机标定目前普遍采用张正友的算法可以事先进行标定,主要参数有相机投影矩阵和镜头畸变参数,相机投影测量模型如下:
[0059]
上式中,s为一常比例系数,(u,v)为目标与对应结构光平面交线上点的图像坐标,
K为投影矩阵,也称内参矩阵,其中,fx和fy分别为相机在x、y方向焦距参数,Cx和Cy为成像主点(光轴和成像平面交点)。[xc,yc,zc]T是相机坐标系下的点的三维坐标。[0061]多线结构光平面模型可由下式表示:
[0060]
8
CN 109827521 A
说 明 书
5/9页
[0062]
其中2N+1是光平面的个数,[ni,x,ni,y,ni,z]T表示第i个光平面的单位法向量,[xc,
yc,zc]T是相机坐标系下的点的光平面上的任何三维坐标,|di|是相机坐标原点到激光平面的垂直距离。事实上,上式di就是光平面上任何三维点在相机坐标系下构成的三维向量在对应平面的单位法向量上的投影(内积)。由于相机和激光传感器夹角固定,di是常数,称为距离参数。
[0064]首先注意到计算光平面与目标交线的三维坐标时,由于式(1)中含有一常比例系数s,因此得到的三维坐标点有无数个,但可以通过对应的光平面方程做约束(参考式(2),di是常数),将比例系数去掉,得到真实的三维坐标。[0065]因此,线结构光测量系统的标定过程主要是光平面方程的标定,通过获取一组非共线的光平面上的三维点(>=3),就可达到目的。[0066]下面介绍等距平行线结构光平面标定方法:[0067]由于本发明涉及到标定首尾单线结构光平面,因此下面首先介绍一种稳定的单线结构光标定方法,然后给出本发明计算其余光平面的快速方法。[0068]单结构光平面标定方法[0069]一般情况下,单结构光平面的标定涉及获取一组非共线三维特征点(>=3),一般采用平面标靶和交比不变原理,但步骤繁琐,获取的特征点较少,稳定性依赖于部分标靶特征点的获取精度。这里介绍一种基于相机投影矩阵和单应矩阵的快速稳健的标定方法。[0070]单应矩阵表示一个平面到另一个平面的投影映射,即对于多个共面的特征点,经过单应变换之后,其对应的成像特征点也是共面的。因此可以根据成像点通过相机投影矩阵和单应矩阵恢复其三维坐标。如图3所示,棋盘格上的A、B、C、D点分别对应投影图像上的a、b、c、d点,对应关系可用下式表示:
[0063][0071]
[0072]
其中,H称为单应矩阵,[u,v]T为投影坐标,[xw,yw]T为标靶平面上对应的世界坐考虑平面标靶的相机成像模型:
标。
[0073]
[0074]
其中,K为投影矩阵,[r1,r2,r3]T和t为标靶的旋转和平移。[xw,yw]T为对应的标靶上点的世界坐标。不难看出H就是平面标靶到图像平面的单应矩阵。在实际标定时,根据标靶的上所有特征点和对应的图像像素坐标就可根据式(3)一次确定单应矩阵H。得到单应矩阵后,任何图像空间中像素坐标对应的世界坐标可以按照式(4)由下式计算:
[0075]
9
CN 109827521 A
说 明 书
6/9页
[0076]
[0077]
其对应的相机坐标系下的特征点三维坐标可由式(4)得出:
[0078]
根据上述算法,任何与光平面相交直线上的三维坐标可以一次性估计,另外,注意
到在用上述方法计算光平面上特征点三维坐标时利用了标靶上全部特征点(用来计算单应矩阵),因此,算法的鲁棒性更好。单结构光平面的实际标定操作如图4所示。移动平面标靶两次,按照上述算法求取两条直线上(直线L1和直线L2)像素点对应的三维坐标,利用最小二乘拟合可得到光平面方程。原理上,根据上述算法,直线上任何像素点的三维坐标都可得到,实际应用时只需采样足够多的特征点即可。另外,值得注意的是,在上述光平面特征点获取前要根据相机的畸变参数对图像做畸变矫正。[0080]等距平行线结构光标定方法
[0081]等距平行线结构光指的是光源发射器在垂直于成像平面投射时,其交线图像等距平行,而且所有光平面相交于一条直线,在工业视觉测量领域内最为常见。一般情况下结构光投射线数为奇数条,从7线到多为81条之多,可以根据应用的目的来选取。当线数较多时,采用传统单结构光标定算法效率低下,主要是因为多平行线结构光视觉测量系统视野宽阔,需要制作大尺寸高精度的标靶,成本高,而且还需检测、索引每条结构光与标靶相交的直线图像,处理繁琐,精度不好控制。
[0082]本发明只需标定首尾两个结构光平面,就可根据其固有特征推算出其余光平面的方程。其优点是,标靶尺寸不必很大(首尾结构光平面可以单独标定),成本低,不必检测每条交线图像,速度快。另外,总体标定精度取决于首尾光平面的标定精度,中间层的光平面标定误差原理上是取决于首位光平面标定误差。下面介绍本发明的方法。[0083]由前述单线结构光标定方法,可以得到首尾光平面方程:[0084]n1,xx+n1,yy+n1,zz=d1 (7)[0085]n2N+1,xx+n2N+1,yy+n2N+1,zz=d2N+1
[0086]其中[n1,x,n1,y,n1,z]T和[n2N+1,x,n2N+1,y,n2N+1,z]T为首尾光平面的单位法向量,|d1|和|d2N+1|分别为相机坐标系原点到首尾两个光平面的距离。另外,为了保证计算首尾两个光平面的夹角,其单位法向量要保持主方向一致,即内积满足:n1,xn2N+1,x+n1,yn2N+1,y+n1,
两个光平面之间的夹角可由其单位法向量内积得到:zn2N+1,z>0。
[0087]cosθ=n1,x·n2N+1,x+n1,y·n2N+1,y+n1,z·n2N+1,z (8)[0088]不难理解,光平面1旋转角度θ(单位为弧度)后与光平面2N+1重合,其单位旋转向量可由下式得到:
[0079]
10
CN 109827521 A
说 明 书
7/9页
[0089]
[0090]
根据Rodrigues变换,绕旋转向量旋转角度θ的旋转矩阵R为:
[0091]
[0092]
那么首尾光平面法向量有如下关系:
[0093]
[0094]
图5是多平行线结构光垂直投射时的成像剖面示意图。假设光平面个数为2N+1,投
射高度为h,光平面投射线间距为d,那么d/h=常数,也就是说,对于某种等距平行线结构光,首尾光平面的夹角是固定的,也为常数,而且首尾光平面的夹角有下列关系:
[0095][0096][0097][0098][0099][0100][0101][0102]
光平面1和光平面2之间的夹角θ1(参考图5)可由下式计算:
即:
类似地,第i个光平面和第i+1和光平面之间的夹角可由下式计算:
即:
[0103]
由于光平面垂直投射时的对称性,可以得到其余一半光平面之间的夹角:[0105]θθ (17)2N+1-i=i,i=1,2,...,N[0106]用以上估计的θθ,可以得到各光平面之间的旋转i,i=1,2,...2N替换式(10)中的矩阵Ri,i+1,类似式(11),各光平面法向量之间有如下关系:
[0104]
11
CN 109827521 A
说 明 书
8/9页
[0107]
[0108]
由式(18),中间各光平面的单位法向向量可由第一个光平面的单位法向向量得
到。
[0109]
至此,中间各个光平面的单位法向向量都可以依据第一个光平面的法线向量由式
(18)计算得到,还需计算相机坐标原点到每个光平面法线向量的投影(内积)di,i=2,3,...2N-1。由于各个光平面相交于一条直线,这条直线可以通过联立求解式(7)得到:
[0110][0111]
其中是由式(9)计算的交线的方向向量(单位旋转向量),[x0,y0,z0]
是直线上任意一点,可通过取固定任意x0的(比如取x0=0)值,联立求解式(7)得到y0和z0旳值。在直线上采样M个点[xi,yi,zi],i=1,2,...,M,di可由下式估计:
[0112]
上式中每一项表示第i个光平面上的点在相机坐标系中构成的向量在其法线向量上的投影(原理上都应该相等),取M个点平均是为了计算的稳定性。[0114]综上所述,整体标定过总结如下:[0115]第1步:根据上述算法(或其它算法),分别标定首尾(第一个和最后一个)两个光平面方程;
[0116]第2步:利用第1步得到的首尾两个光平面的单位法向量,按照式(8)计算两个光平面的夹角θ(旋转角)。[0117]第3步:利用第2步计算得到的旋转角θ和等距平行结构光的特征(参考式(12)和图5),按照式(13)到式(17)计算得到相邻光平面的旋转角θi,i=1,2,...2N。[0118]第4步:根据第3步得到的相邻光平面的旋转角,利用式(9)计算相邻光平面的单位旋转向量,并按式(10)将其转换为旋转矩阵Ri,i+1;[0119]第5步:利用第一个光平面的单位法向量和第4步计算的旋转矩阵得到中间光平面的单位法线向量;[0120]第6步:利用所有光平面相交于一条直线(方向为上述计算的旋转向量)的特性,利用首尾光平面计算交线(参考式(19)),并采样M个点,并按照式(20)计算中间光平面的距离参数di,i=2,3,...,2N。[0121]按照以上方法,根据第一个和最后一个光平面方程标定结果,就可以得到其它中间光平面的参数。
[0122]值得注意的是,虽然上述方法计算的是投射线数为奇数(2N+1)的结构光,但是对于投射线数为偶数(2N)的结构光稍加调整一样可以标定。[0123]不难看出,按照上述方法构造的视觉测量系统最大误差由第一个和最后一个光平面的误差决定,因此,只要高精度地标定好首尾光平面的参数,就可以保证整个系统的精度。本方法相比传统逐线标定算法,不必检测和处理并索引中间各光平面的光条图像,大大
12
[0113]
CN 109827521 A
说 明 书
9/9页
减轻了图像处理的繁琐步骤和精度负担,快速、高效、稳定。实验结果表明,在距离500mm的测量距离,最大误差可以控制在0.15mm以下,完全满足实际建模应用。另外,本方法已在无接触汽车四轮定位轮胎建模应用中得到验证,方便、快捷,标定成本低,有很好的推广前景。[0124]以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
13
CN 109827521 A
说 明 书 附 图
1/2页
图1
图2
图3
14
CN 109827521 A
说 明 书 附 图
2/2页
图4
图5
15
因篇幅问题不能全部显示,请点此查看更多更全内容