罗文 邹湘军 陈建明 梁添贵 丁惠英 倪沁心
开发设计
基于机器视觉的Mini LED背光板PCB焊盘检测系统*
罗文 邹湘军 陈建明 梁添贵 丁惠英 倪沁心
（1.华南农业大学工程学院，广东 广州 510642 2.广东华恒智能科技有限公司，广东 东莞 523575）
针对Mini LED背光板PCB焊盘检测精度和效率低的问题，提出一种基于机器视觉的Mini LED背光板PCB焊盘检测系统。首先，对采集的Mini LED背光板PCB焊盘图像进行预处理；
然后，通过阈值分割法进行PCB焊盘粗分割，采用模糊C均值聚类算法进行PCB焊盘细分割；
接着，利用Canny算子进行像素精度边缘提取；
最后，采用基于Zernike矩的亚像素边缘检测方法提高边缘检测精度。实验结果表明，该系统具有较高的检测精度和效率，PCB焊盘尺寸测量误差在±8 μm以内，位置测量误差在12 μm以内。
机器视觉；
Mini LED背光板；
PCB焊盘；
图像处理；
边缘提取；
亚像素边缘检测
近年来，随着显示产业的蓬勃发展，以Mini LED为代表的微米级背光板芯片更是发展迅速[1]，其需求也随之增加。目前，Mini LED显示技术已实现商业化[2]，但仍然面临诸多挑战，其背光板的印刷电路板（printed circuit board, PCB）焊盘检测就是难点之一。PCB虽然具有高韧性，但存在尺寸稳定性、基板平整性差等缺点。随着Mini LED产业技术的发展，LED芯片的面积越来越小，其PCB设计制作的要求也越来越高，检测精度一般要求在50 μm以内。高精度的线路检测成了Mini LED产业发展的技术瓶颈[3]。目前，Mini LED背光板PCB焊盘检测主要有人工目检、扫描探针和视觉检测[4]3种方法，其中应用最为广泛的是视觉检测。
国内外学者对基于机器视觉的检测技术进行了大量的研究[5-10]。万杰等[11]利用光线追迹算法，在高温环境下对物体进行视觉三维测量。邹湘军等[12]针对非结构化环境下零件识别与定位精度低的问题，提出改进迭代最近点的亚像素级配准算法。许斌等[13]针对基片表面特征尺寸测量复杂以及精度低的问题，提出基于区域灰度梯度差异的基片特征尺寸测量方法。这些研究虽然在机器视觉检测领域取得了一定的成果，但仍然停留在理论和试验阶段，较少应用到实际工业生产领域。
本文提出基于机器视觉的Mini LED背光板PCB焊盘检测系统，通过对PCB焊盘的尺寸、焊盘中心与Mark点位置关系进行测量，提高Mini LED背光板PCB焊盘的检测精度和效率。
基于机器视觉的Mini LED背光板PCB焊盘检测系统由图像采集系统、运动控制系统和图像处理系统组成，如图1所示。
图1 基于机器视觉的Mini LED背光板PCB焊盘检测系统框图
图像采集系统包括工业相机、镜头、光源等。根据视野范围、工作距离和测量精测要求进行系统硬件选型。其中，工业相机选用DALSA黑白线阵相机，分辨率为2 048×1像素，行频为52 kHz，像元尺寸为7.04 μm；
镜头选用1.5倍远心镜头；
根据PCB焊盘和开窗特征，选用红色环形LED光源。
运动控制系统包括运动控制卡、板卡、伺服电机、伺服驱动器、滚轴丝杆、光栅尺、机械平台、抽真空机组等。其中，运动控制卡和板卡用于控制系统动作；
伺服驱动器和伺服电机负责完成各轴的精确位置矫正；
滚轴丝杆作为传动机构，带动放置工件的机械平台到达指定位置；
光栅尺对各轴位移进行检测，补偿运动误差；
抽真空机组用于吸附工件，防止工件在运动过程中发生偏移。
图像处理系统包括图像预处理、图像分割、边缘提取、特征尺寸和位置测量等。
Mini LED背光板PCB焊盘尺寸和间隔一致，呈线性排列分布，实物图如图2所示。
图2 Mini LED背光板PCB实物图
基于机器视觉的Mini LED背光板PCB焊盘检测过程：
1）通过工业相机采集PCB焊盘图像，并进行滤波处理；
2）利用阈值分割法和图像形态学膨胀法粗分割PCB焊盘区域；
3）采用模糊C均值聚类（fuzzy C-means, FCM）算法进行PCB焊盘区域细分割；
4）利用Canny算子进行PCB焊盘像素精度边缘提取；
5）采用基于Zernike矩的亚像素边缘检测法进行PCB焊盘边缘检测；
6）通过标定板标定，将像素坐标转换为实际物理坐标系下的像素当量，进行图像像素坐标拼接，进而检测PCB焊盘。
2.1 图像采集
PCB焊盘图像采集过程如下：PC端通过运动控制卡发出运动控制指令给伺服驱动器；
伺服驱动器将PC端的电信号转换成脉冲信号，并发送给伺服电机；
滚轴丝杆驱动机械平台和工业相机运动到拍照位置，完成PCB焊盘图像的采集[14]。
2.2 图像预处理
图像在采集和传输过程中，由于受到工作环境、电路结构以及传输介质等因素的影响，通常会引入噪声。需先对采集的PCB焊盘图像进行预处理，否则会对图像的特征提取造成干扰。本文采集的PCB焊盘图像主要包括椒盐噪声。目前，常用的滤波方法主要有均值滤波、中值滤波和高斯滤波。其中，高斯滤波适用于消除高斯噪声，对椒盐噪声作用并不明显；
均值滤波虽能够消除椒盐噪声，但会使图像边缘变得模糊；
中值滤波不但能够消除椒盐噪声，而且较好地保留了边缘信息。故本文采用中值滤波对PCB焊盘图像进行平滑滤波，效果如图3所示。
图3 PCB焊盘图像中值滤波效果
2.3 图像粗分割
中值滤波后的PCB焊盘图像先进行阈值分割，得到PCB焊盘和开窗区域。阈值分割法步骤为：
1）计算PCB焊盘图像的灰度直方图，如图4所示；
图4 PCB焊盘图像灰度直方图
3）利用形状特征，根据矩形度和面积大小去除干扰，经过图像闭运算和形态学膨胀PCB焊盘和开窗区域，获得PCB焊盘图像粗分割效果如图5所示。
图5 PCB焊盘图像粗分割效果
2.4 图像细分割
由于光照等环境因素影响，采用阈值分割法较难确定合适的阈值，PCB焊盘分割效果不是很理想。为更准确地提取PCB焊盘的边缘信息，根据图像的像素灰度级特征，利用FCM算法，将PCB焊盘图像的粗分割区域细分割为焊盘区域和背景区域[15]，如图6所示。
图6 PCB焊盘图像区域划分
式中：
——迭代次数；
式中：
——样本数。
式中：
——聚类中心数。
式中：
PCB焊盘图像经过聚类分割后划分为焊盘区域和背景区域，如图7所示。
图7 PCB焊盘图像聚类分割效果
2.5 像素精度边缘提取
边缘定义了图像中对象的边界，通常是灰度变化较大的部分。本文利用Canny算子提取PCB焊盘图像边缘。
梯度的大小（长度）表示为
梯度的方向表示为
式中：
根据公式(6)，利用Canny算子提取PCB焊盘边缘。先利用高斯滤波器进行图像平滑和噪声抑制；
再基于滞后阈值法滤除低梯度边缘像素（由噪声引起）。PCB焊盘图像Canny算子提取效果如图8所示。
图8 PCB焊盘图像Canny算子提取效果
2.6 亚像素边缘检测
利用Canny算子提取的PCB焊盘边缘仍存在较大的误差，无法满足高精度检测的要求。采用亚像素边缘检测法可提高检测精度：首先，利用整数像素边缘检测法将图像边缘粗略定位到像素级；
然后，以像素为基本单元，对整数像素周围的灰度值进行细分，使边缘定位到子像素级，如图9所示。
图9 亚像素边缘定位图
亚像素边缘提取方法主要包括插值法、拟合法、矩量法[16]。其中，插值法简单、快速、高效，但易受噪声影响；
拟合法提取边缘效果较好，但需要大量的计算和复杂的模型；
矩量法速度快、对噪声不敏感、精度高，尤其是Zernike矩因耗时短、抗干扰能力强，得到广泛应用。
Zernike矩的理想边缘模型如图10所示[17]。
图10 Zernike矩的理想边缘模型
式中：
基于Zernike矩的阈值条件为
基于Zernike矩的亚像素边缘检测效果如图11所示。
图11 基于Zernike矩的亚像素边缘检测效果
由图11可以看出，利用Zernike矩进行亚像素边缘检测可获得清晰的PCB焊盘轮廓，在减少计算以及噪声干扰的同时，还可以保证检测精度。
3.1 焊盘尺寸检测精度试验
为验证本文方法的边缘提取精度，分别用二次元和本文方法测量5组PCB焊盘的宽、高尺寸，并利用两者测量结果的差值评估检测精度，测量结果如表1所示。
表1 PCB焊盘宽、高测量结果 单位：mm
由表1可知，本文采用的亚像素边缘提取方法提取PCB焊盘边缘，平均测量精度在±8 μm以内，提高了测量精度。
3.2 PCB焊盘位置检测精度试验
选取20组PCB焊盘图像，计算PCB焊盘中心与Mark点在轴方向和轴方向的距离，测量原理如图12所示。将本文方法与二次元方法的测量结果进行对比，测量精度如图13所示。
图12 PCB焊盘中心位置测量原理
图13 PCB焊盘中心位置测量精度
由图13可知，PCB焊盘在轴方向距离的测量误差在12 μm以内，在轴方向的测量误差在6 μm以内。
本文提出一种基于机器视觉的Mini LED背光板PCB焊盘检测系统。首先，采用阈值分割法进行PCB焊盘粗定位，去除大部分背景区域；
然后，利用模糊C均值聚类算法进一步细分PCB焊盘和背景区域；
接着，利用Canny算子有效提取PCB焊盘边缘；
最后，采用基于Zernike矩的亚像素边缘检测法，将检测精度提升至亚像素级。该系统测量的PCB焊盘尺寸误差在±8 μm以内，焊盘位置在轴方向测量误差在12 μm以内，在轴方向的测量误差在6 μm以内，满足Mini LED背光板PCB焊盘检测精度要求。在未来的研究中，将通过减少测量误差和提高实时计算速度来改进机器视觉的检测方法。
[1] XUAN T, GUO S, BAI W, et al. Ultrastable and highly efficient green-emitting perovskite quantum dot composites for Mini-LED displays or backlights[J]. Nano Energy, 2022, 95:107003.
[2] 季洪雷,陈乃军,王代青,等. Mini-LED背光技术在电视产品应用中的进展和挑战[J].液晶与显示,2021,36(7):983-992.
[3] 向华,余小丰,杨俊,等.小型LED灯印制板要求介绍[J].印制电路信息,2020,28(5):26-29.
[4] 林宗沛.基于改进Faster-RCNN的高密度柔性电路基板缺陷检测研究[D].广州:华南理工大学,2020.
[5] 宋帅帅,黄锋,江燕斌.基于机器视觉几何量测量技术研究进展分析[J].电子测量技术,2021,44(3):22-26.
[6] 谭文,方淼,段峰,等.基于机器视觉的3D激光平面度测量系统的研究与应用[J].仪器仪表学报,2020,41(1):241-249.
[7] MCGUINNESS B, DUKE M, AU C K, et al. Measuring radiata pine seedling morphological features using a machine vision system[J]. Computers and Electronics in Agriculture, 2021,189: 106355.
[8] JIANG Z, ZHOU C, ZHANG H. Automatic Measurement of Nanoimage Based on Machine Vision and Powder Metallurgy Materials[J]. Advances in Materials Science and Engineering, 2022,2022:1-11.
[9] 杜玉军,高明,辛维娟,等.基于机器视觉的闭气塞表面缺陷自动检测系统[J].国外电子测量技术,2011,30(4):13-16.
[10] 程佳兵,邹湘军,林桂潮,等.基于AdaBoost算法的级联分类器对绿色荔枝的快速检测方法[J].自动化与信息工程,2018, 39(5):38-44.
[11] 万杰,张进,刘远航,等.运用光线追迹算法的高温物体视觉三维测量[J].电子测量与仪器学报,2022,36(8):122-131.
[12] 邹湘军,林桂潮,唐昀超,等.改进迭代最近点法的亚像素级零件图像配准[J].计算机辅助设计与图形学学报,2016, 28(8):1242-1249.
[13] 许斌,徐凡颖,辛若铭.基于区域灰度梯度差异的摆片基片特征尺寸视觉测量方法[J].仪器仪表学报,2022,43(5):128- 135.
[14] 王国珲,钱克矛.线阵相机标定方法综述[J].光学学报,2020, 40(1):181-193.
[15] 王骁,刘检华,刘少丽,等.基于聚类分析的管路图像亚像素边缘提取算法[J].计算机集成制造系统,2018,24(9):2201- 2209.
[16] 李开平,蔡萍.数字图像相关方法的亚像素算法性能研究[J].仪器仪表学报,2020,41(8):180-187.
[17] ZHOU J, YU J. Chisel edge wear measurement of high-speed steel twist drills based on machine vision[J]. Computers in Industry, 2021, 128: 103436.
Inspection System for PCB Pad of Mini LED Backlight Board Based on Machine Vision
LUO Wen ZOU Xiangjun CHEN Jianming LIANG Tiangui DING Huiying NI Qinxin
(1.School of Engineering, South China Agricultural University, Guangzhou 510642, China 2.Guangdong Huaheng Intelligent Technology Co., Ltd., Dongguan 523575, China)
Aiming at the problem of low detection accuracy and efficiency of Mini LED backlight PCB pad, a machine vision based Mini LED backlight PCB pad detection system was proposed. First, preprocess the acquired PCB pad image of Mini LED backlight board; Then, the threshold segmentation method is used to roughly segment PCB pads, and the fuzzy C-means clustering algorithm is used to finely segment PCB pads; Secondly, Canny operator is used to extract pixel precision edge; Finally, the sub-pixel edge detection method based on Zernike moment is adopted to improve the edge detection accuracy. The experimental results show that the system has high detection accuracy and efficiency, and the PCB pad size measurement error is within ± 8 μm, the position measurement error is within 12 μm.
machine vision; Mini LED backlight board; PCB pad; image processing; edge extraction; sub pixel edge detection
TP391
A
1674-2605(2022)06-0004-08
10.3969/j.issn.1674-2605.2022.06.004
罗文,邹湘军,陈建明,等.基于机器视觉的Mini LED背光板PCB焊盘检测系统[J].自动化与信息工程,2022, 43(6):20-26;40.
LUO Wen, ZOU Xiangjun, CHEN Jianming, et al. Inspection system for PCB pad of Mini LED backlight board based on machine vision[J]. Automation & Information Engineering, 2022,43(6):20-26;40.
广东省东莞大专项（20211800400092）；
广东省科技厅佛山大专项（广东省科技计划项目）（2120001008424）。
罗文，男，1993年生，硕士研究生，主要研究方向：机器视觉与图像处理。E-mail: 1102059569@qq.com
邹湘军（通信作者），女，1957年生，工学博士，教授，博士生导师，主要研究方向：机器视觉与图像处理、智能机器人、虚拟现实仿真技术等。E-mail: xjzou1@163.com
陈建明，男，1974年生，本科，工程师，主要研究方向：计算机与电子软件应用技术、菲林对位曝光设备等。
猜你喜欢边缘滤波机器机器狗环球时报(2022-07-13)2022-07-13机器狗环球时报(2022-03-14)2022-03-14基于EKF滤波的UWB无人机室内定位研究电子制作(2018年16期)2018-09-26未来机器城电影(2018年8期)2018-09-21一张图看懂边缘计算通信产业报(2016年44期)2017-03-13一种GMPHD滤波改进算法及仿真研究火控雷达技术(2016年3期)2016-02-06基于自适应Kalman滤波的改进PSO算法海军航空大学学报(2015年1期)2015-11-11RTS平滑滤波在事后姿态确定中的应用空间控制技术与应用(2015年3期)2015-06-05在边缘寻找自我雕塑(1999年2期)1999-06-28走在边缘雕塑(1996年2期)1996-07-13