账号:
密码:
智动化 / 文章 /

多感测器数据融合用於产线视觉检测
[作者 兆鎂新]   2021年04月08日 星期四 浏览人次: [4944]

生产品管系统使用来自多种感测器的多感测器数据融合技术,在零组件经过生产线时识别结构和表面缺陷。系统的核心在於软体架构及工业相机的模组 。


视觉检测是大多数品管工作流程的基石。由人工执行时,过程昂贵,容易出错且效率低落:一成至两成的误判过筛/偏移率及生产瓶颈很常见。以零检出产线生产品管产品(Inline Quality control for Zero-error Products;IQZeProd)为名,Fraunhofer IWU的研究人员开发新的产线监控解决方案,以求在生产过程中尽早辨识各种材料(例如木材,塑料,金属,和涂漆的表面)的瑕疵。


系统使用来自多种感测器的多感测器数据融合技术,在零组件经过生产线时识别结构和表面缺陷。目标是透过提高检测过程可靠性及改进检测缺陷,创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的XeidanaR软体架构及20台工业相机的模组。研究人员对相机特定的要求标准:全局快门黑白感测器;低震动实时触发;超高数据速率进行可靠数据传输,而且能直接内建到软体架构中。他们选择了The Imaging Source 兆镁新GigE Vision标准工业相机。



图1 : IQXeProd中20台TIS GigE工业相机的图像数据,以及高光谱和非光学感测器呈现的数据。使用Xeidana软体架构进行融合,以实现零误差的产线QC系统。(source:Fraunhofer IWU)
图1 : IQXeProd中20台TIS GigE工业相机的图像数据,以及高光谱和非光学感测器呈现的数据。使用Xeidana软体架构进行融合,以实现零误差的产线QC系统。(source:Fraunhofer IWU)

Xeidana提供处理光学,热感应,多光谱,偏振或非光学感测器(例如涡电流)的数据所需的灵活性,而许多检测任务则需透过标准光学感测器提供的数据而完成。项目经理亚历山大·皮耶尔(Alexander Pierer)表示 :「我们经常使用数据融合来多重扫描关键零组件区域。多重包含从不同角度扫描同一区域,来模拟手动检测过程中使用的『镜像』。」为了获取完成这些任务所需的视觉数据,研究人员创建了一个由20台TIS相机组成的模组:19台黑白相机(DMK 33G445)及1台彩色相机(DFK 33GX273)。



图2 : 19台黑白工业相机从关键零组件区域收集数据。 Xeidana处理多重数据以模拟「镜像 」的过程 ─ 一种在手动检测过程中很常见的技术。 (source:Fraunhofer IWU)
图2 : 19台黑白工业相机从关键零组件区域收集数据。 Xeidana处理多重数据以模拟「镜像 」的过程 ─ 一种在手动检测过程中很常见的技术。 (source:Fraunhofer IWU)

黑白感测器:最适瑕疵检测

由於其固有的物理特性,黑白感测器能呈现比彩色感测器更高的细节,更高的灵敏度及更低的噪点。 皮耶尔指出:「黑白感测器足以检测因表面亮度差异所引起的缺陷。虽然颜色数据对我们人类非常重要,但在技术应用中,颜色数据通常无法提供其他资料。我们使用彩色相机,透过HIS变换进行色调分析,以检测可能显示涂料厚度有问题的颜色偏差。」


任务需求和短曝光时间意味着工程师对於相机选择有非常精确的标准设定,皮耶尔继续说明:「主要选择标准是全局快门和实时触发,震动极低,因为我们必须在很短的曝光时间内(10μs的范围内)拍摄移动中的零件。相机和Lumimax照明(iiM AG)之间的曝光(通过硬体输入触发)必须绝对同步。对於我们来说,很重要的一点是,感兴趣区域 (ROI) 已限制在相机韧体内相关区域,来优化图像传输的网络负载。此外,我们仰赖在极高速率时还能进行可靠的数据传输。由於零组件已在过程中被检测过了,因此不会出现图像错误或碎片化的图像传输。」


电动变焦相机可快速调整观测范围(FOV)

在项目过程中,团队构建了多个系统:用於工业设置以及示范和测试目的。典型工业环境中受检测的零组件持续不停移动,DMK 33G445和DFK 33GX273相机提供的定焦成像满足了团队的要求。


然而,针对示范/测试系统,研究人员使用许多不同零组件进行测试,包括金属零件,木制毛??和3D印刷塑料,就需要具有可调节观测范围(FOV)的相机。The Imaging Source 兆镁新 DMK Z12G445黑白变焦相机具有内建电动变焦功能,符合任务要求。



图3 : 变焦相机可提供快速可调的观测范围(FOV),使示范系统能够扫描各种尺寸和形状的零组件。(source:Fraunhofer IWU)
图3 : 变焦相机可提供快速可调的观测范围(FOV),使示范系统能够扫描各种尺寸和形状的零组件。(source:Fraunhofer IWU)

大规模并行处理技术可与数据传输保持同步并实现深度学习

通过20多种不同类型的感测器向系统传送数据,可以应对400 MB / s量级的数据流。皮耶尔解释:「该系统的设计吞吐速度高达1 m / s,…,每三到四秒,二十个相机模组就可以创建400张图像。此外,来自高光谱的线阵相机和粗糙度测量系统,都必须在10秒周期内处理和评估完成。为了满足这一要求,必须要有大规模并行数据处理的能力,包含28核心(CPU)和显卡(GPU)。这种并行化使检测系统能够与生产周期保持同步,提供具有100%控制能力的产线系统。」


Xeidana的模组化架构特别针对现代多核系统能够进行大规模并行处理的能力进行优化,使应用工程师能够使用这个??件系统(可透过多种不同图像数据库来延展新功能)快速实现大规模并行、特殊应用的品管项目。


此系统的数据融合功能可以通过多种方式使用,取决於需要什麽样的资料来提供最可靠的结果。除了标准的机器视觉检测任务外,研究人员团队目前正努力整合其他非破坏性评测技术,例如3D视觉以及不可见光的其他种类感测器(例如X射线、雷达、紫外线、太赫兹)来检测其他类型的表面和内部缺陷。



图4 : 处理流程网络。绿色和黄色模组并行执行单独的图像处理任务。(source:Fraunhofer IWU)
图4 : 处理流程网络。绿色和黄色模组并行执行单独的图像处理任务。(source:Fraunhofer IWU)

由於Xeidana支援大规模并行处理,深度学习技术也可用於检测标准不容易量化或定义的零组件的瑕疵检测。皮耶尔澄清:「这些技术对於具有不规则质地的有机成分(例如木材和皮革)以及纺织品尤其重要。」


由於机器学习技术有时难以在某些情况下应用(例如,分类决策的可追溯性有限,以及在调试过程中无法手动调整演算法),皮耶尔补充:「我们主要依靠经典的图像处理演算法和资讯处理的统计方法来执行我们的项目。只有达到极限时,我们才转向机器学习。」


相关文章
以霍尔效应电流感测器简化高电压感测
利用边缘运算节约能源和提升永续性
机器视觉+自动化系统捡选优质柠檬
工业自动对焦相机确保互动式柜员机捕捉最隹文档数据
以Wi-Fi无线通讯设备增进仓储物流效率与安全
comments powered by Disqus
  相关新闻
» RIN国际研发高峰会手举行 金属中心展出亮眼成果
» 台达子公司泰达8厂及研发中心开幕 扩大电动车研发及产能布局
» Fortinet SASE台湾网路连接点今年落成 全台巡??落实云地零信任资安
» 大同呈现光充储应用一站式服务 抢占智慧净零城市商机
» GTC 2024:宜鼎以智慧工厂解决方案秀边缘AI整合实力
  相关产品
» 明纬推出NGE100(U)系列:100W环球通用4埠USB氮化??快速充电器
» 凌华全新IP69K全防水不锈钢工业电脑专为严苛环境设计
» 凌华支援第14代 Intel处理器用於先进工业与 AI 解决方案
» 智慧监测良方 泓格微型气象站提供资讯面面俱到
» 凌华新款5G IIoT远端边缘网路闸道器采用Arm架构


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 / E-Mail: webmaster@hope.com.tw