账号:
密码:
智动化 / 文章 /

工业边缘的机器学习和智慧视觉愿景
[作者 恩智浦半導體]   2020年12月30日 星期三 浏览人次: [4499]

为了让消费类应用和工业优势提升机器学习和智慧视觉效能,边缘设备的制造和控制应用都需要处理器来配合。本文介绍恩智浦i.MX 8M Plus 应用处理器的功能,以及如何在嵌入式视觉系统中使用。


制造和工业流程自动化程度的增加,对基於视觉的智慧系统产生了更多的需求。这些系统捕获可视输入,然後使用各种处理技术根据该输入做出决策。这些视觉系统通常整合在更大的控制系统中,因此它们必须能够与其他设备进行即时通讯。


恩智浦i.MX 8M Plus 应用处理器,为工业边缘和广泛的其他应用提供机器学习和智慧视觉支援。以下说明如何在嵌入式视觉系统中使用它。


边缘运算的优势

当采用云端运算时,用户依赖於本地网路范围以外的运算资源。通过边缘运算,大部分处理工作将恢复在本地网路的范围内,因此,敏感数据也可以保留在本地网路中。


边缘设备可以执行各种任务。在云运算模式中,它们通常用於筛选、预处理和储存或缓冲数据。现在的新兴技术如内建神经处理单元(Integrated neural processing units;NPUs),为边缘设备中可以实现的任务开辟可能性。


边缘设备可以根据各种数据源(如摄影机输入)做出决策,并让使用户能够将基本数据保留到本地网路中。这减少了必须上传到云端的数据量,并提高了系统的整体可靠性和安全性。它还可实现更快的即时决策,因为将数据传输到云和等待控制回应会增加延迟,从而阻止云计算体系结构解决某些应用程式问题。



图1 : 恩智浦的i.MX 8M Plus应用处理器评估套件。(source:NXP)
图1 : 恩智浦的i.MX 8M Plus应用处理器评估套件。(source:NXP)

使用嵌入式NPU,边缘处理系统可以丢弃来自输入设备(如摄影机)当中不需要的资料,并且只能将相关数据集上传到云中。这样可以节省本地网站的频宽,并减少云中所需的存储和处理量,进而降低长期运营成本。


i.MX 8M Plus应用处理器

恩智浦通过整合两个i.MX MIPI CSI摄影机介面和双摄影图像信号处理器 (ISP),支持高达1200万像素的解析度,以及一个 2.3 TOPS 神经处理单元 (NPU),在边缘实现基於视觉的应用,从而加快机器学习。


ISP的整合降低了系统的整体复杂性、成本和功耗要求,同时提供成像解决方案,尤其是在200万像素和更高的解析度下。i.MX 8M Plus拥有的多媒体功能还包括视频编码和解码、2D和3D图形加速以及音讯和语音功能。


i.MX 8M Plus处理器也整合了通信介面,如2 Gigabit乙太网控制器。其中之一是支援时间敏感网路(TSN)而第,二个支援音讯视频桥接(AVB)。该设备还包括双CAN-FD介面、两个USB 3.0/2.0埠、一个PCIe 3.0介面及三个SDIO 3.0控制器。


i.MX 8M Plus SoC使用异构运算,为开发人员提供了几个不同的可程式设计处理内核。通过Arm CortexR-A53以及Ycto Linux为应用开发人员提供有力的支援。整合的M7内核提供即时效能,或是可用於启用低功耗工作模式。



图2 : 此评估板展示i.MX 8M Plus SoC各种可用埠用於将连接到现有设备。(source:NXP)
图2 : 此评估板展示i.MX 8M Plus SoC各种可用埠用於将连接到现有设备。(source:NXP)

许多制造和控制应用都需要高可靠性。为了确保高可靠性,恩智浦在DRAM内嵌ECC支援和ECC on-chip RAM,用於检测和纠正记忆体错误。


将上述所有功能整合,i.MX 8M Plus应用处理器适合在边缘启用基於视觉的嵌入式系统。这些系统的范围,包括从工厂中检测生产线上故障专案的品质控制机制,到智慧家居控制器(例如自动气候和安全控制器)。



图3 : i.MX 8M Plus处理器适用於多个应用程式。(source:NXP)
图3 : i.MX 8M Plus处理器适用於多个应用程式。(source:NXP)

工作条件、寿命和可靠性

许多工业应用案例都需要一个可以长时间在实地运行的处理器。i.MX 8M Plus处理器符合工业标准,能够在-40。C至105。C的广大温度范围内运行长达10年。


此外,i.MX8M Plus处理器是恩智浦15年寿命计划的成员,保证产品推出後15年的供应。这使得i.MX 8M Plus处理器适用於需要更长产品生命周期的应用,无论是由於认证要求或是软体开发时间


完整健全的ML开发生态系统:eIQ

突破性的ML应用程式需要一个能够完成任务的设计和开发生态系统。


根据2019年嵌入式市场研究显示,55% 的开发人员表示他们当前或未来的工作需要机器学习。为了跨越鸿沟,为大多数开发人员启用机器学习,机器学习支持必须变得更加全面和更易於使用。更全面的支持意味着必须提供端到端的工作流程,允许开发人员引入其训练数据,为应用选择正确的模型,执行模型训练、优化和量化,最後执行目标分析,然後进入生产环境。


如何更易於使用有时流於主观,但对於大多数采用者来说,这意味着必须提供简化但优化的用户介面。理论上启用一个机器学习开发环境,该环境基本上可以隐藏详细资讯,只需单击几个选项,即可导入使用者的训练数据并在目标设备上部署模型。


与Au-Zone一起跨越鸿沟

为能实现更便於使用的使用介面,跨越采用者鸿沟,恩智浦已投资了位於加拿大的Au-zone Technologies公司,建立了独家的战略夥伴关系,以扩大eIQ机器学习软体开发环境,与易於使用的ML工具,并扩大其提供矽优化的推理引擎以加速边缘机器学习。


Au-Zone公司的DeepView ML工具套件将借助直观的图形使用者介面(GUI)和工作流来增强eIQ,使所有体验级别的开发人员(例如嵌入式开发人员、数据科学家、ML 专家)能够导入数据集以及模型,在整个恩智浦边缘处理产品组合中快速训练和部署NN模型和ML工作负载(图4)。



图4 : Au-Zone 的 DeepView? ML工具套件(source:NXP)
图4 : Au-Zone 的 DeepView? ML工具套件(source:NXP)

应用案例


i.MX 8M Plus应用处理器适合於各种应用,从工业级控制器到节能消费电子设备,其中目标应用包括工业HMI、自动化控制器、机器视觉系统、医疗设备、家庭安全和监控以及车队管理。


相关文章
机器学习模型设计过程和MEMS MLC
企业部署演算法的集中管理、保护与扩充
嵌入式系统部署AI应用加速开发周期
与云端协同 AI边缘运算落地前需克服四关键
边缘运算将成为下一个重大网路安全挑战
comments powered by Disqus
  相关新闻
» 资策会推动成立「资安铸造」公司 提供5G、IT+OT资安监控解决方案
» 凌华携手Pixus开发符合SOSA 标准之OpenVPX系统方案
» 工研院勇夺2022 CES创新奖 囊括热影像安护、宠物项圈、AI机器人技术
» 提升电动车续航力标准 博世启动碳化矽晶片大规模量产计画
» 以连接新纪元迎向未来挑战 浩亭推出众多创新解决方案和产品
  相关产品
» 德承推出新款高效低功耗强固型工业电脑━DI-1100系列
» 宇瞻发表新世代112层BiCS5 3D TLC工业用记忆卡
» 艾讯新款1.8寸无风扇嵌入式主机板强化AIoT应用领域
» 凌华推出基於NVIDIA Jetson AGX Xavier之轨道交通专用AI平台
» Basler ace 2再添Gpixel CMOS感光元件


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2021 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@hope.com.tw