工业级NPU： MIMX8ML8CVNKZAB在智能家居网络中应用

QQ2224043166

一、边缘计算的崛起

随着5G、物联网等技术的发展，智能终端和数据越来越多，网络的传输速度越来越快，覆盖面越来越广，对云端的存储和计算能力提出了更高的要求。这必然会推动计算力向智能终端一侧下沉，边缘计算应运而生。边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。举个例子来通俗解释边缘计算：章鱼拥有巨量的神经元，但60%分布在章鱼的八条腿(腕足)上，脑部仅有40%。章鱼在捕猎时异常灵巧迅速，腕足之间配合极好，从不会缠绕打结。这得益于它们类似分布式计算的“多个小脑+一个大脑”。通俗点说，边缘计算好比章鱼的各个爪子，独立完成边缘侧的数据存储、计算、处理的同时，将有用必要的数据传输到云端，云端亦可下达各类指令到边缘侧。边缘计算能够在靠近用户或数据源的位置提供网络、计算、存储服务，不仅能够实现流量的本地化处理，以降低对远端数据中心的流量冲击，而且能够提供低时延和高稳定的应用运行环境，有利于计算框架在终端和数据中心间的延展，有助于实现场景需求、算力分布和部署成本的最佳匹配。

二、机器学习开始走向边缘

                              

机器学习相当于利用计算引擎来处理复杂的人工任务，但速度更快，甚至能够自主运行，无需人为的直接干预。利用机器学习(ML)和神经网络等方面技术的进步，开发人员创建了丰富多样的应用，包括工业机器视觉、图像分类、对象检测、语音识别、自然语言处理、手势和情绪检测等。以前，机器学习需要成本昂贵而又复杂的云计算，也就是“基于云的人工智能”，用户需要使用本地网络之外的计算资源，把本地数据传输到云并等待控制响应，这样会增加延迟，导致云计算架构无法处理某些应用。。。但现在，集成神经处理单元(NPU)，边缘设备可凭借本地的各类数据源（如摄像头输入）做出决策，使得很多机器学习操作可在网络边缘进行，用户也能够将重要数据保存在本地网络中。这减少了必须上传到云端的数据量，还能够实现更快的实时决策，极大的提升边缘网络的可靠性、私密性和安全性。

三、支持边缘智能的SOC

▲轻量级边缘计算SOC性能对比图

运行机器学习应用时，需要执行海量的数学运算，总计达到每秒数万亿次。因此，基于边缘的机器学习设备所采用的核心引擎通常是功能强大的多核处理器，具备丰富的特性和功能，可以进行神经网络、视觉、语音和多媒体的处理，所有这些工作都需要在单个片上系统(SoC)上进行。能满足轻量级边缘计算需求的SOC有：华为海思的Hi3559A，Hi3519A，SD3403，国内品牌还有：RK3588，RK3399PR，国际品牌有恩智浦的i.MX 8M Plus应用处理器系列；本文重点分享i.MX 8M Plus应用处理器在工业物联网的优势

3.1i.MX 8M Plus特点 ：

1、高性能NPU 2.3 TOPS算力（每秒兆级操作）

2、主频高达2GHz的四核Arm Cortex-A53子系统

3、主频可达800MHz的基于Cortex-M7的独立实时子系统

4、用于丰富图形渲染的3D GPU

5、H.265和H.264的视频编解码。

6、用于进行语音和自然语言处理的高性能800MHz音频HiFi4 DSP和用于语音识别的8通道PDM麦克风输入

7、双摄像头图像信号处理器（ISP）能够处理人脸、物体对象和手势识别等机器学习任务

8、支持时间敏感型网络 (TSN) 的千兆以太网、两个CAN-FD接口和ECC。

9、14nm FinFET工艺技术，因而具有低功耗和高性能。

▲i.MX 8M Plus应用处理器框图

3.2在边缘部署机器学习

    采用i.MX 8M Plus处理器，开发人员能够将机器学习工作负载转移到网络边缘的终端设备，无论是语音、视频或异常检测，网络边缘都是接收信息最近的节点。开发人员可以利用片上NPU来处理机器学习任务，其性能达到2.3万亿次运算每秒(TOPS)，处理机器学习相关任务，速度比Arm内核快大约30倍。通过在压缩和稀疏性方面进行优化（即消除不必要的乘零计算），进一步增强机器学习算法的性能表现。数据压缩也是非常有用的，因为它可消除系统存储器瓶颈，同时存储器和DRAM控制器都能达到4千兆每秒(GT/s)的传输速率。

3.3机器视觉解决方案

   基于边缘的机器学习应用通常包括一类与摄像头图像数据相关的机器视觉应用。基于i.MX 8M Plus的设备来说，最大程度减少延迟和成像质量下降，i.MX 8M Plus采用专用的ISP模块处理图像加速，同时两个摄像头输入实现了立体影像，模仿人的左眼和右眼结合的视觉表现。 i.MX 8MPlus所集成ISP提供足够的处理能力，以处理复杂的图像处理任务，例如高动态范围(HDR)的快速多重曝光、来自两个不同摄像头的同步广角和缩放视图。广角鱼眼畸变校正也是由ISP处理的另一项重要功能。采用鱼眼镜头的低成本摄像头可能让图像产生畸变，进而无法识别。i.MX8M Plus处理器的广角鱼眼畸变校正引擎可对图像进行标准化，以便进行精确的机器学习识别与处理。ISP还能够处理图像增强，例如“图像降噪”，这种功能在低光照环境下至关重要，因为低光照会导致图像模糊。使用机器学习算法，ISP能够检测需要锐化和降噪的图像部分，而让其他图像区域保持自然模糊。对于高级多媒体和显示应用，i.MX 8M Plus包括视频解码器/编码器，支持H.265压缩算法，可以离线存储大图像，以便日后处理。

3.4工业级应用理想之选

   i.MX 8M Plus应用处理器针对工业应用进行一系列优化，包括ECC，它是用于检测和纠正系统存储器位错误的必备功能。例如，阿尔法粒子是在某些环境中出现的一种放射物，可能诱发SRAM中的软错误，引起存储器问题，导致软件崩溃。ECC算法可以检测和纠正这些错误，从而显著降低软错误率(SER)。 很多复杂工厂流程都需要能够精确把控时间的以太网数据传输。为此，i.MX 8M Plus支持TSN以太网连接，有助于保证数据在正确的时间进行传输，以支持工厂车间针对时间敏感型的要求。另外，两个CAN-FD外设支持低延迟通信和网络功能。与其他所有片上内核、外设和接口组合在一起，i.MX 8M Plus可用于构建功能全面的工业系统，为工业4.0提供一系列基于边缘的机器学习功能。可通过机器视觉、机器学习，精确识别对象并通过准确检测机器操作异常情况实现对设备的预测性维护。此外，通过将准确的人脸识别、语音/命令识别和手势识别相结合，工厂人机界面可以更直观、更安全。 支持工业4.0 IT/OT融合，将千兆以太网与时间敏感型网络（TSN）相集成，结合Arm Cortex M7实时处理功能，提供确定性有线网络连接和处理。

        

▲  i.MX 8M Plus支持工业自动化的TSN以太网连接

3.6强大的生命力

   虽然电子行业不断演进，但我们始终需要产品在相对极端的环境下保持可靠性和稳定工作，并且保证产品持续供应。i.MX 8M Plus应用处理器是硅天下科技集团长期供货保证计划的一部分，自产品发布之日起，提供至少15年的生产供应。因此在未来的很多年内，您可以依赖i.MX 8M Plus处理器来运行机器学习应用。

本文作者

硅天下科技致力于推动i.MX应用处理器的落地、产品实现和量产；行业内有十多年嵌入式开发经验，成熟方案：IMX6ULL，IMX6Q，IMX8M Mini，IMX8M Plus；跨界处理器I.MXRT1700系列