跳到主要内容
SECO
  • AI
  • Industries
  • Edge Computing

构建 AI 驱动的工业 HMI

架构考量与模块化前行之路

AI 驱动的工业 HMI

工厂车间的操作人员通过触摸屏、仪表板和显示器与复杂的机器交互,这些界面必须适应安全要求和生产目标。与此同时,工厂还要应对人手短缺、激进的生产率目标和日益增加的安全顾虑。

AI 增强的人机界面(HMI)可以识别各个操作人员、简化工作流程、减少人为错误并执行访问策略。例如,通过人脸识别实现的个性化用户访问,可以在允许访问设备或文档之前,通过摄像头识别获得授权的操作人员。这降低了未经授权交互的风险,并确保只有经过培训的人员才能操作关键机器。

这种 AI 驱动的能力是对现有 HMI 架构的渐进式升级,为 OEM 和系统集成商提供了一条开发“好-更好-最好”工业 HMI 产品组合的路径。

要了解设计此类产品组合的最佳方法,首先要明确典型工业 HMI 的基本架构和组成部分。

标准工业 HMI 的架构与 AI 增强

传统的工业 HMI 是一个复杂的系统,通常运行嵌入式操作系统(如 Linux 或 Windows),通过串口或以太网与可编程逻辑控制器(PLC)和传感器通信,并显示使用 HMI/SCADA 工具创建的操作员画面。

为支持这些功能,标准的工业 HMI 至少包含以下组件:

  • 带触摸屏的显示屏(通常在 7" 至 15" 之间)
  • 嵌入式处理器、内存和存储
  • 一组用于现场总线和以太网连接的接口
  • 专为在工业环境中运行而设计、具有防护等级(IP)的坚固外壳

用 AI 能力增强传统 HMI 架构需要更多资源。例如,人脸识别基于经过训练、用于编码面部特征的卷积神经网络。FaceNet 或 YOLOv3Face 等“轻量级”模型可用于这些任务,并可使用 OpenCV 和 LiteRT(TensorFlow Lite)来优化在 CPU 和神经网络处理单元(NPU)硬件上的推理。

在性能方面,要提供流畅的人脸识别用户体验,需要低延迟和极小的内存开销。虽然模型可以很轻量(约需 1 MB 内存),但可能需要至少 1 GB 的系统内存,以容纳多个进程并安全存储生物特征模板。

SECO App Hub 上一个示例应用的基准测试显示,在专用 NPU 上推理的延迟约为 36 ms,而仅使用 CPU 执行则可能超过 440 ms。显然,不同的显示计算机更适合 AI 工作负载,这意味着独立或集成的 NPU 或图形处理器(GPU)有助于在不使 CPU 过载的情况下实现实时性能。

当然,要使这一 AI 应用成为现实,还需要我们的传统 HMI 架构中未列出的其他组件。它们包括:

  • 摄像头模块,具有足够的分辨率和镜头锐度,并具备用于低光照条件的红外(IR)能力。摄像头安装在显示屏边框中,通过 MIPI-CSI 或 USB 端口连接
  • Edge AI 加速,使用集成 NPU、GPU 或视觉处理单元(VPU)的处理器来分担推理工作负载
  • ≥4 GB 内存和 16 GB eMMC,用于承载操作系统、AI 模型和应用软件
  • 硬件信任根、安全启动和加密,用于保护面部模板并对操作人员进行认证

面向 AI 就绪工业显示计算机的设计方法

提供工业 HMI 产品线的自动化设备供应商现在可以考虑这样的产品组合:例如由传统 HMI、个性化用户访问 HMI,以及具备操作员告警辅助等功能的更先进版本组成。

希望交付此类产品组合的工程团队有多种设计方法可供选择。其中最常见的两种是整体式设计或模块化架构方法:

  • 整体式设计为传统显示、个性化访问和先进 AI 应用场景分别定制独立的 HMI。产品系列中的每个型号都采用专用的处理器和硬件配置,以针对目标应用优化性能。然而,需要并行维护多套设计,会增加开发成本和供应链复杂度。
  • 模块化架构依靠 Computer-on-Module(COM)标准来定义可插入载板的现成计算模块的外形规格和引脚定义。该载板提供目标应用所需的所有接口,包括以太网、USB、串口、摄像头、显示等,因此开发人员可以从单一的显示屏和外壳组合起步,然后从一系列 COM 中选择,从入门级 CPU 模块(基础 HMI)扩展到高端 AI 处理器模块(AI HMI)。

通过将嵌入式计算核心电路与 I/O 底板分离,SECO 的 Modular Vision HMI 产品系列架构允许在无需重新设计整个 HMI 的情况下升级处理器。这不仅提供了从低成本型号到 AI 产品的升级路径,而且 Smart Mobility ARChitecture(SMARC)等 Computer-on-Module 标准还进一步缩短了上市时间并降低了处理器选型的风险,因为同一块载板可以承载 Arm 或 x86 计算模块。

Modular Vision:面向 AI 就绪 HMI 的灵活方法

SECO 采用基于 SMARC 的 Modular Vision 概念,使 HMI 显示屏尺寸、显示计算机处理器以及 AI/非 AI 应用的要求保持一致。下表比较了三款模块化 HMI 型号在显示屏尺寸、AI 准确度和延迟、环境耐受性以及成本等关键指标上的表现。

Modular Vision SKU显示屏尺寸(英寸)处理器AI 性能(个性化访问)环境耐受性成本
Modular Vision 7 MX 937NXP i.MX93(双核 A55,配备 U‑65 NPU)中等准确度,因 Ethos U‑65 而延迟约 150-200 ms;适用于基本的人脸认证;每秒可处理的人数有限。IP65 前面板;0 °C 至 60 °C;5 万小时背光;3 mm 玻璃低 -- 入门级定价
Modular Vision 10.1 MX 8M-Plus10.1NXP i.MX 8M Plus(四核 A53,配备 2.3 TOPS NPU)高准确度,借助 NPU 实现实时延迟(约 36 ms);支持多张人脸和语音指令。IP65 前面板;0 °C 至 60 °C;5 万小时背光;3 mm 玻璃中 -- 成本与性能均衡
Modular Vision 15.6 ASL15.6Intel Atom x7000RE(2/4/8 核,配备 UHD Graphics)非常高的准确度,使用带 VNNI 指令的 CPU 和集成显卡;可扩展到多人脸识别;延迟取决于内核数量(12-25 ms/20-40 ms/35-70 ms)。IP65 前面板;0 °C 至 60 °C;5 万小时背光;3 mm 玻璃高 -- 卓越的性能和功能

上述每款 Modular Vision 产品都使用相同的底板和显示屏选项,但会根据应用的性能要求更换计算模块。OEM 可以从入门级 7" 型号起步,用于简单的 HMI,之后在增加先进 AI 功能时升级到 10.1" 或 15.6" 的型号。

使用 Modular Vision 进行设计

通过采用基于 SMARC 的 Modular Vision 架构,机器制造商可以使用一个可扩展的 HMI 系列,这些产品共用相同的机械设计、连接器和软件环境。而且,随着新处理器或内存配置的推出,他们可以进行升级,而无需为环境或安全合规性重新认证整个外壳。与 Clea OS 等现代 Linux 发行版结合使用时,该系统提供远程设备管理、安全更新以及与工业 IoT 协议的集成。应用开发人员可以部署预构建的 AI 应用,例如 人脸识别应用(见 SECO App Hub),使用 TensorFlow Lite、OpenCV 或 PyTorch,并有信心其算法只需对性能参数做少量调整,即可在 Arm 和 x86 SMARC 模块上运行。

上文重点介绍的型号展示了如何使屏幕尺寸、计算能力和成本保持一致,以支持不同的 AI 应用场景和产品线。借助现成或来自 SECO 的定制的坚固外壳、工业级显示屏和标准化接口,这些系统可以规模化制造和部署,将 AI 带到生产线的边缘。

您有 HMI 的工业应用需求吗?联系 SECO,探讨 Modular Vision、Clea OS 和 AI 算法如何满足您最新的产品要求。

Modular Vision 15.6 ASL

本文推荐

Modular Vision 15.6 ASL

搭载Intel Atom(原Amston Lake)的高端15.6英寸HMI

  • HMI
  • Intel® Atom™

订阅 SECO 新闻通讯。

在 seco.com 上用您的电子邮件地址订阅。

订阅