后摩尔时代的创新：在米尔FPGA上实现Tiny YOLO V4，助力AIoT应用
2024-11-21
1109
来源：米尔电子
学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋）
一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制
在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。
米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。
CPU GPU FPGA 架构对比
二、 了解 Tiny YOLO 模型及其适用性
YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。
而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。
相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。
Yolo V4 网络结构图
Tiny Yolo V4 网络结构图
（通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用）
三、 获取数据集和模型
可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。
Tiny YOLO 在 Darknet 上训练的截图
四、 通过 Vivado HLS 为 FPGA 准备模型
要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。
详细步骤：
将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。
流水线（Pipelining）：利用流水线来处理多项操作并行，减少延迟。 循环展开（Loop Unrolling）：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。 设置 DATAFLOW 指令，使层间独立处理。
将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。
Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图
五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EG FPGA开发板
1.Vivado 中的设置：
将 HLS 输出的 RTL 文件导入 Vivado。
在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。
2.I/O 约束与时序：
定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。
进行时序分析，确保延迟和响应速度达到实时要求。
3.生成比特流并下载到 ZU3EG：
生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。
将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口
六、 在 FPGA 上测试并运行推理
通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。 使用 ZU3EG 的 ARM 核上的 OpenCV 对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。
模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。
测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。
Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象
七、 性能优化与调试技巧
内存访问：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。 降低延迟：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。 量化改进：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。
不同优化配置对资源使用的影响
米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板
在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。
关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。
2025-04-25
喜讯！米尔电子与安路科技达成IDH生态战略合作，共筑FPGA创新生态
以芯为基，智创未来。近日，领先的嵌入式模组厂商-米尔电子正式与国产FPGA企业安路科技达成IDH生态战略合作。双方将围绕安路科技飞龙SALDRAGON系列高性能FPSoC，联合开发核心板、开发板及行业解决方案，助力开发者开发成功，加速工业控制、边缘智能、汽车电子等领域的创新应用落地。米尔电子&安路科技IDH生态合作证书硬核技术+生态协同安路科技作为国产FPGA领域的标杆企业，其S
2025-04-25
名单揭晓，狂送30套开发板！米尔-安路飞龙派「硬核创造力」
经过米尔电子和安路科技的严格筛选，30位「硬核玩家」从千帆竞逐中脱颖而出，正式成为米尔-安路飞龙派创意秀的玩家。开发者们将以MYD-YM90X开发板为起点，开启一场FPGA的盛宴，在安路飞龙派的赛道上探索无限可能！现将入选的30位开发者/团队名单公布如下（排名不分先后）：入选名单后续流程第一步：板卡领取入选的开发者将在近日收到米尔工作人员的联系，我们将为您提供专属优惠券，以便您以1元的价格在myi
2025-04-17
如何在米尔-STM32MP257开发板上实现环境监测系统
本文将介绍基于米尔电子MYD-LD25X开发板（米尔基于STM35MP257开发板）的环境监测系统方案测试。摘自优秀创作者-lugl4313820一、前言环境监测是当前很多场景需要的项目，刚好我正在论坛参与的一个项目：Thingy:91X 蜂窝物联网原型开发平台的试用。把两个项目结合起来，实现一个简单的环境监测系统。二、硬件平台1、米尔-STM32MP257开发板2、Thingy:91X三、项目规
2025-04-10
OpenCV行人检测应用方案--基于米尔全志T527开发板
本文将介绍基于米尔电子MYD-LT527开发板（米尔基于全志T527开发板）的OpenCV行人检测方案测试。摘自优秀创作者-小火苗一、软件环境安装1.安装OpenCVsudoapt-getinstalllibopencv-devpython3-opencv2.安装pipsudoapt-getinstallpython3-pip二、行人检测概论使用HOG和SVM构建行人检测器的关键步骤包括：准备训练
2025-04-03
免费送30套开发板！米尔-安路飞龙派创意秀限时活动
大赛简介为鼓励工程师勇于创新探索的精神，提升实践动手能力，更深度的体验安路飞龙派产品，米尔电子发起“米尔基于安路DR1M90开发板创意秀”，提供米尔安路DR1M90开发板支持开发者创新应用。报名条件：需关注米尔电子公众号的用户；报名对象：面向企业、创客团队、工程师、电子爱好者、研究院等人士，不限个人或团体形式参赛。大赛日程01-活动申请【时间：即日起-2025/04/21】在线填《报名申请表》（见
2025-03-20
一篇文章玩转T113的ARM+RSIC V+DSP三核异构！
近年来，随着半导体产业的快速发展和技术的不断迭代，物联网设备种类繁多（如智能家居、工业传感器），对算力、功耗、实时性要求差异大，单一架构无法满足所有需求。因此米尔推出MYD-YT113i开发板（基于全志T113-i）来应对这一市场需求。米尔基于全志T113-i核心板及开发板part 01T113-i芯片及OpenAMP简介T113-i芯片简介T113-i由两颗ARM A7 、一颗C906（RISC
2025-03-13
ST×米尔STM32MP25x高阶实战培训会
STM32MP25x是ST推出的搭载了双核Cortex-A35@1.5 GHz和Cortex-M33@400 MHz的微处理器。米尔电子基于STM32MP25x推出了MYD-LD25X开发板，开发板配备丰富的扩展接口。为助力开发者深度掌握与应用STM32MP25x处理器，米尔将与ST在2025年4月11日和2025年4月18日分别于深圳、上海联合举办线下高阶实战培训会，本次培训在上一期“Bring
2025-03-13
瑞萨交流日进行中，米尔演讲-RZ/T2H高性能模组赋能工业产品创新
3月12日，2025瑞萨工业以太网技术日在深圳拉开序幕。会议全方位解读瑞萨电子最新EtherCAT/PROFINET/EIP解决方案，洞察行业发展趋势，助力企业高效开发更具竞争力的工业以太网产品。米尔电子作为瑞萨的IDH生态合作伙伴发表演讲，并展出RZ/T2H的核心板开发板、技术方案等。米尔活动现场会上，米尔电子产品经理张先生发表了题为"米尔RZ/T2H高性能模组赋能工业产品创新&quo
2025-03-13
米尔闪耀德国纽伦堡Embedded World 2025，展现嵌入式技术无限可能
2025年3月11日，全球领先的嵌入式解决方案提供商米尔电子，在德国纽伦堡盛大亮相全球规模最大的嵌入式系统展览会Embedded World 2025。此次展会，米尔电子携多款重磅新品和前沿技术方案惊艳登场，为嵌入式开发者带来了一场科技盛宴。米尔展台现场展会现场，米尔电子展示全系列产品，基于国内外知名厂商ST、TI、NXP、瑞萨、AMD(Xilinx)、瑞芯微、全志、新唐、芯驰、海思、紫光同创等主
2025-03-07
六城共启 | 米尔邀您预约2025瑞萨工业以太网技术日
随着工业4.0和工业物联网（IIoT）的发展，现代制造工厂设备的数据传输和自动化控制对实时性、带宽和可靠性提出了更高要求。各类工业以太网技术的普及和迭代不断为拓扑节点设备的确定性、安全通信提供了保障。聚焦工业4.0核心需求，瑞萨电子将于2025年3-4月在全国六大城市（深圳、广州、北京、苏州、西安、上海）巡回举办2025瑞萨工业以太网技术日，为工程师与企业决策者提供实时通信技术最佳解决方案，通过案