Qwen2-VL-3B模型在米尔瑞芯微RK3576开发板NPU多模态部署指导与评测

关键词：瑞芯微 RK3576、NPU（神经网络处理器）、端侧小语言模型（SLM）、多模态 LLM、边缘 AI 部署、开发板、RKLLM

随着大语言模型（LLM）技术的快速迭代，从云端集中式部署到端侧分布式运行的趋势日益明显。端侧小型语言模型（SLM）凭借低延迟、高隐私性和离线可用的独特优势，正在智能设备、边缘计算等场景中展现出巨大潜力。

瑞芯微 RK3576 开发板作为一款聚焦边缘 AI 的硬件平台，其集成的 NPU（神经网络处理器）能否高效支撑多模态 LLM 的本地运行？性能表现如何？

本文将围绕这一核心问题展开 —— 从端侧 SLM 与云端 LLM 的关键差异对比入手，详解 RK3576 开发板的硬件特性与环境配置。

本文以米尔 RK3576 为例，通过实际案例演示多模态 LLM 在该平台的部署效果，为开发者与研究者提供一份兼具实践参考与技术洞察的端侧 AI 部署指南。

本文目录

• 一、基本介绍
• 端侧 LLM 模型与云端 LLM
• 瑞芯微 RK3576：6TOPS NPU 的能效比标杆，重新定义中端 AIoT 旗舰
• 瑞芯微 NPU SDK：RKNN 和 RKLLM
• 二、环境准备
• 步骤 1：登录开发板，下载必备资料
• 步骤 2：替换 NPU Driver 后编译 Ubuntu 并刷机
• 三、多模态案例：支持图像和文本交互
• 步骤 1：环境准备
• 步骤 2：模型的获取、验证与格式转换
• 步骤 3：修改代码并交叉编译可执行文件并上传到板子上
• 步骤 4：上传文件到开发板
• 性能测试 Tips
• 多模态效果演示

• 结论

一、基本介绍

端侧 LLM 模型与云端 LLM

端侧小型语言模型（SLM）与传统云端大型语言模型（LLM）在延迟、隐私和离线可用性三个维度的对比总结。

总结来看，当前端侧部署小语言模型特点体现在三方面：

综上，端侧 SLM 在延迟、隐私和离线可用性上均显著优于云端 LLM。

瑞芯微 RK3576：6TOPS NPU 的能效比标杆，重新定义中端 AIoT 旗舰

作为瑞芯微 2024 年推出的 AIoT 核心平台，RK3576 基于 8nm 制程打造，集成6TOPS 自研 NPU（支持 INT4/INT8/FP16/BF16 混合精度），与旗舰芯片 RK3588 保持相同算力规格，却以更精准的场景化设计，成为中高端边缘设备的首选方案。

据瑞芯微官方技术文档显示，其 NPU 采用动态稀疏化加速引擎，RK3576 采用了更先进的制程工艺等手段来降低功耗，完美平衡算力与能效。

同算力 NPU 的差异化定位

尽管 RK3576 与 RK3588 均搭载 6TOPS NPU，但两者在生态适配和场景优化上各有侧重：

与 RK3588 的「同芯不同路」对比

官方数据佐证的市场价值

根据瑞芯微 2025 年 Q2 财报，RK3576 已在平板电脑、交互大屏等领域实现头部客户量产，其30%的成本优势（对比 RK3588 同配置方案）使其在中高端市场占有率环比增长 47%。

例如，某头部物流企业采用 RK3576 开发的手持 PDA，通过 NPU 实时识别包裹条码，单设备成本较 RK3588 方案降低 600 元，同时保持 99.7%的识别准确率（官方测试数据）。

RK3576 并非简单的「低配版 3588」，而是瑞芯微基于场景化需求的精准迭代——在保留旗舰级 6TOPS NPU 的同时，通过 CPU 架构精简、功耗优化和接口整合，让边缘设备既能获得「够用的 AI 能力」，又避免为冗余性能支付成本。正如瑞芯微官方所述：「RK3576 填补了旗舰与主流之间的真空，让每一份算力都服务于真实需求。」对于需本地化部署轻量级 LLM、多模态交互的边缘场景，这款「6TOPS 普及者」正在重新定义中端 AIoT 的价值标准。

瑞芯微 NPU SDK：RKNN 和 RKLLM

瑞芯微的 RKLLM 和 RKNN 是两个定位互补的 SDK，前者专注于大型语言模型（LLM）的端侧部署优化，后者是通用神经网络推理框架。

RKNN 是基础，RKLLM 是垂直扩展：

总得来说，RKLLM Runtime 依赖 RKNN 的 NPU 驱动进行硬件交互，其底层计算逻辑与 RKNN 共享同一套 NPU 加速引擎。

RKLLM

专为 LLM 设计的转换工具（如 RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和优化，适配 RK3588、RK3576 等高性能 NPU 芯片，通过降低模型精度来提高推理速度并减少内存使用，不同的策略在性能与准确性之间存在不同的权衡。

其提供 C/C++ 接口（RKLLM Runtime）和多模态推理支持（如图文联合理解），显著降低 LLM 在端侧设备的内存占用和推理延迟。

RKLLM 软件栈可帮助用户快速将 AI 模型部署到瑞芯微芯片上^[3]。

RKLLM 使用流程

为使用 RKNPU，用户需先在计算机上运行 RKLLM-Toolkit 工具，将训练好的模型转换为 RKLLM 格式模型，然后使用 RKLLM C API 在开发板上进行推理。

二、环境准备

步骤 1：登录开发板，下载必备资料

• 确认串口驱动安装。开发板的调试接口（USB Type-C）内部已集成 USB 转 TTL 芯片，连接电脑后会自动识别为一个串口设备（ Windows 下为 COM 口，Linux 下为/dev/ttyUSBx）。

给开发板插上电源，Debug USB 链接笔记本，之后打开笔记本的设备管理器，在端口(COM 和 LPT)可以看到会多出来 COM5 和 COM6，选择串口连接COM5 (USB-Enhanced-SERIAL-A CH342 (COM5))，并设置速度为 115200。

• 登录开发板。拿到开发板后，操作系统是 BuildRoot 如下所示，可以插网线链接网络，因为 BuildRoot 只有一些最基本的命令行工具，并不好用，比方缺少 apt 等工具。但是在默认用户下有一些基本的 cpu/gpu/npu 测试文件夹，里面提供了一些测试比如 CPU 压测脚本等。

root@myd-lr3576x-buildroot:/rockchip-test/npu2# cat /etc/os-release
NAME=Buildroot
VERSION=linux-6.1-stan-rkr3-33-g2275964ac9
ID=buildroot
VERSION_ID=2024.02
PRETTY_NAME="Buildroot 2024.02"
ID_LIKE="buildroot"
RK_BUILD_INFO="haha@haha Mon Jan  6 11:11:37 CST 2025 - rockchip_rk3576"

• 登录米尔开发平台^[4]，获取文档等资料。在开发者平台注册绑定你的产品信息，在开发板盒子侧面会有一个产品型号系列号，如下图可通过微信扫码绑定：

可以电脑登陆米尔开发者平台（https://dev.myir.cn/）下载资料，必备的文档、工具、刷机工具、镜像等，如下所示：

其中 02-Docs(ZH) 文档部分，下面两个必须得好好看看：

这两个文档在后面会指导你使用 02-Images、03-Tools、04-Sources 里面进行刷机、编译内核。

步骤 2：替换 NPU Driver 后编译 Ubuntu 并刷机

根据瑞芯微 GitHub rkllm 仓库对的《RKLLM SDK User Guide》要求^[5]，特别说明： RKLLM 版本是 1.2.1：

RKLLM 所需要的 NPU 内核版本较高，用户在板端使用 RKLLM Runtime 进行模型推理前，首先需要确认板端的 NPU 内核是否为 v0.9.8 版本。

• 可以使用命令 cat /sys/kernel/debug/rknpu/version 查看 NPU Driver 版本。

# cat /sys/kernel/debug/rknpu/version
RKNPU driver: v0.9.7

• BuildRoot 是默认系统，不太方便，所以刷了米尔提供的 Debian&Linux6.1.75 Distribution V1.1.0 里的 Ubuntu 镜像后（烧录部分遵循米尔提供的文档 MYD-LR3576J-GK Ubuntu 软件开发指南-V1.0 第 5 章：烧录镜像。发现 NPU Driver 版本是 0.9.7，不符合 RKLLM 用户文档的要求。

此时，只能将版本为 0.9.8 的 NPU Driver 代码替换到米尔给的 Ubuntu 源码里，然后重新编译 Ubuntu 镜像并重新刷机。对于刷机过程，RKLLM 的文档提到：

若用户所使用的为非官方固件，需要对内核进行更新。其中，RKNPU 驱动包支持两个主要内核版本：kernel-5.10 和 kernel-6.1:

米尔提供的 Debian&Linux6.1.75 Distribution V1.1.0 对应的虽然不是最推荐的 kernel-6.1.84，但是也是 6.1。即下图：

• 我们继续按照 RKLLM 的指导，进行内核的更新。

1. 下载 RK Driver 压缩包 rknpu_driver_0.9.8_20241009.tar.bz2^[6]。

2. 解压该压缩包，将其中的 rknpu 驱动代码覆盖到当前内核代码目录。

• 当前内核代码，由前面 Debian&Linux6.1.75 Distribution V1.1.0 的 04-Sources 目录下的 MYD-LR3576-Distribution-L6.1.75-V1.1.0.tar.gz 解压缩得到。

3. 重新编译内核。根据米尔文档指导（MYD-LR3576J-GK Ubuntu 软件开发指南-V1.0.pdf），流程如下

# 进入源码解压后得到的一个 MYD-LR3576 目录
# 第一次编译执行以下命令选择配置文件
./build.sh lunch

# Which would you like? [7]
# 这里选择 7，rockchip_rk3576_myd_lr3576_defconfig

# 紧接着分别编译 u-boot、kernel 和 modules
./build.sh u-boot
./build.sh kernel
./build.sh module

# 编译成功再执行下面命令，编译 Ubuntu 文件系统，并打包最终 Ubuntu 系统镜像
./build.sh ubuntu
./build.sh updateimg

# RK3576 为了用户可以更便捷的烧录，单独创建了目录储存编译出来的镜像在 output/update/Image 下

分别对 u-boot、kernel、module 三部分编译，最后编译成功如下图所示：

• 烧录部分遵循米尔提供的文档（MYD-LR3576J-GK Ubuntu 软件开发指南-V1.0）第 5 章：烧录镜像。

烧录结束后，连接笔记本，可以看到如下截图，进入系统。

使用命令下图中的命令查看 NPU Driver 版本，符合预期！

那么，下面我们就可以正式开始使用 RKLLM ！

三、多模态案例：支持图像和文本交互

前面我们已经介绍了瑞芯微大模型 SDK RKLLM。本节将会演示实际操作流程，目标是对 Qwen2-VL-3B 多模态模型进行部署，其中视觉 + 投影组件通过 rknn-toolkit2 导出为 RKNN 模型，LLM 组件通过 rkllm-toolkit 导出为 RKLLM 模型。

在 Qwen2-VL 这类多模态模型（支持图像和文本交互）中，“视觉 + 投影”（Vision + Projector）是模型处理图像输入的核心组件，作用是将图像信息转换为模型可理解的特征：

简单来说，“视觉 + 投影”组件的整体作用是：把图像“翻译”成模型能看懂的“语言”（特征），并确保这种“语言”能和文本的“语言”互通，为后续的多模态交互（如图文问答）打下基础。在部署时，这两个组件被打包成 RKNN 模型，适合在 Rockchip 的 NPU（神经网络处理器）上高效运行，专门处理图像相关的计算。

下面，跟着 RKLLM SDK 里多模态模型例子^[7]，只给出必要的操作步骤。

步骤 1：环境准备

安装必要的 SDK 依赖库。

pip install rknn-toolkit2 -i https://mirrors.aliyun.com/pypi/simple
pip install torchvision==0.19.0
pip install transformers
pip install accelerate

步骤 2：模型的获取、验证与格式转换

本步骤产物为 rknn 和 rkllm 格式的模型文件。

• qwen2_5_vl_3b_vision_rk3576.rknn
• qwen2.5-vl-3b-w4a16_level1_rk3576.rkllm

操作如下，同官方指导^[8]。：

注：我们这一步直接使用瑞芯微提供的 rkllm_model_zoo 里的模型^[11]。

步骤 3：修改代码并交叉编译可执行文件并上传到板子上

本步骤产物为如下目录和文件。

rknn-llm-release-v1.2.1/examples/Qwen2-VL_Demo/deploy/install/demo_Linux_aarch64▶ tree
.
├── demo
├── demo.jpg
├── imgenc
├── lib
│   ├── librkllmrt.so
│   └── librknnrt.so
└── llm
1 directory, 6 files

操作如下：

修改源码中的EMBED_SIZE：适配模型

注：我们用的模型是 Qwen2-VL-3B，需要在src/main.cpp和src/img_encoder.cpp中修改EMBED_SIZE为2048。

不同的 Qwen2-VL 模型（2B 和 7B）需要在src/main.cpp和src/img_encoder.cpp中指定IMAGE_HEIGHT、IMAGE_WIDTH及EMBED_SIZE，核心原因是这些参数与模型的固有结构设计和输入处理逻辑强绑定，直接影响特征提取的正确性和数据传递的一致性。

代码中img_vec（图像特征向量）的尺寸依赖EMBED_SIZE计算（如IMAGE_TOKEN_NUM * EMBED_SIZE）。若EMBED_SIZE与模型实际输出维度不匹配，会因为特征向量内存分配错误（数组大小与实际特征维度不符）或者后续 LLM 组件无法正确解析图像特征，导致推理失败如 Segmentation Fault^[12]：

交叉编译

假设当前位于 rknn-llm/examples/Qwen2-VL_Demo/ 目录下，执行

cd deploy
./build-linux.sh

编译成功，如下所示：

步骤 4：上传文件到开发板

将上一步编译后的install目录，以及前面转换模型得到的 rknn 和 rkllm 格式的模型文件通过 U 盘等方式上传到 RK3576 上。

性能测试 Tips

瑞芯微在 scripts 目录中提供了一些脚本和参数设置：

多模态效果演示

为后续验证多模态能力，先展示 RKLLM 的基础配置及纯文字交互测试场景，以下为配置参数与初始对话片段：

纯文字问答能力

因仅是纯文字对话没有图片，可以执行如下命令，

# run llm(Pure Text Example)
./llm ~/rkllm-model-zoo/Qwen2.5-VL-3B-Instruct/qwen2.5-vl-3b-w4a16_level1_rk3576.rkllm 128 512

多模态问答能力

上述为图片问答的测试准备与初始提问，下文展示‘RK3576 多模态图片问答：

# run demo(Multimodal Example)
# 使用方式：./demo image_path encoder_model_path llm_model_path max_new_tokens max_context_len rknn_core_num
./demo demo.jpg models/qwen2-vl-vision_rk3588.rknn models/qwen2-vl-llm_rk3588.rkllm 128 512 3

./demo 最后一个参数是核数，用于推理时是否考虑多核推理，可选参数为：2（RKNN_NPU_CORE_0_1）、3（RKNN_NPU_CORE_0_1_2）、其他（RKNN_NPU_CORE_AUTO）。

下图展示了测试图片3运行中的一些性能指标，包括模型初始化时间、不同阶段的总时间（Prefill和Generate阶段）、Token数量、Token生成速度，以及峰值内存使用量。

总得来说，模型第一次加载 6 秒钟，首次出词语也有体感上的慢，但是这之后速度就很稳定，而且很快，纯文字的速度更快一些。

结论

本文围绕瑞芯微 RK3576 开发板 NPU 对多模态 LLM 的支撑能力与性能展开测评，全面呈现其在端侧 AI 领域的价值。

端侧SLM在延迟、隐私与离线可用性上的优势显著，而 RK3576 凭借 8nm 制程、6TOPS自研NPU及动态稀疏化加速引擎，填补了旗舰与主流方案的市场空白。它针对2B-3B参数级模型专项优化，轻量化视觉任务算力利用率提升 18%，NPU功耗降低 22%，30% 的成本优势使其在多场景快速量产，中高端市场占有率环比增长 47%。

未来，RK3576“算力精准匹配场景”的设计理念或成中端AIoT核心方向，其在多维度的平衡，为端侧AI部署提供高性价比选择，助力边缘计算规模化应用。

RK3576 工作状态