端侧AI算力新秀，RK182X系列算力卡如何让大模型落地更简单？

当下，端侧大模地更边缘AI全面进入大语言模型+多模态感知深度融合阶段，算力储能、新秀X系型落工业网关、列算力智能机器人、何让视频分析等场景，简单对本地实时推理、端侧大模地更低延迟响应、算力数据安全合规的新秀X系型落需求爆发式增长。但RK3588/RK3576/RK3568等主流主控，列算力原生NPU算力有限、何让内存带宽不足，简单3B参数量以上的端侧大模地更大模型跑不动、响应慢、算力并发差，新秀X系型落“业务刚需猛、端侧算力弱”的冲突日益尖锐。

瑞芯微推出了面向人工智能应用的高性能RK182X系列算力卡，依托RKNN3 SDKV1.0.4的发布，为端侧AI模型部署提供全栈式软件支撑，在端侧推理性能、模型适配、功能接口、推理精度上全方位升级，兼具高性能、高适配、高能耗比优势，即插即用补满算力缺口，让LLM/VLM在边缘设备稳定流畅落地！

一、20TOPS硬核算力，8B大模型端侧推理无压力

RK182X系列内置多核RISC-VCPU与3D堆叠高带宽DRAM，集成多核高算力NPU，峰值算力可达20TOPS且广泛支持从INT4到FP16的多种计算精度，通过 PCIe/USB接口与主控设备高速互联，支持从 0.5B 到 8B 多种参数量的大语言 / 多模态模型及传统 CNN 模型推理及本地化部署，专注于 AI 端侧推理，不占主控资源，算力独立输出。

二、主流模型全覆盖 ，打通算法生态壁垒

RK182X算力卡完成主流AI算法全适配，原生支持LLM大语言、VLM图文多模态、CNN卷积网络三类核心模型，覆盖自然语言交互、跨模态图文解析、图像分类检测、音频信号处理等全场景AI应用 ，算力调度稳定、推理时延优异，配套完备的模型编译工具链，轻松实现模型量化转换、适配优化与嵌入式端快速投产。

三、兼容全主控+双系统，老设备零成本焕新算力

RK182X系列算力卡全兼容RK3588、RK3576、RK3568等瑞芯微主流主控，适配Linux/Android双系统，PCIe直插即用无需额外驱动适配。依托该架构设计，产品实现跨主控、跨系统通用，存量在用设备可零改造升级AI大模型算力，无需更换主板、修改整机结构、重新做产品认证，老旧边缘网关、工控主机、AI边缘盒能够低成本迭代升级为高性能AI推理终端，规避硬件换代带来的高额改造成本与周期损耗。

以下为各主控平台搭配RK182X算力卡前后大模型推理性能对比：

测试参数说明：

• Input_Tokens和New_tokens分别代表输入/输出Tokens数量；
• TPS：模型每秒能生成的token数量。

RK3568作为大批量商用落地平台，自带1TOPS板载NPU，原生算力无法适配端侧大模型推理场景；设备预留PCIe扩展位，选配RK1820/RK1828算力卡后可新增20TOPS独立NPU算力，存量整机无需改版，低成本完成算力扩容，稳定运行大语言、多模态大模型。

软件层面，飞凌嵌入式已完成RK182X全系列在Linux/Android双系统的深度驱动调试与全量算子落地验证：工业视觉、服务机器人（Linux端）、智能交互一体机、商用智慧屏（Android端）等多场景均可即插即用。单张算力卡可跨硬件平台、跨操作系统复用，有效压缩客户备货库存、后期运维成本，落地「一卡通用 ，旧机焕新」的边缘算力升级方案。结合真实业务场景下的上下文尺寸和输出长度，RK182X算力卡搭配各RK主控平台的各参数量LLM/VLM模型的端侧推理实测性能数据见文末。

四、储能行业私有化知识库落地案

针对储能BMS场景的储能系统AI问答交互系统需求，飞凌嵌入式基于RK3588+RK1828算力卡打造储能专属私有化知识库，集成语音识别ASR与语音合成TTS模块支持全语音问答，支持多级BMS储能设备实时运行数据查询和储能系统故障智能诊断，精准解析运维人员的提问意图，支持故障排查、数据查询、分析建议等连续交互，端侧离线部署无需联网，实现数据本地闭环、合规安全。

核心能力

• 本地部署：数据不出场站，满足电力储能行业安全合规要求；
• 高速响应：大语言模型端侧推理输出速度稳定60+tokens/s，故障诊断、数据查询实时输出；
• 开箱即用：支持知识库快速导入、语音交互、自定义MCP、接口标准化。

演示画面的截图：

五、为什么选择RK182X算力卡？

1. 即插即用

PCIe/USB双接口 ，双系统支持，部署周期缩短50%+。

2. 全平台覆盖

完美支持RK3588/3576/3568，存量设备一键升级算力。

3. 场景化方案

储能、工业、机器人等垂直场景定制优化，提供全套技术支持。

4. 稳定可靠

工业级品质，批量交付有保障，技术团队全程护航。

RK182X系列算力卡真正解决端侧大模型算力短缺，让LLM/VLM本地跑得稳、跑得快、用得起！

以下为RK182X算力卡搭配各RK主控平台的LLM/VLM模型端侧推理实测性能数据：

Ubuntu系统RK3568+RK1828算力卡：

LLM模型端侧推理核心性能数据：

VLM模型端侧推理核心性能数据：

Ubuntu系统RK3576+RK1828算力卡：

LLM模型端侧推理核心性能数据：

VLM模型端侧推理核心性能数据：

Android系统RK3588+RK1828算力卡：

LLM模型端侧推理核心性能数据：

VLM模型端侧推理核心性能数据：

测试参数说明：

1.测试基于主控SOC+RK1820/RK1828，两者之间通过PCIe连接；

2.TTFT：模型生成第一个token所需的时间；

3.TPOT：生成每个输出token所需的平均时间；

4.TPS：模型每秒能生成的token数量；

5.VLM的Vision和LLM耗时为独立测试。

(责任编辑：探索)