这个项目在配备 RK1828 加速模块的 reComputer RK3576 上本地运行 Qwen3-4B。一个网页界面集中展示三类测试：首轮响应、长文本“大海捞针”检索和多轮对话记忆。模型服务与测试页面都运行在板端，测试过程中不需要调用云端模型 API。
测试内容
| 项目 | 测试目标 |
|---|---|
| 首轮响应 | 使用全新 KV 缓存处理一个问题，观察响应时间。 |
| 大海捞针 | 将隐藏信息放在长文本的不同位置，检查模型能否准确找回。 |
| 多轮对话记忆 | 在多轮无关对话后，检查模型能否记住先前给出的信息。 |
页面显示的是应用层的流式响应测量值，与命令行 RKNN3 或 RKLLM 基准测试结果不是同一口径。
硬件与环境
- reComputer RK3576，并已安装、识别 RK1828 模块。
- 板端有兼容的 RKNN3/RKLLM 运行环境，能够调用
rkllm3-server。 - 用于 FastAPI 测试页面的 Python 3 和
venv；依赖见项目目录中的requirements.txt。 - 另行准备适用于 RK1828 的 Qwen3-4B 模型包。独立项目压缩包不包含模型二进制文件。
模型启动脚本预期在 MODEL_DIR 下找到 Qwen3-4B.rknn、Qwen3-4B.weight、Qwen3-4B.tokenizer.gguf 和 Qwen3-4B.embed.bin。启动前还应确认模型与板端运行时版本匹配。
运行项目
获取代码并进入对应项目目录：
git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1828-4b-benchmark
chmod +x *.sh
./check_env.sh在第一个终端启动模型服务，并把 MODEL_DIR 指向实际模型目录：
MODEL_DIR=/path/to/Qwen3-4B ./start_model_server.sh保持模型服务运行。在第二个终端进入同一项目目录，启动网页：
./start_ui.sh在同一局域网的浏览器打开 http://<RK3576-IP>:7862。网页默认连接板端 http://127.0.0.1:8080 的模型服务。
关于封面的 32K 演示
封面 GIF 截取自 RK1828 / Qwen3-4B 长上下文测试的视频。仓库启动脚本默认的活动上下文是 4,096 token，并不是视频展示的 32K 配置。若要测试更长上下文，需要使用支持相应长度的模型，并将模型服务的 CTX_SIZE 与网页的 SERVER_CONTEXT 设为相同、且模型支持的值。start_model_server.sh 中预期的模型文件名也必须与实际模型包一致。
视频中的耗时和检索结果是该次演示的记录，不代表其他板卡或模型版本必然得到相同结果；模型、运行时、上下文长度和输入内容都会影响表现。
源码与限制
模型文件与兼容的板端运行环境需要另行准备。网页界面适用于可信的局域网环境；如需对外提供访问，应先检查并补充访问控制。