inteintegrity2026-09-29

RK1820 视觉故事工作室

在配备 RK1820 的 reComputer RK3576 上运行本地 Qwen2.5-VL-3B 模型， 上传图片后生成明信片、短故事、场景描述或创意提示词。

Image UnderstandingVLMCreative AIGitHub

Vision Story Studio 使用本地视觉语言模型，将一张图片转换成创意文字。在配备 RK1820 加速模块的 reComputer RK3576 上，上传图片、选择创作方向，就能在浏览器中看到逐步生成的回答。项目实际使用的模型是 Qwen2.5-VL-3B_prune；模型服务运行后，图片和提示词都在板端处理。

项目源码与 README

RK1820 上上传图片并获得本地 VLM 回答

这段录制展示了使用 RK1820 与 Qwen2.5-VL-3B_prune 的相关图片理解演示：上传图片后，回答会逐步显示。Vision Story Studio 使用相同的硬件与模型组合，提供创意写作预设。

可以生成什么

上传 JPG、PNG 或 WEBP 图片后，可以选择内置的创作方向：

  • 根据图片写一张明信片；
  • 创作一篇短故事；
  • 描述画面中的场景；
  • 生成一组创意提示词。

点击 Create Story 前还可以自行修改提示词。回答会从本地模型服务逐步显示到浏览器中。

硬件与模型文件

  • 已安装并识别 RK1820 模块的 reComputer RK3576。
  • 板端可调用 rkllm3-server 的兼容 RKNN3/RKLLM 运行环境。
  • 供 FastAPI 网页使用的 Python 3 和 venv；依赖见项目目录的 requirements.txt。
  • 另行准备的 Qwen2.5-VL-3B_prune 模型包。独立项目压缩包不包含模型二进制文件。

模型启动脚本预期 MODEL_DIR 中存在：

text
llm_Qwen2.5-VL-3B_prune.rknn
llm_Qwen2.5-VL-3B_prune.weight
vision_Qwen2.5-VL-3B_prune.rknn
vision_Qwen2.5-VL-3B_prune.weight
Qwen2.5-VL-3B_prune.tokenizer.gguf
Qwen2.5-VL-3B_prune.embed.bin

启动前请确认模型包与板端运行时兼容。

运行项目

获取仓库并进入该项目目录：

bash
git clone https://github.com/Seeed-Projects/Lab-Prooject-RK.git
cd Lab-Prooject-RK/projects/rk1820-vlm-creative
chmod +x *.sh

在第一个终端指定模型目录并启动 VLM 服务：

bash
MODEL_DIR=/path/to/Qwen2.5-VL-3B_prune ./start_vlm_server.sh

保持这个终端运行。在第二个终端进入同一个项目目录，启动网页：

bash
./start_ui.sh

用同一局域网中的浏览器打开 http://<RK3576-IP>:7861。网页默认连接板端 http://127.0.0.1:8080 的模型服务。首次运行 start_ui.sh 会创建虚拟环境并安装 Python 依赖；如果依赖尚未缓存，板端需要能获取这些软件包。

说明

Seeed-Projects/Lab-Prooject-RK 提供项目代码和启动脚本。网页应运行在可信局域网内；如需开放给其他网络，应先补充访问控制。模型包及兼容的板端运行环境需要另行准备。