CV / YOLO-World

YOLO-World

Open-vocabulary YOLO-World detection with RKNN detector and CLIP text encoder.

24 次下载

精度

INT8 detector / FP16 text encoder

选择你正在使用的设备，设置指南和文档将相应更新。

平台

推理引擎

快速开始

部署

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yolo_world:latest \
  python3 web_detection.py --platform rk3576 \
  --model_path /app/model/yolo_world_v2s_i8.rknn \
  --text_model /app/model/clip_text_fp16.rknn \
  --text_features /app/model/coco_text_outp.npy \
  --vocab_path /app/model/clip_vocab.txt --class_path /app/model/detect_classes.txt \
  --camera_id -1 --host 0.0.0.0 --port 8000

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "yolo-world-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "yolo-world-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
# Aliyun
sudo sh get-docker.sh --mirror Aliyun
# systemd
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（单条命令，双模式预览）

该项目提供来自 reComputer-RK-CV 的开放词汇检测。INT8 YOLO-World 检测器和 FP16 CLIP 文本编码器都在 NPU 上运行，因此无需重新构建检测器即可更改检测类别。

内置 CLIP 模型主要使用英文训练。建议使用 person、red bus 和 traffic light 等简短英文名词短语。

模型信息

组件	文件
检测器	`/app/model/yolo_world_v2s_i8.rknn`
文本编码器	`/app/model/clip_text_fp16.rknn`
初始 COCO 特征	`/app/model/coco_text_outp.npy`
BPE 词表	`/app/model/clip_vocab.txt`
默认标签	`/app/model/detect_classes.txt`

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolo_world:latest
sudo docker pull ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yolo_world:latest

步骤 B：一键运行

使用与开发板匹配的镜像，并将 --platform 设置为相同的值。

适用于 RK3576：

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yolo_world:latest \
  python3 web_detection.py --platform rk3576 \
  --model_path /app/model/yolo_world_v2s_i8.rknn \
  --text_model /app/model/clip_text_fp16.rknn \
  --text_features /app/model/coco_text_outp.npy \
  --vocab_path /app/model/clip_vocab.txt \
  --class_path /app/model/detect_classes.txt \
  --video_path /app/video/test.mp4 --host 0.0.0.0 --port 8000

适用于 RK3588：

bash

sudo docker run --rm --privileged -p 8000:8000 \
  -v /dev/dri/renderD129:/dev/dri/renderD129 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yolo_world:latest \
  python3 web_detection.py --platform rk3588 \
  --model_path /app/model/yolo_world_v2s_i8.rknn \
  --text_model /app/model/clip_text_fp16.rknn \
  --text_features /app/model/coco_text_outp.npy \
  --vocab_path /app/model/clip_vocab.txt \
  --class_path /app/model/detect_classes.txt \
  --video_path /app/video/test.mp4 --host 0.0.0.0 --port 8000

打开 http://<BOARD_IP>:8000。使用 --prompts "person|red bus|bicycle" 设置启动提示。支持 1 到 80 个用竖线分隔的非空提示，每个提示会截断为 20 个 CLIP token。

🔌 API 文档

1. 提示词配置接口

端点: POST /api/prompts

请求参数（JSON）：

text: 1 到 80 个使用 | 分隔的非空提示短语。

使用示例：

bash

curl -X POST "http://<BOARD_IP>:8000/api/prompts" \
  -H "Content-Type: application/json" \
  -d '{"text":"person|red bus|traffic light"}'

2. 模型推理接口（Predict）

端点: POST /api/models/yolo_world/predict

请求参数（Multipart/Form-Data）：

可选字段包括 file、video、timestamp、realtime、conf 和 iou；默认阈值分别为 0.25 和 0.45。

使用示例：

bash

curl -X POST "http://<BOARD_IP>:8000/api/models/yolo_world/predict" \
  -F "file=@bus.jpg" -F "text=person|bus|red vehicle" \
  -F "conf=0.25" -F "iou=0.45"

text 字段只会为本次预测更改提示；/api/prompts 会更改当前视频流提示。提示嵌入会缓存在内存中。动态嵌入填充检测器固定 80 行文本输入的前几行，填充行在后处理期间会被忽略。

GET /api/prompts 读取当前提示。服务还提供健康检查、阈值配置、MJPEG、视频上传、异步分析、状态、列表和下载端点。离线 BPE 词表意味着运行时不会从 Hugging Face 下载分词器资源。

3. 系统配置接口（Config）

GET /api/config / POST /api/config.

4. 命令行参数

参数	默认值	说明
`--platform`	必填	目标 NPU：`rk3576` 或 `rk3588`。
`--model_path`	必填	量化的 YOLO-World 检测器。
`--text_model`	`model/clip_text_fp16.rknn`	用于动态提示的 CLIP 文本编码器。
`--text_features`	`model/coco_text_outp.npy`	初始 `(1,80,512)` COCO 特征。
`--vocab_path`	`model/clip_vocab.txt`	离线 CLIP BPE 词表。
`--class_path`	内置 COCO 标签	与初始特征行匹配的标签。
`--prompts`	COCO 80 个类别	初始的竖线分隔提示短语。
`--video_path`	无	循环播放的本地 MP4；优先级高于摄像头。
`--camera_id`	`1`	摄像头索引；`-1` 表示仅分析模式。
`--host` / `--port`	`0.0.0.0` / `8000`	服务地址和端口。

实时视频流接口（Video Feed）

获取带标注的最新 MJPEG 视频流，用于浏览器预览：

端点: GET /api/video_feed
示例用法: <img src="http://<BOARD_IP>:8000/api/video_feed">

🛠️ 开发者指南（生产环境建议）

模型替换约束

检测器和文本编码器是匹配的流水线。替换模型必须保留检测器的 80 行文本特征输入、CLIP 嵌入宽度、兼容的分词方式，以及后处理代码所需的输出布局。

本地构建

bash

docker build -f docker/rk3576/yolo_world.dockerfile \
  -t rk3576-yolo-world:local src/rk3576_yolo_world

docker build -f docker/rk3588/yolo_world.dockerfile \
  -t rk3588-yolo-world:local src/rk3588_yolo_world

输入与输出

Input: image, video frame, or camera frame plus up to 80 prompts. Output: prompt-matched boxes and confidence scores.