CV / Lite Transformer

Lite Transformer

reComputer RK3588

在 reComputer RK3576 和 RK3588 上通过 RKNN 加速的 Lite Transformer 英译中模型。

30 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

推理引擎

快速开始

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

部署

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-lite_transformer:latest

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "lite-transformer-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "lite-transformer-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# Download installation script
curl -fsSL https://get.docker.com -o get-docker.sh
# Install using Aliyun mirror source
sudo sh get-docker.sh --mirror Aliyun
# Start Docker and enable auto-start on boot
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（一条命令，Web 预览）

本项目通过 Web 浏览器提供英译中功能。界面显示译文，以及 RKNN 编码器和解码器处理的 BPE 词元 ID。

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3588-lite_transformer:latest
sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3576-lite_transformer:latest

步骤 B：一键运行

适用于 RK3588:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-lite_transformer:latest

访问地址： http://<Board_IP>:8000

适用于 RK3576:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-lite_transformer:latest

访问地址： http://<Board_IP>:8000

无需映射摄像头、显示设备或音频设备。

3. 命令行推理

bash

python inference.py --platform rk3576 --model_dir model --text "thank you"

在 RK3588 源目录中运行时，请使用 --platform rk3588。

🔌 API 文档

项目提供用于短文本英译中的同步 REST 接口。交互式 OpenAPI 文档位于 http://<Board_IP>:8000/docs。

1. 翻译接口

端点： POST /api/models/lite_transformer/predict

请求参数（Multipart/Form-Data）：

text：必填英文源文本。编码后的输入不得超过 15 个 BPE 词元；EOS 占用固定输入中的剩余位置。

使用示例：

bash

curl -X POST "http://127.0.0.1:8000/api/models/lite_transformer/predict" \
    -F 'text=thank you'

响应格式（JSON）：

json

{
  "success": true,
  "model": "lite_transformer",
  "platform": "rk3576",
  "inference_time_ms": 42.6,
  "result": {
    "input_text": "thank you",
    "translation": "谢谢你",
    "input_tokens": [1234, 5678],
    "output_tokens": [9012, 3456],
    "input_token_count": 2,
    "output_token_count": 2
  }
}

限制针对 BPE 词元而不是单词。一个单词可能生成多个词元，超长输入会被拒绝，而不是静默截断。这个紧凑模型面向短语，不能与大型通用翻译模型相提并论。

2. 系统状态与配置

获取当前系统状态

端点： GET /api/health
响应： 包含平台、已加载的模型文件、输入类型和运行时能力。

获取当前配置

端点： GET /api/config
响应： {}，因为 Lite Transformer 没有运行时设置。

由于此模型没有可热更新的运行时参数，向 POST /api/config 发送非空数据会被拒绝。

🛠️ 开发者指南（生产环境建议）

代码说明

web_service.py：
- Web API：提供浏览器界面、翻译端点、健康状态和配置端点。
- 校验：要求文本非空，并将输入错误作为 HTTP 400 响应返回。
task_runtime.py：
- 分词：应用附带的 BPE 数据，并明确校验 15 词元的源文本上限。
- RKNN 推理：运行编码器，再通过解码器及其状态缓存执行自回归解码。
inference.py：提供单次命令行翻译。

模型文件

组件	文件
编码器	`model/encoder.rknn`
解码器	`model/decoder.rknn`
BPE 合并数据	`model/bpe_order.txt`
词元映射	`model/cw_token_map_order.txt`, `model/dict_order.txt`
嵌入	`model/position_embed.bin`, `model/token_embed.bin`

修改模型

将转换后的编码器和解码器放入 model/，并保留文件名。
分词字典和嵌入文件应与编码器、解码器的转换结果保持配套。
验证替换后仍满足 15 个源词元输入和解码器缓存约定。

编码器和解码器是同一流水线中的必需阶段，不是模型尺寸或量化规格选项。上游项目目前为每个平台提供一套兼容模型，没有独立的模型变体参数。

构建本地镜像

在 reComputer-RK-CV 根目录运行：

bash

docker build -f docker/rk3576/lite_transformer.dockerfile \
    -t rk3576-lite_transformer:local src/rk3576_lite_transformer

docker build -f docker/rk3588/lite_transformer.dockerfile \
    -t rk3588-lite_transformer:local src/rk3588_lite_transformer

输入与输出

输入：最多 15 个源 BPE 词元加 EOS 的英文文本。输出：中文译文及输入/输出词元信息。