SOUND / Wav2Vec2

Wav2Vec2

reComputer RK3576

在 reComputer RK3576 和 RK3588 上通过 RKNN 加速的 facebook/wav2vec2-base-960h 英语语音识别模型。

38 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

推理引擎

快速开始

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

部署

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-wav2vec2:latest

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "wav2vec2-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "wav2vec2-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# Download installation script
curl -fsSL https://get.docker.com -o get-docker.sh
# Install using Aliyun mirror source
sudo sh get-docker.sh --mirror Aliyun
# Start Docker and enable auto-start on boot
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（一条命令，双模式预览）

本项目基于 facebook/wav2vec2-base-960h 提供英语自动语音识别。可在 Web 界面上传音频文件，或通过浏览器麦克风录音。

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3588-wav2vec2:latest
sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3576-wav2vec2:latest

步骤 B：一键运行

适用于 RK3588:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-wav2vec2:latest

访问地址： http://<Board_IP>:8000

适用于 RK3576:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-wav2vec2:latest

访问地址： http://<Board_IP>:8000

浏览器麦克风权限通常要求 HTTPS 或受信任的环境/localhost。即使未授予麦克风权限，仍可上传文件，容器也无需映射主机 /dev/snd。

3. 命令行推理

bash

python inference.py --platform rk3576 --model_dir model \
    --file samples/test.wav --beam_width 8

在 RK3588 源目录中运行时，请使用 --platform rk3588。

🔌 API 文档

项目为上传音频提供同步转录。推理前会将音频转换为单声道 16 kHz、去除静音、归一化电平，并检查削波。

1. 语音识别接口

端点： POST /api/models/wav2vec2/predict

请求参数（Multipart/Form-Data）：

file：必填 WAV 文件或其他 libsndfile 支持的音频文件。上传大小上限为 64 MB。
beam_width：可选 CTC 解码宽度，范围为 1 至 32，默认值为 8；1 表示贪心解码。

使用示例：

bash

curl -X POST "http://127.0.0.1:8000/api/models/wav2vec2/predict" \
    -F 'file=@samples/test.wav' \
    -F 'beam_width=8'

响应格式（JSON）：

json

{
  "success": true,
  "model": "wav2vec2",
  "platform": "rk3576",
  "inference_time_ms": 812.4,
  "result": {
    "text": "EXAMPLE TRANSCRIPT",
    "frames": 999,
    "sample_rate": 16000,
    "original_duration_seconds": 4.2,
    "processed_duration_seconds": 4.0,
    "segments": 1,
    "beam_width": 8,
    "truncated": false,
    "warnings": []
  }
}

RKNN 模型使用固定 20 秒输入。更长的录音会分为重叠片段后合并，而不是截断。较大的 beam_width 会增加 CPU 端解码工作量，并可能改善转录结果；它不会改变 RKNN 模型。

2. 系统配置接口

获取当前配置

端点： GET /api/config
响应： {"beam_width": 8}

更新配置

bash

curl -X POST "http://127.0.0.1:8000/api/config" \
    -H 'Content-Type: application/json' \
    -d '{"beam_width": 1}'

使用 GET /api/health 检查当前平台、模型就绪状态、已加载的 RKNN 文件和运行时能力。OpenAPI 文档位于 /docs。

🛠️ 开发者指南（生产环境建议）

代码说明

web_service.py：
- Web API：处理浏览器音频上传、麦克风录音、配置和同步转录。
- 校验：拒绝空文件、超过 64 MB 的文件和无效的束宽。
task_runtime.py：
- 音频处理：解码音频、转换为单声道 16 kHz、去除静音、归一化电平，并生成重叠的 20 秒片段。
- RKNN 推理：对每个片段执行 wav2vec2.rknn。
- CTC 解码器：支持贪心解码和束搜索解码，并合并各片段转录结果。
inference.py：提供单次命令行转录。

模型文件

组件	文件
Wav2Vec2 模型	`model/wav2vec2.rknn`
示例音频	`samples/test.wav`

修改模型

转换后的模型应放置在 model/wav2vec2.rknn。
保持固定 20 秒、单声道 16 kHz 输入约定，以及附带 CTC 词表预期的输出词元顺序。
发布替换模型前，测试短音频输入及长音频重叠分段。

上游项目目前为每个平台提供一个固定形状的 RKNN 模型。beam_width 改变的是解码器，而不是选择另一种尺寸或量化规格。

构建本地镜像

在 reComputer-RK-CV 根目录运行：

bash

docker build -f docker/rk3576/wav2vec2.dockerfile \
    -t rk3576-wav2vec2:local src/rk3576_wav2vec2

docker build -f docker/rk3588/wav2vec2.dockerfile \
    -t rk3588-wav2vec2:local src/rk3588_wav2vec2

输入与输出

输入：转换为单声道 16 kHz 的音频。输出：英文转录、分段详情和推理耗时。