SOUND / YAMNet

YAMNet

reComputer RK3576

在 reComputer RK3576 和 RK3588 上运行的 521 类 AudioSet 音频事件分类模型。

18 次下载

精度

RKNN

选择你正在使用的设备，设置指南和文档将相应更新。

平台

推理引擎

快速开始

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

部署

sudo docker run --rm --privileged --net=host \
  -e PYTHONUNBUFFERED=1 -e RKNN_LOG_LEVEL=0 \
  -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
  ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yamnet:latest

REST API

使用 REST API 进行推理。复制以下命令。

Curl

curl http://localhost:8080/v1/chat/completions -d '{
  "model": "yamnet-rknn",
  "messages": [{"role": "user", "content": "Hello"}]
}'

Python

import requests

resp = requests.post(
    "http://localhost:8080/v1/chat/completions",
    json={"model": "yamnet-rknn", "messages": [{"role": "user", "content": "Hello"}]},
)
print(resp.json())

模型详情

Armbian 26.8.7 Gnome 及更新版本（启用 OTA overlayroot）： 运行容器前请配置 Docker 存储以避免 overlay 挂载错误。

快速开始

1. 安装 Docker

在开发板上运行以下命令安装 Docker：

bash

# Download installation script
curl -fsSL https://get.docker.com -o get-docker.sh
# Install using Aliyun mirror source
sudo sh get-docker.sh --mirror Aliyun
# Start Docker and enable auto-start on boot
sudo systemctl enable docker
sudo systemctl start docker

2. 运行项目（一条命令，双模式预览）

本项目对 521 个 AudioSet 类别进行音频分类。Web 界面接受上传音频或浏览器麦克风录音，并显示整体 Top-K 预测和滑动窗口事件时间线。

步骤 A：拉取镜像

bash

sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3588-yamnet:latest
sudo docker pull ghcr.io/Seeed-Projects/recomputer-rk-cv/rk3576-yamnet:latest

步骤 B：一键运行

适用于 RK3588:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3588-yamnet:latest

访问地址： http://<Board_IP>:8000

适用于 RK3576:

bash

sudo docker run --rm --privileged --net=host \
    -e PYTHONUNBUFFERED=1 \
    -e RKNN_LOG_LEVEL=0 \
    -v /proc/device-tree/compatible:/proc/device-tree/compatible:ro \
    ghcr.io/seeed-projects/recomputer-rk-cv/rk3576-yamnet:latest

访问地址： http://<Board_IP>:8000

浏览器录音会上传到服务，因此无需映射主机音频设备。

3. 命令行推理

bash

python inference.py --platform rk3576 --model_dir model \
    --file samples/test.wav --topk 5 --threshold 0.1 --hop_seconds 1

在 RK3588 源目录中运行时，请使用 --platform rk3588。

🔌 API 文档

REST API 将音频转换为单声道 16 kHz，并分析固定的 3 秒窗口。输入时长上限为 300 秒。

1. 音频事件分类接口

端点： POST /api/models/yamnet/predict

请求参数（Multipart/Form-Data）：

file：必填音频文件。上传大小上限为 64 MB。
topk：可选得分最高的类别数，范围为 1 至 20，默认值为 5。
threshold：可选最低事件得分，范围为 0 至 1，默认值为 0.1。
hop_seconds：可选的相邻 3 秒窗口间距，范围为 0.25 至 3 秒，默认值为 1 秒。

使用示例：

bash

curl -X POST "http://127.0.0.1:8000/api/models/yamnet/predict" \
    -F 'file=@samples/test.wav' \
    -F 'topk=5' \
    -F 'threshold=0.1' \
    -F 'hop_seconds=1'

响应格式（JSON）：

json

{
  "success": true,
  "model": "yamnet",
  "platform": "rk3576",
  "inference_time_ms": 76.1,
  "result": {
    "duration_seconds": 4.5,
    "sample_rate": 16000,
    "window_seconds": 3.0,
    "hop_seconds": 1.0,
    "top_class": {"id": 0, "label": "Speech", "score": 0.83},
    "predictions": [],
    "segments": [],
    "events": []
  }
}

predictions 包含整体得分，segments 包含各窗口结果，events 则合并最高类别相同的连续窗口。

2. 系统配置接口

获取当前配置

端点： GET /api/config
默认响应： {"topk": 5, "threshold": 0.1, "hop_seconds": 1.0}

更新配置

bash

curl -X POST "http://127.0.0.1:8000/api/config" \
    -H 'Content-Type: application/json' \
    -d '{"topk": 10, "threshold": 0.2, "hop_seconds": 0.5}'

使用 GET /api/health 检查当前平台、已加载的模型和运行时能力。交互式 OpenAPI 文档位于 /docs。

🛠️ 开发者指南（生产环境建议）

代码说明

web_service.py：
- Web API：处理上传文件、浏览器录音、运行时配置和分类响应。
- 校验：执行上传大小、时长和参数限制。
task_runtime.py：
- 音频处理：将输入转换为单声道 16 kHz，并调度固定的 3 秒窗口。
- 分类：运行 yamnet.rknn，对 521 个标签排序，并应用 Top-K 和阈值设置。
- 时间线：生成各窗口片段结果，并合并连续事件。
inference.py：提供单次命令行分类。

模型文件

组件	文件
YAMNet 模型	`model/yamnet.rknn`
AudioSet 类别标签	`model/yamnet_class_map.txt`

修改模型

将转换后的模型放在 model/yamnet.rknn，并将配套的 521 标签映射放在 model/yamnet_class_map.txt。
保持单声道 16 kHz、固定 3 秒输入和输出类别顺序。
测试短音频、长音频滑动窗口输入及各参数边界。

上游项目目前为每个平台提供一个 RKNN 模型。topk、threshold 和 hop_seconds 控制后处理和窗口调度，而不是模型尺寸或量化规格。

构建本地镜像

在 reComputer-RK-CV 根目录运行：

bash

docker build -f docker/rk3576/yamnet.dockerfile \
    -t rk3576-yamnet:local src/rk3576_yamnet

docker build -f docker/rk3588/yamnet.dockerfile \
    -t rk3588-yamnet:local src/rk3588_yamnet

输入与输出

输入：转换为单声道 16 kHz 的音频。输出：总体预测、逐窗口分段和合并后的音频事件。