CV / EfficientDet

EfficientDet-Lite1

采用 BiFPN 检测头的 EfficientDet-Lite1 可在 Hailo-8 上检测 80 个 COCO 目标类别。NMS 和 sigmoid 运算在片上执行(Hailo HPP),因此应用仅需解析 NMS 后的张量。作为 EfficientDet 系列的 Lite1 变体,其采用更大的骨干网络和 384x384 输入,精度高于 Lite0。

1 次下载
大小
16 MB
内存
4GB+
精度
Hailo HEF / HailoRT 4.23.x

选择你正在使用的设备,设置指南和文档将相应更新。

快速开始

部署
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --video_path video/test.mp4

REST API

使用 REST API 进行推理。复制以下命令。

Curl
curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

模型详情

reComputer R Series(CM5 + Hailo-8)上的 EfficientDet-Lite1

EfficientDet-Lite1 通过 HailoRT 在 Hailo-8 上执行 COCO 80 类目标检测。 NMS 和 sigmoid 在芯片上运行(Hailo HPP),因此主机仅需解析 NMS 后张量。这是 efficientdet 系列的 Lite1 变体,采用更大的 骨干网络和 384x384 输入,准确率高于 Lite0。

本页面适用于配备 PCIe Hailo-8 加速器的 reComputer R Series(CM5 + Hailo-8)

模型信息

属性
架构EfficientDet-Lite1(BiFPN)
任务目标检测
输入384x384x3 RGB(归一化已编译至 HEF:mean=127,std=128)
输出芯片端 NMS 张量,NMS 后形状为 89x5x100
类别89 个槽位(通过 labels_offset=1 对应 COCO 类别 ID 1..89;其中 10 个未使用)
参数量4.73M
运算量4G
后处理芯片端 NMS(HPP)+ sigmoid;主机解析 NMS 后张量
HEFHailo Model Zoo v2.19.0,Hailo-8

准确率数值来自 Hailo Model Zoo 参考结果,并非在 CM5 上测得的基准测试结果。

硬件与主机设置

项目
开发板搭载 Raspberry Pi CM5 的 reComputer R Series
加速器通过 PCIe 连接的 Hailo-8,设备路径为 /dev/hailo0
运行时HailoRT 4.23.x
容器内 Python3.11,aarch64

启动容器前,请在主机上安装 Hailo-8 软件包,并确认驱动程序和设备 已准备就绪:

bash
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

此镜像要求使用 HailoRT 4.23.x。

使用演示视频运行

bash
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --video_path video/test.mp4

打开 http://<Board_IP>:8000 查看 Web 预览。

USB 摄像头模式

bash
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite1 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest \
  python web_detection.py --model_path model/efficientdet_lite1.hef --camera_id 0

REST API

预测端点:

text
POST http://<Board_IP>:8000/api/models/efficientdet_lite1/predict

图像请求示例:

bash
curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite1/predict" \
  -F "file=@test.jpg"
端点方法用途
/GETWeb 预览界面
/api/models/efficientdet_lite1/predictPOST检测结果(JSON)
/api/video_feedGETMJPEG 预览流

实现说明

  • 输入/输出约定和后处理与 Lite0 构建版本相同;仅 骨干网络和输入尺寸不同(384x384,4.73M 参数 → 准确率更高)。
  • HEF 在芯片上运行 NMS(device_pre_post_layers: nms=true, sigmoid=true, hpp=true);应用仅解析 NMS 后张量(遵循官方 tf_postproc_nms),因此 nms_thresh 会被忽略(仅用于保持 API 一致性)。
  • NMS 后的每一行为 [ymin, xmin, ymax, xmax, score],坐标相对于 384x384 letterbox 输入归一化至 [0,1];应用会将其缩放为像素坐标并移除 letterbox。
  • normalize_in_net 使用 mean=127/std=128,并设置 padding_color=127:应用 使用灰色(127)填充执行 letterbox,并输入原始 uint8 RGB 像素,无需 手动归一化。
  • HailoRT 将 NMS vstream 返回为按类别组织的不规则列表(NMS-by-score); 解析器同时支持该布局以及对象/稠密布局。首次推理会记录原始 类型和形状,以便在硬件上进行验证。
  • 类别映射:cls_id(0..88)→ COCO 类别 ID cls_id+1labels_offset=1);10 个未使用的 COCO ID 标记为“N/A”,且不会绘制。如果 标签看起来存在偏移,请根据首次推理日志重新确定映射。
  • 默认值:置信度 0.25,IOU 0.45(由于 NMS 在芯片上运行,IOU 不生效)。Model Zoo 评估使用 0.001 / 0.5;可降低置信度滑块以查看更多结果。

开发说明

  • 源码模块:src/rpi5_hailo8_efficientdet_lite1/
  • Dockerfile:docker/hailo8/efficientdet_lite1.dockerfile
  • 容器:ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite1:latest
  • 该模块使用 HailoRT 4.23 VStreams API 和 Hailo-8 专用 HEF。
  • 系列:efficientdet(lite0 / lite1 / lite2 变体);这是 lite1 构建版本。

输入与输出

输入:图像、视频或 USB 摄像头帧。输出:带置信度的 COCO 80 类检测框,以及带标注的 MJPEG 预览。