CV / EfficientDet

EfficientDet-Lite2

EfficientDet-Lite2 通过 BiFPN 检测头在 Hailo-8 上检测 COCO 的 80 个目标类别。NMS 和 sigmoid 在片上运行(Hailo HPP),因此应用仅需解析 NMS 后的张量。Lite2 是 efficientdet 系列的变体,采用最大的主干网络和 448x448 输入尺寸,在三个变体中具有最高精度。

2 次下载
大小
14 MB
内存
4GB+
精度
Hailo HEF / HailoRT 4.23.x

选择你正在使用的设备,设置指南和文档将相应更新。

快速开始

部署
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest \
  python web_detection.py --model_path model/efficientdet_lite2.hef --video_path video/test.mp4

REST API

使用 REST API 进行推理。复制以下命令。

Curl
curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite2/predict" \
  -F "file=@test.jpg"
Python
import requests

response = requests.post(
    "http://<Board_IP>:8000/api/models/efficientdet_lite2/predict",
    files={"file": open("test.jpg", "rb")},
    timeout=30,
)
print(response.json())

模型详情

reComputer R Series(CM5 + Hailo-8)上的 EfficientDet-Lite2

EfficientDet-Lite2 通过 HailoRT 在 Hailo-8 上执行 COCO 80 类目标检测。 NMS 和 sigmoid 在芯片上运行(Hailo HPP),因此主机仅解析 NMS 后张量。这是 efficientdet 系列的 Lite2 变体,采用最大的 骨干网络和 448x448 输入,在三个变体(lite0/lite1/ lite2)中精度最高。

本页面适用于配备 PCIe Hailo-8 加速器的 reComputer R Series(CM5 + Hailo-8)

模型信息

属性
架构EfficientDet-Lite2(BiFPN)
任务目标检测
输入448x448x3 RGB(归一化已编译到 HEF 中:mean=127, std=128)
输出芯片上 NMS 张量,NMS 后形状为 89x5x100
类别89 个槽位(通过 labels_offset=1 对应 COCO 类别 ID 1..89;其中 10 个未使用)
参数量5.93M
运算量6.84G
后处理芯片上 NMS(HPP)+ sigmoid;主机解析 NMS 后张量
HEFHailo Model Zoo v2.19.0,Hailo-8

该精度值来自 Hailo Model Zoo 参考数据,并非 在 CM5 上测得的基准测试结果。

硬件与主机设置

项目
开发板搭载 Raspberry Pi CM5 的 reComputer R Series
加速器通过 PCIe 连接的 Hailo-8,设备路径为 /dev/hailo0
运行时HailoRT 4.23.x
容器内 Python3.11,aarch64

在主机上安装 Hailo-8 软件包,并在启动容器前确认驱动程序和设备 已准备就绪:

bash
sudo apt update
sudo apt install hailort hailort-pcie-driver python3-hailort
sudo reboot

# After reboot
hailortcli --version
hailortcli fw-control identify
ls -l /dev/hailo0

此镜像要求的 HailoRT 版本为 4.23.x。

使用演示视频运行

bash
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest \
  python web_detection.py --model_path model/efficientdet_lite2.hef --video_path video/test.mp4

打开 http://<Board_IP>:8000 查看 Web 预览。

USB 摄像头模式

bash
sudo docker run --rm \
  --name cm5-hailo8-efficientdet-lite2 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest \
  python web_detection.py --model_path model/efficientdet_lite2.hef --camera_id 0

REST API

预测端点:

text
POST http://<Board_IP>:8000/api/models/efficientdet_lite2/predict

图像请求示例:

bash
curl -X POST "http://<Board_IP>:8000/api/models/efficientdet_lite2/predict" \
  -F "file=@test.jpg"
端点方法用途
/GETWeb 预览界面
/api/models/efficientdet_lite2/predictPOST检测结果(JSON)
/api/video_feedGETMJPEG 预览流

实现说明

  • 输入/输出约定和后处理与 Lite0/Lite1 构建版本相同;仅骨干网络和输入尺寸不同(448x448,5.93M 参数 → 三个变体中精度最高)。
  • HEF 在芯片上运行 NMS(device_pre_post_layers: nms=true, sigmoid=true, hpp=true);应用仅解析 NMS 后张量(遵循官方 tf_postproc_nms),因此会忽略 nms_thresh(仅用于保持 API 一致性)。
  • NMS 后的行格式为 [ymin, xmin, ymax, xmax, score],坐标相对于 448x448 信箱缩放输入归一化到 [0,1];应用会将其缩放为像素坐标并还原信箱缩放。
  • normalize_in_net 使用 mean=127/std=128,并设置 padding_color=127:应用 使用灰色(127)填充进行信箱缩放,并输入原始 uint8 RGB 像素,无需 手动归一化。
  • HailoRT 将 NMS vstream 返回为按类别组织的不规则列表(按分数执行 NMS); 解析器可处理该布局以及对象/稠密布局。首次推理会记录原始 类型/形状,以便在硬件上验证。
  • 类别映射:cls_id(0..88)→ COCO 类别 ID cls_id+1labels_offset=1);10 个未使用的 COCO ID 标记为“N/A”,不会绘制。如果 标签看起来发生偏移,请根据首次推理日志重新推导映射。
  • 默认值:置信度 0.25,IOU 0.45(IOU 不起作用,因为 NMS 在芯片上运行)。Model Zoo 评估使用 0.001 / 0.5;可降低置信度滑块以查看更多结果。

开发说明

  • 源模块:src/rpi5_hailo8_efficientdet_lite2/
  • Dockerfile:docker/hailo8/efficientdet_lite2.dockerfile
  • 容器:ghcr.io/seeed-projects/recomputer-hailo8-cv/efficientdet_lite2:latest
  • 该模块使用 HailoRT 4.23 VStreams API 和 Hailo-8 专用 HEF。
  • 系列:efficientdet(变体 lite0 / lite1 / lite2);这是 lite2 构建版本。

输入与输出

输入:图像、视频或 USB 摄像头帧。输出:带置信度的 COCO 80 类检测框,以及带标注的 MJPEG 预览。