CV / ResNet

ResNet v1

reComputer R Series (CM5 + Hailo-8)

ImageNet-classificatie met ResNet v1-18/v1-34/v1-50 op reComputer R Series met Hailo-8 of Hailo-10H.

9 downloads
Grootte
12.5 MB
Geheugen
4GB+
Precisie
Hailo HEF

Kies het apparaat dat je gebruikt. De installatiehandleiding en documentatie worden dienovereenkomstig bijgewerkt.

Aan de slag

Implementeren
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

Modeldetails

reComputer R Series (CM5 + Hailo-8)

ResNet v1-18/v1-34/v1-50 ImageNet-classificatie op reComputer R Series (CM5 + Hailo-8)

ResNet v1-18/v1-34/v1-50 classificeren 1000 ImageNet-klassen op Hailo-8 via HailoRT 4.23. Elke HEF neemt een 224×224 RGB-frame en retourneert 1000 scores; de host past softmax toe, vlakt de scores over de tijd af en legt een Top-K-paneel over de MJPEG-preview. Alle drie varianten delen dezelfde webservice en de officiële Hailo-demovideo.

Modelinformatie

VariantInvoerMeegeleverde HEFTop-1 float / Hailo-8Parameters / bewerkingenContainer
ResNet v1-18224×224×3 RGB12.5 MB71.3 / 71.111.68M / 3.64Gresnet_v1_18
ResNet v1-34224×224×3 RGB15.7 MB72.7 / 72.221.79M / 7.34Gresnet_v1_34
ResNet v1-50224×224×3 RGB18.0 MB75.2 / 74.725.53M / 6.98Gresnet_v1_50

Hardware- en hostconfiguratie

OnderdeelWaarde
BoardreComputer R Series met Raspberry Pi CM5
VersnellerHailo-8 via PCIe, beschikbaar als /dev/hailo0
RuntimeHailoRT 4.23.x (host en container moeten dezelfde major.minor gebruiken)
Python in de container3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# After reboot
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Uitvoeren met de demo-video

Kies de opdracht die bij de modelvariant hoort.

ResNet v1-18

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

ResNet v1-34

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-34 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_34:latest \
  python web_detection.py --model_path model/resnet_v1_34.hef --video_path video/test.mp4

ResNet v1-50

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-50 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_50:latest \
  python web_detection.py --model_path model/resnet_v1_50.hef --video_path video/test.mp4

Open http://<Board_IP>:8000 om de Top-K-overlay te bekijken. De meegeleverde video/test.mp4 is Hailo's officiële classifier-democlip (example.mp4, een straatscène met auto's en mensen).

USB-cameramodus

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --camera_id 0

REST API

Elke variant heeft een eigen endpoint:

VariantEndpoint
ResNet v1-18POST /api/models/resnet_v1_18/predict
ResNet v1-34POST /api/models/resnet_v1_34/predict
ResNet v1-50POST /api/models/resnet_v1_50/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/resnet_v1_18/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Retourneert predictions-items met de ImageNet-klassenaam, een kort label en de confidence. iou wordt hergebruikt als het Top-K-aantal voor API-pariteit met de detectiemodules.

Implementatienotities

  • Elke HEF levert één scorevector met 1000 waarden; softmax en argmax zijn in de compilatie uitgeschakeld, dus de host voert softmax en Top-K uit.
  • De voorbewerking bestaat uit een eenvoudige resize naar 224×224 en BGR→RGB; de ImageNet mean/std-normalisatie is in de HEF gecompileerd. Er wordt geen letterbox gebruikt.
  • De livepreview vlakt de waarschijnlijkheidsvector af (0.6 vorige + 0.4 huidige) om flikkerende labels te voorkomen en tekent vervolgens het Top-K-paneel.
  • De invoergrootte van de HEF wordt bij het opstarten uitgelezen (224×224).

Ontwikkelnotities

  • Bronnen: src/rpi5_hailo8_resnet_v1_{18,34,50}/
  • Dockerfiles: docker/hailo8/resnet_v1_{18,34,50}.dockerfile
  • Containers: ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_{18,34,50}:latest
  • HEF's: Hailo Model Zoo v2.20.0 (hailo8), groottes en SHA256 vastgelegd in de model/README.md van elke module
  • Demovideo: https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (van hailo-ai/hailo-apps, MIT)

Invoer en uitvoer

Invoer: afbeelding, video of USB-cameraframe. Uitvoer: Top-K ImageNet-klassen en betrouwbaarheid.