CV / ResNet

ResNet v1

reComputer R Series (CM5 + Hailo-8)

Classification ImageNet avec ResNet v1-18/v1-34/v1-50 sur reComputer série R avec Hailo-8 ou Hailo-10H.

9 téléchargements
Taille
12.5 MB
Mémoire
4GB+
Précision
Hailo HEF

Choisissez l'appareil que vous utilisez. Le guide de configuration et la documentation seront mis à jour en conséquence.

Pour commencer

Déployer
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

Détails du modèle

reComputer R Series (CM5 + Hailo-8)

Classification ImageNet ResNet v1-18/v1-34/v1-50 sur reComputer R Series (CM5 + Hailo-8)

ResNet v1-18/v1-34/v1-50 classifient 1000 classes ImageNet sur Hailo-8 via HailoRT 4.23. Chaque HEF prend en entrée une image RGB 224×224 et renvoie 1000 scores ; l'hôte applique softmax, lisse les scores dans le temps et superpose un panneau Top-K sur l'aperçu MJPEG. Les trois variantes partagent le même service web et la même vidéo de démonstration officielle Hailo.

Informations du modèle

VarianteEntréeHEF empaquetéTop-1 float / Hailo-8Paramètres / OpérationsConteneur
ResNet v1-18224×224×3 RGB12.5 MB71.3 / 71.111.68M / 3.64Gresnet_v1_18
ResNet v1-34224×224×3 RGB15.7 MB72.7 / 72.221.79M / 7.34Gresnet_v1_34
ResNet v1-50224×224×3 RGB18.0 MB75.2 / 74.725.53M / 6.98Gresnet_v1_50

Matériel et configuration de l'hôte

ÉlémentValeur
CartereComputer R Series avec Raspberry Pi CM5
AccélérateurHailo-8 via PCIe, exposé sous /dev/hailo0
RuntimeHailoRT 4.23.x (l'hôte et le conteneur doivent partager major.minor)
Python dans le conteneur3.11, aarch64
bash
sudo apt update
sudo apt install hailo-all -y
sudo reboot

# After reboot
hailortcli fw-control identify
ls /dev/hailo0

# Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
sudo systemctl enable docker
sudo systemctl start docker

Exécution avec la vidéo de démonstration

Sélectionnez la commande correspondant à la variante du modèle.

ResNet v1-18

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --video_path video/test.mp4

ResNet v1-34

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-34 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_34:latest \
  python web_detection.py --model_path model/resnet_v1_34.hef --video_path video/test.mp4

ResNet v1-50

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-50 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_50:latest \
  python web_detection.py --model_path model/resnet_v1_50.hef --video_path video/test.mp4

Ouvrez http://<Board_IP>:8000 pour afficher la superposition Top-K. La vidéo video/test.mp4 fournie est le clip de démonstration officiel du classifieur Hailo (example.mp4, une scène de rue avec des voitures et des personnes).

Mode caméra USB

bash
sudo docker run --rm \
  --name pi5-hailo8-resnet-v1-18 \
  --privileged \
  --net=host \
  -e PYTHONUNBUFFERED=1 \
  --device /dev/hailo0:/dev/hailo0 \
  --device /dev/video0:/dev/video0 \
  -v /usr/lib/libhailort.so.4.23.0:/usr/lib/libhailort.so.4.23.0:ro \
  -v /usr/lib/libhailort.so:/usr/lib/libhailort.so:ro \
  ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_18:latest \
  python web_detection.py --model_path model/resnet_v1_18.hef --camera_id 0

API REST

Chaque variante dispose de son propre point d'accès :

VariantePoint d'accès
ResNet v1-18POST /api/models/resnet_v1_18/predict
ResNet v1-34POST /api/models/resnet_v1_34/predict
ResNet v1-50POST /api/models/resnet_v1_50/predict
bash
curl -X POST "http://<Board_IP>:8000/api/models/resnet_v1_18/predict" \
  -F "file=@test.jpg" -F "conf=0.30" -F "iou=5"

Renvoie des entrées predictions contenant le nom de classe ImageNet, un libellé court et la confiance. iou est réutilisé comme nombre de Top-K pour assurer la parité d'API avec les modules de détection.

Notes d'implémentation

  • Chaque HEF expose un unique vecteur de scores à 1000 dimensions ; softmax et argmax sont désactivés à la compilation, l'hôte exécute donc softmax et le Top-K.
  • Le prétraitement est un simple redimensionnement vers 224×224 suivi d'une conversion BGR→RGB ; la normalisation moyenne/écart-type ImageNet est compilée dans le HEF. Aucun letterbox n'est utilisé.
  • L'aperçu en direct lisse le vecteur de probabilités (0.6 précédent + 0.4 courant) pour éviter le scintillement des libellés, puis dessine le panneau Top-K.
  • La taille d'entrée du HEF est lue au démarrage (224×224).

Notes de développement

  • Sources : src/rpi5_hailo8_resnet_v1_{18,34,50}/
  • Dockerfiles : docker/hailo8/resnet_v1_{18,34,50}.dockerfile
  • Conteneurs : ghcr.io/seeed-projects/recomputer-hailo8-cv/resnet_v1_{18,34,50}:latest
  • HEF : Hailo Model Zoo v2.20.0 (hailo8), tailles et SHA256 consignés dans le model/README.md de chaque module
  • Vidéo de démonstration : https://hailo-csdata.s3.eu-west-2.amazonaws.com/resources/video/example.mp4 (issue de hailo-ai/hailo-apps, MIT)

Entrées et sorties

Entrée : image, vidéo ou flux caméra USB. Sortie : classes ImageNet Top-K et confiance.