Une interface vocale utile doit ressembler à une conversation, plutôt qu’à un enregistrement qu’il faut laisser finir avant de reprendre la parole. Ce projet crée un terminal vocal en périphérie qui écoute, répond par un haut-parleur et arrête sa réponse dès que l’utilisateur prend la parole pendant sa lecture.
La reconnaissance et la synthèse vocales s’exécutent sur l’appareil. Selon le matériel et les exigences de confidentialité, le modèle de conversation peut utiliser un service cloud compatible avec OpenAI ou fonctionner localement. Ce même projet convient ainsi aux guichets, aux expositions, aux bornes, aux terminaux de pièces intelligentes et aux interfaces vocales de robots.
Qu’est-ce qui distingue ce projet ?
La fonction essentielle est la prise de parole interruptive : le microphone continue de capturer l’audio traité pendant que le haut-parleur diffuse une réponse. Dès que le système détecte une nouvelle prise de parole, il interrompt la lecture et écoute la demande suivante.
Cette fonction nécessite un réseau de microphones doté d’une annulation d’écho acoustique (AEC) matérielle. Sans AEC, le son du haut-parleur peut revenir dans le microphone et être pris pour la voix de l’utilisateur. reSpeaker XVF3800 est le choix par défaut validé, car il fournit un canal de capture USB traité par AEC.
Le traitement vocal reste également proche de l’utilisateur :
- La reconnaissance automatique de la parole (ASR) s’exécute sur l’hôte vocal.
- La synthèse vocale (TTS) s’exécute sur l’hôte vocal.
- L’agent vocal résident gère l’écoute, les interruptions, la conversation et la lecture.
- Seule la demande de conversation doit quitter l’appareil lorsqu’un LLM cloud est sélectionné.
- Une configuration entièrement locale permet de conserver le traitement vocal et conversationnel sur site.
Fonctionnement du système
Le réseau de microphones envoie l’audio traité par AEC à l’hôte vocal par USB. L’hôte détecte la parole, la convertit en texte, transmet ce texte au modèle de conversation choisi, puis transforme la réponse en audio diffusé par le haut-parleur connecté à la sortie 3.5 mm du reSpeaker.
Le schéma représente le cheminement logique de l’audio. Pour la configuration matérielle de ce guide, connectez le haut-parleur à la sortie 3.5 mm du reSpeaker XVF3800.
| Étape | Rôle |
|---|---|
| Capture sur site | Un réseau de microphones USB capture la parole et supprime matériellement l’écho de lecture. |
| Hôte vocal | Le reComputer exécute ASR, TTS, la détection d’activité vocale et l’agent conversationnel. |
| Modèle de conversation | Un service compatible avec OpenAI ou un LLM local génère la réponse. |
| Lecture | Un haut-parleur connecté à la sortie 3.5 mm du reSpeaker XVF3800 diffuse la réponse synthétisée. |
| Interruption | Une nouvelle prise de parole interrompt la réponse actuelle et lance un autre tour de conversation. |
L’implémentation open source est disponible dans OpenVoiceStream. Elle fournit des moteurs vocaux adaptés aux appareils, tout en conservant une application conversationnelle et des interfaces de service cohérentes sur les hôtes pris en charge.
Choisir une option de déploiement
LLM cloud ou compatible avec OpenAI
C’est l’option la plus simple pour la plupart des déploiements. ASR et TTS restent sur l’hôte vocal, tandis que le texte reconnu est envoyé à Qwen API ou à un autre service compatible avec OpenAI. Vous fournissez l’URL de base, la clé API et l’ID du modèle pendant le déploiement.
Choisissez cette option si vous souhaitez un large choix de modèles, si tout le texte des conversations ne doit pas nécessairement rester sur site ou si l’hôte n’a pas assez de capacité pour exécuter simultanément les services vocaux et un LLM local.
Conversation entièrement locale
Choisissez une configuration locale lorsque l’audio et le texte doivent rester sur l’appareil, ou lorsque le terminal doit fonctionner sans connexion permanente à internet. Dans ce guide, la configuration entièrement locale utilise reComputer RK3588 avec un accélérateur RK1828/RM182X pour Qwen3-4B. Aucune clé API cloud n’est nécessaire.
Le premier déploiement nécessite tout de même internet pour récupérer les images de conteneur et les fichiers du modèle. Une fois ces éléments en cache, la configuration locale peut fonctionner hors ligne.
Choisir l’hôte vocal
Voici les options SenseCraft Solution présentées dans ce guide :
| Option de conversation | Appareil | Lieu d’exécution du modèle de conversation |
|---|---|---|
| LLM cloud ou compatible avec OpenAI | reComputer RK3576 | Cloud ou autre service compatible ; ASR et TTS restent sur le RK3576 |
| LLM cloud ou compatible avec OpenAI | reComputer RK3588 | Cloud ou autre service compatible ; ASR et TTS restent sur le RK3588 |
| Conversation entièrement locale | reComputer RK3588 + RK1828/RM182X | Sur l’accélérateur local, avec les services vocaux du RK3588 |
Sélectionnez une langue de conversation prise en charge par l’appareil choisi. La langue est définie au déploiement et l’application sélectionne les modèles vocaux correspondants.
Prérequis
Matériel
- Un reComputer RK3576 ou RK3588 pour l’option cloud, ou un RK3588 avec une carte RK1828/RM182X pour l’option entièrement locale.
- Un réseau de microphones USB proposant un canal de capture traité par AEC. reSpeaker XVF3800 est le choix par défaut validé.
- Un haut-parleur connecté à la sortie 3.5 mm du reSpeaker XVF3800.
Réseau et accès aux services
- Un accès réseau depuis l’ordinateur de déploiement vers l’hôte vocal.
- Un accès internet au premier déploiement pour les images et les fichiers du modèle.
- Un accès permanent à internet et à l’API si vous utilisez un modèle de conversation cloud.
- L’URL de base, la clé API et l’ID du modèle pour un service personnalisé compatible avec OpenAI.
Brancher le matériel
- Connectez le reSpeaker XVF3800 au reComputer par USB.
- Branchez le haut-parleur sur la sortie 3.5 mm du reSpeaker.
- Pour l’option entièrement locale, installez la carte RK1828/RM182X dans l’hôte RK3588 et connectez son alimentation indépendante de 12 V.
Consultez le modèle de référence pour les exigences matérielles.
Mise en service
1. Installer et ouvrir SenseCraft Solution
Accédez au centre de téléchargement SenseCraft, recherchez SenseCraft Solution et téléchargez le programme d’installation adapté au système d’exploitation de votre ordinateur. Installez et ouvrez l’application.
2. Trouver la solution d’IA vocale
Sur la page Solutions, faites défiler jusqu’à IA vocale conversationnelle avec interruption et ouvrez sa carte.
Sur la page de la solution, cliquez sur Démarrer le déploiement.
3. Choisir le mode de déploiement et l’appareil
Sélectionnez LLM cloud ou compatible avec OpenAI pour reComputer RK3576 ou RK3588. Sélectionnez Conversation entièrement locale pour reComputer RK3588 avec une carte RK1828/RM182X. Dans le sélecteur d’appareil, choisissez le matériel connecté.
4. Saisir les paramètres de connexion et de conversation
Pour un déploiement cloud, saisissez le nom d’hôte ou l’adresse IP de l’hôte vocal, le nom d’utilisateur et le mot de passe SSH, ainsi que la langue de conversation. Entrez la clé API du modèle. Si vous utilisez un fournisseur personnalisé compatible avec OpenAI, vérifiez également l’URL de base et l’ID du modèle. Utilisez Tester la connexion pour vérifier l’accès à l’hôte.
Pour un déploiement entièrement local, saisissez le nom d’hôte ou l’adresse IP du RK3588, le nom d’utilisateur et le mot de passe SSH, ainsi que la langue de conversation. Le modèle local s’exécute sur la carte RK1828/RM182X : aucune clé API cloud n’est nécessaire. Vérifiez l’alimentation indépendante de 12 V, le pilote et le nœud de périphérique de la carte, puis sélectionnez Tester la connexion.
5. Déployer la solution
Cliquez sur Déployer maintenant et attendez que SenseCraft Solution installe les services et prépare automatiquement les modèles vocaux. Le premier déploiement télécharge les images de conteneur et les fichiers du modèle ; gardez donc l’appareil connecté à internet jusqu’à la fin.
6. Ouvrir la Web UI et tester une conversation
Une fois le déploiement réussi, ouvrez la Web UI de l’hôte vocal sur le port 18000. Pour le kit de développement RK3588 présenté ici, utilisez http://recomputer-rk3588-devkit.local:18000. Si ce nom ne peut pas être résolu sur votre réseau, utilisez http://<device-ip>:18000 avec l’adresse IP de l’appareil.
Parlez au microphone et écoutez la réponse sur le haut-parleur connecté au reSpeaker. Reprenez ensuite la parole pendant une réponse pour vérifier que le terminal s’arrête de parler et écoute la nouvelle demande.