使いやすい音声インターフェースは、再生が終わるまで話せない録音ではなく、会話のように使えるべきです。このプロジェクトでは、音声を聞き取り、スピーカーで応答し、ユーザーが話し始めるとすぐに応答を止めるエッジ音声端末を構築します。
音声認識と音声合成はエッジデバイス上で実行します。ハードウェアとプライバシー要件に応じて、対話モデルには OpenAI 互換のクラウドエンドポイントまたはローカルモデルを選べます。同じプロジェクトをサービス窓口、展示、自動案内端末、スマートルーム端末、ロボットの音声インターフェースに利用できます。
このプロジェクトの特徴
中心となる機能は**割り込み（バージイン）**です。スピーカーで応答を再生している間も、マイクは処理済みの音声を取り込み続けます。新しい発話を検出すると再生を中断し、次の要求を聞き取ります。
この動作には、ハードウェアの音響エコーキャンセル（AEC）を備えたマイクアレイが必要です。AEC がない場合、スピーカーの音がマイクに入り、ユーザーの声と誤認される可能性があります。reSpeaker XVF3800 は AEC 処理済みの USB 入力チャンネルを提供するため、検証済みの既定の機器です。
音声処理もユーザーの近くで行います。
- 自動音声認識（ASR）は音声ホストで実行します。
- 音声合成（TTS）は音声ホストで実行します。
- 常駐の音声エージェントが聞き取り、割り込み、対話、再生を管理します。
- クラウド LLM を選んだ場合、デバイス外に送る必要があるのは対話要求だけです。
- 完全ローカルのプリセットでは、音声と対話の処理を現場内に留められます。
システムの仕組み
マイクアレイは AEC 処理済みの音声を USB で音声ホストに送ります。ホストは発話を検出して文字に変換し、選択した対話モデルに送信します。その応答を音声に戻し、reSpeaker の 3.5 mm 出力に接続したスピーカーから再生します。
図は論理的な音声の流れを示しています。このガイドのハードウェア構成では、スピーカーを reSpeaker XVF3800 の 3.5 mm 出力に接続してください。
| 段階 | 役割 |
|---|---|
| 現場での収音 | USB マイクアレイが発話を取り込み、ハードウェアで再生音のエコーを除去します。 |
| 音声ホスト | reComputer が ASR、TTS、音声区間検出、対話エージェントを実行します。 |
| 対話モデル | OpenAI 互換のエンドポイントまたはローカル LLM が応答を生成します。 |
| 再生 | reSpeaker XVF3800 の 3.5 mm 出力に接続したスピーカーが合成音声を再生します。 |
| 割り込み | ユーザーの新しい発話が現在の応答を中断し、次の会話を始めます。 |
オープンソースの実装は OpenVoiceStream で公開されています。デバイスごとの音声バックエンドを提供しながら、対応ホスト間で対話アプリケーションとサービスインターフェースを共通化しています。
デプロイ方法を選ぶ
クラウドまたは OpenAI 互換 LLM
多くの導入で最も簡単な方法です。ASR と TTS は音声ホストに残し、認識した文字を Qwen API または別の OpenAI 互換エンドポイントに送ります。デプロイ時にエンドポイントのベース URL、API キー、モデル ID を指定します。
幅広いモデルを選びたい場合、会話の文字情報をすべて現場内に留める必要がない場合、またはホストの処理能力が音声処理とローカル LLM の同時実行に足りない場合に適しています。
完全ローカルの対話
音声と会話の文字情報をデバイス内に留める必要がある場合や、継続的なインターネット接続なしで端末を使う場合は、ローカルプリセットを選びます。この手順では、reComputer RK3588 と RK1828/RM182X アクセラレーターで Qwen3-4B を実行します。クラウド API キーは不要です。
初回のデプロイでは、コンテナーイメージとモデルファイルを取得するためにインターネット接続が必要です。取得したファイルをキャッシュした後は、ローカルプリセットをオフラインで実行できます。
音声ホストを選ぶ
このガイドで扱う SenseCraft Solution の選択肢は次のとおりです。
| 対話方式 | デバイス | 対話モデルの実行場所 |
|---|---|---|
| クラウドまたは OpenAI 互換 LLM | reComputer RK3576 | クラウドまたは互換エンドポイント。ASR と TTS は RK3576 上で実行 |
| クラウドまたは OpenAI 互換 LLM | reComputer RK3588 | クラウドまたは互換エンドポイント。ASR と TTS は RK3588 上で実行 |
| 完全ローカルの対話 | reComputer RK3588 + RK1828/RM182X | ローカルアクセラレーター上で実行し、RK3588 の音声処理と連携 |
選択したデバイスが対応する対話言語を選んでください。言語はデプロイ時に設定し、アプリケーションが対応する音声モデルを選択します。
必要なもの
ハードウェア
- クラウド方式では reComputer RK3576 または RK3588、完全ローカル方式では RK1828/RM182X カードを搭載した RK3588。
- AEC 処理済みの入力チャンネルを提供する USB マイクアレイ。reSpeaker XVF3800 が検証済みの既定の機器です。
- reSpeaker XVF3800 の 3.5 mm 出力に接続するスピーカー。
ネットワークとサービスへのアクセス
- デプロイ用コンピューターから音声ホストへのネットワーク接続。
- 初回デプロイでイメージとモデルファイルを取得するためのインターネット接続。
- クラウド対話モデルを使う場合は、継続的なインターネット接続と API へのアクセス。
- 独自の OpenAI 互換エンドポイントを使う場合は、ベース URL、API キー、モデル ID。
ハードウェアを接続する
- reSpeaker XVF3800 を USB で reComputer に接続します。
- スピーカーを reSpeaker の 3.5 mm 出力に接続します。
- 完全ローカル方式では、RK1828/RM182X カードを RK3588 ホストに取り付け、カード専用の 12 V 電源を接続します。
デバイス要件はリファレンスデザインを参照してください。
実行手順
1. SenseCraft Solution をインストールして開く
SenseCraft ダウンロードセンターで SenseCraft Solution を探し、コンピューターの OS に合ったインストーラーをダウンロードします。インストール後、アプリケーションを開きます。
2. 音声 AI ソリューションを探す
ソリューションページを下にスクロールし、割り込み対応の対話音声 AI のカードを開きます。
ソリューションのページでデプロイを開始をクリックします。
3. デプロイモードとデバイスを選ぶ
reComputer RK3576 または RK3588 ではクラウドまたは OpenAI 互換 LLM を選びます。RK1828/RM182X カードを搭載した reComputer RK3588 では完全ローカルの対話を選びます。デバイス選択欄で、接続したハードウェアを選択します。
4. 接続と対話の設定を入力する
クラウドデプロイでは、音声ホストのホスト名または IP アドレス、SSH ユーザー名とパスワード、対話言語を入力します。対話モデルの API キーも入力してください。独自の OpenAI 互換プロバイダーを使う場合は、ベース URL とモデル ID も確認します。接続をテストでホストに接続できるか確認します。
完全ローカルのデプロイでは、RK3588 ホストのホスト名または IP アドレス、SSH ユーザー名とパスワード、対話言語を入力します。モデルは RK1828/RM182X カード上で実行されるため、クラウド API キーは不要です。カード専用の 12 V 電源、ドライバー、デバイスノードを確認してから、接続をテストを選びます。
5. ソリューションをデプロイする
今すぐデプロイをクリックし、SenseCraft Solution がサービスをインストールし、音声モデルを自動で準備するのを待ちます。初回はコンテナーイメージとモデルファイルをダウンロードするため、完了するまでデバイスをインターネットに接続しておいてください。
6. Web UI を開いて会話を試す
デプロイが成功したら、ポート 18000 で音声ホストの Web UI を開きます。ここで使用する RK3588 開発キットでは http://recomputer-rk3588-devkit.local:18000 を使います。ネットワークでホスト名を解決できない場合は、http://<device-ip>:18000 にデバイスの IP アドレスを指定してください。
マイクに話しかけ、reSpeaker に接続したスピーカーから応答が聞こえることを確認します。その後、応答の再生中にもう一度話しかけ、端末が発話を止めて新しい要求を聞き取るか確認してください。