Jetson サンプルクイックスタート

# pip で jetson-examples をインストール
pip3 install jetson-examples

# インストールを確認
reComputer --help

# Docker をインストール（まだの場合）
sudo apt-get update
sudo apt-get install -y docker.io

# ユーザーを docker グループに追加（ログアウト/ログインが必要）
sudo usermod -aG docker $USER

# Docker を確認
docker --version

# Docker で Ollama をデプロイ
reComputer run ollama

# Docker コンテナに入る
docker exec -it ollama bash

# モデルを引き引いて実行
ollama run llama3.2:3b

# 画像理解用に LLaVA をデプロイ
reComputer run llava-v1.5-7b

# text-generation-webui (Oobabooga) をデプロイ
reComputer run text-generation-webui

# 音声からテキストへの OpenAI Whisper をデプロイ
reComputer run whisper

reComputer run ollama

# 実行中のコンテナを確認
docker ps

# Ollama コンテナに入る
docker exec -it ollama ollama pull llama3.2:3b

# チャット API をテスト
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2:3b",
  "messages": [
    {"role": "user", "content": "What can you help me with?"}
  ],
  "stream": false
}'

import requests

def chat_with_model(user_message, model="llama3.2:3b"):
    response = requests.post(
        "http://localhost:11434/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": user_message}],
            "stream": False
        }
    )
    return response.json()["message"]["content"]

# インタラクティブなチャット
while True:
    user_input = input("You: ")
    if user_input.lower() in ['quit', 'exit', 'q']:
        break
    response = chat_with_model(user_input)
    print(f"AI: {response}\n")

# 実行中のコンテナをリスト
docker ps

# すべてのコンテナをリスト（停止中のものも含む）
docker ps -a

# コンテナログを表示
docker logs <container-name>

# コンテナを停止
docker stop <container-name>

# コンテナを再起動
docker restart <container-name>

# コンテナを削除
docker rm <container-name>

# 実行中のコンテナに入る
docker exec -it <container-name> bash

# コンテナのリソース使用を監視
docker stats

# ディスク使用を確認
docker system df

# 例：Ollama のモデルパラメータを設定
docker run -d \
  --name ollama \
  --gpus all \
  -e OLLAMA_HOST=0.0.0.0:11434 \
  -p 11434:11434 \
  ollama/ollama:latest

# モデルストレージにローカルディレクトリをマウント
docker run -d \
  --name ollama \
  --gpus all \
  -v /path/to/models:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama:latest

# すべてのインターフェースにバインド（localhost だけでなく）
docker run -d \
  --name ollama \
  --gpus all \
  -p 0.0.0.0:11434:11434 \
  ollama/ollama:latest

# コンテナ内の GPU アクセスを確認
docker exec -it <container-name> nvidia-smi

# コンテナメモリを制限（オプション、マルチコンテナ設定用）
docker run -d \
  --name ollama \
  --gpus all \
  --memory=12g \
  --memory-swap=16g \
  ollama/ollama:latest

# ユーザーを docker グループに追加
sudo usermod -aG docker $USER

# ログアウトして再ログインして変更を反映
# または現在のセッションで実行：
newgrp docker

# コンテナログでエラーを確認
docker logs <container-name>

# 利用可能なリソースを確認
free -h
df -h
nvidia-smi

reComputer run llama-factory

reComputer run live-vlm-webui

reComputer run deep-live-cam