Jetson 示例快速入门

# 通过 pip 安装 jetson-examples
pip3 install jetson-examples

# 验证安装
reComputer --help

# 安装 Docker（如果尚未安装）
sudo apt-get update
sudo apt-get install -y docker.io

# 将用户添加到 docker 组（需要注销/重新登录）
sudo usermod -aG docker $USER

# 验证 Docker
docker --version

# 使用 Docker 部署 Ollama
reComputer run ollama

# 进入 Docker 容器
docker exec -it ollama bash

# 拉取并运行模型
ollama run llama3.2:3b

# 部署 LLaVA 用于图像理解
reComputer run llava-v1.5-7b

# 部署 text-generation-webui (Oobabooga)
reComputer run text-generation-webui

# 部署 OpenAI Whisper 用于语音转文本
reComputer run whisper

reComputer run ollama

# 检查运行中的容器
docker ps

# 进入 Ollama 容器
docker exec -it ollama ollama pull llama3.2:3b

# 测试聊天 API
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2:3b",
  "messages": [
    {"role": "user", "content": "What can you help me with?"}
  ],
  "stream": false
}'

import requests

def chat_with_model(user_message, model="llama3.2:3b"):
    response = requests.post(
        "http://localhost:11434/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": user_message}],
            "stream": False
        }
    )
    return response.json()["message"]["content"]

# 交互式聊天
while True:
    user_input = input("You: ")
    if user_input.lower() in ['quit', 'exit', 'q']:
        break
    response = chat_with_model(user_input)
    print(f"AI: {response}\n")

# 列出运行中的容器
docker ps

# 列出所有容器（包括已停止的）
docker ps -a

# 查看容器日志
docker logs <container-name>

# 停止容器
docker stop <container-name>

# 重启容器
docker restart <container-name>

# 删除容器
docker rm <container-name>

# 进入运行中的容器
docker exec -it <container-name> bash

# 监控容器资源使用
docker stats

# 检查磁盘使用
docker system df

# 示例：为 Ollama 设置模型参数
docker run -d \
  --name ollama \
  --gpus all \
  -e OLLAMA_HOST=0.0.0.0:11434 \
  -p 11434:11434 \
  ollama/ollama:latest

# 挂载本地目录用于模型存储
docker run -d \
  --name ollama \
  --gpus all \
  -v /path/to/models:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama:latest

# 绑定到所有接口（不仅仅是本地主机）
docker run -d \
  --name ollama \
  --gpus all \
  -p 0.0.0.0:11434:11434 \
  ollama/ollama:latest

# 验证容器中的 GPU 访问
docker exec -it <container-name> nvidia-smi

# 限制容器内存（可选，用于多容器设置）
docker run -d \
  --name ollama \
  --gpus all \
  --memory=12g \
  --memory-swap=16g \
  ollama/ollama:latest

# 将用户添加到 docker 组
sudo usermod -aG docker $USER

# 注销并重新登录以使更改生效
# 或在当前会话中运行：
newgrp docker

# 检查容器日志中的错误
docker logs <container-name>

# 检查可用资源
free -h
df -h
nvidia-smi

reComputer run llama-factory

reComputer run live-vlm-webui

reComputer run deep-live-cam