Ollama 入門

# Ollama をダウンロードしてインストール
curl -fsSL https://ollama.com/install.sh | sh

# Ollama バージョンをチェック
ollama --version

# サービスが実行されているかチェック
systemctl status ollama

# 例
ollama run qwen3.5:2b

What is NVIDIA Jetson?

# Qwen3.5 - 画像とテキストを理解
ollama run qwen3.5:2b
#画像ファイルを指定して、画像の内容を描述してもらいます。
What can you see in /home/seeed/test.jpg

# シンプルなテキスト生成
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:2b",
  "prompt": "What is edge computing?",
  "stream": false
}'

import requests

def chat_with_ollama(prompt, model="qwen3.5:2b"):
    """Ollama にプロンプトを送信して応答を取得します。"""
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "stream": False
        }
    )
    return response.json()["response"]

# 使用例
response = chat_with_ollama("Write a simple Python function to calculate factorial")
print(response)

# openai sdk をインストール
pip install openai

from openai import OpenAI

# ローカル Ollama に接続
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="not-needed"  # Ollama は API キーを必要としません
)

response = client.chat.completions.create(
    model="qwen3.5:4b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain quantum computing in simple terms."}
    ]
)

print(response.choices[0].message.content)

pip install ollama
git clone https://github.com/Seeed-Projects/reComputer-Jetson-for-Beginners
cd reComputer-Jetson-for-Beginners/5-Offline-Large-Model-Development/code
python vlm_object_detector.py

# Open WebUI イメージをプル
docker pull ghcr.io/open-webui/open-webui:main

# データディレクトリを作成
sudo mkdir -p /opt/seeed/open-webui/data

# コンテナを実行
docker run -d \
  --restart always \
  --name open-webui \
  --network host \
  -v /opt/seeed/open-webui/data:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  ghcr.io/open-webui/open-webui:main

# コンテナの状態をチェック
docker logs -f open-webui

# インターネット接続を確認
ping google.com

# 詳細出力で再試行
OLLAMA_DEBUG=1 ollama pull llama3.2:3b

# 利用可能なメモリをチェック
free -h

# swap を増加（まだ設定されていない場合）
sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# より小さいモデルを使用
ollama run qwen3.5:2b

# より小さいモデルを使用
ollama run qwen3.5:0.8b

# コンテキストウィンドウを削減
ollama run qwen3.5:0.8b --num-ctx 2048

# GPU が使用されていることを確認（推論中に nvidia-smi をチェック）

# Ollama を手動で開始
ollama serve &

# またはバックグラウンドで実行
nohup ollama serve > ollama.log 2>&1 &