llama.cpp で LLM を実行する

# パッケージリストの更新
sudo apt-get update

# ビルド essentials のインストール
sudo apt-get install -y build-essential git cmake

# CUDA 環境変数を .bashrc に追加
echo '
# CUDA Environment
export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
export CUDACXX=$CUDA_HOME/bin/nvcc
' >> ~/.bashrc

# シェル設定をリロード
source ~/.bashrc

# CUDA インストールを確認
nvcc --version

# リポジトリをクローン
cd ~
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# Jetson 用の CUDA サポートでビルド
#make -j$(nproc) GGML_CUDA=1

# 代替手段：CMake を使用
mkdir build && cd build
cmake .. -DGGML_CUDA=ON
cmake --build . --config Release -j$(nproc)

# バイナリがビルドされたか確認
ls ~/llama.cpp/build/bin/llama-cli

# バージョンをテスト
~/llama.cpp/build/bin/llama-cli --version

# models ディレクトリを作成
mkdir -p ~/llama.cpp/models
cd ~/llama.cpp/models

# Llama 3.2 3B をダウンロード（Q4_K_M 量子化 - 4ビット）
wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf

# または curl を使って Hugging Face からダウンロード
huggingface-cli download bartowski/Llama-3.2-3B-Instruct-GGUF Llama-3.2-3B-Instruct-Q4_K_M.gguf --local-dir ./models

# Qwen3 4B をダウンロード（優れた多言語サポート）
wget https://huggingface.co/bartowski/Qwen3-4B-Instruct-GGUF/resolve/main/Qwen3-4B-Instruct-Q4_K_M.gguf

# DeepSeek-R1 1.5B をダウンロード（蒸留推論モデル）
wget https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf

# Gemma3 4B をダウンロード
wget https://huggingface.co/bartowski/gemma-3-4b-it-GGUF/resolve/main/gemma-3-4b-it-Q4_K_M.gguf

cd ~/llama.cpp

# 基本的な推論
./build/bin/llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -p "The future of edge AI is"

# インタラクティブなチャットセッションを開始
./build/bin/llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -cnv \
  --chat-template llama3

# 最適な GPU レイヤー数を決定
# -ngl 999 から開始（すべてのレイヤーをオフロード）
./build/bin/llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -p "Explain quantum computing" \
  -ngl 35 \
  -n 256

# パフォーマンス統計で実行
./build/bin/llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -p "What is the capital of France?" \
  -n 50 \
  -ngl 35 \
  --perf

# サーバーを起動
./llama-server \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  --host 0.0.0.0 \
  --port 8000 \
  -ngl 35 \
  -c 4096

# シンプルクエリ
curl -X POST http://localhost:8000/completion \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "Once upon a time",
    "n_predict": 100
  }'

# チャット補完
curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      {"role": "user", "content": "What is machine learning?"}
    ],
    "max_tokens": 256
  }'

./llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -p "You are a helpful coding assistant. Explain Python list comprehensions." \
  --system "You are an expert Python programmer. Provide concise, practical code examples."

# batch_inference.py
import subprocess
import json

prompts = [
    "Explain neural networks",
    "What is GPU acceleration?",
    "Describe edge computing"
]

model_path = "~/llama.cpp/models/Llama-3.2-3B-Instruct-Q4_K_M.gguf"

for prompt in prompts:
    result = subprocess.run(
        ["./llama-cli", "-m", model_path, "-p", prompt, "-n", "100", "--temp", "0.7"],
        capture_output=True,
        text=True
    )
    print(f"Prompt: {prompt}")
    print(f"Response: {result.stdout}\n")

cd ~/llama.cpp

# Python 要件をインストール
pip install -r requirements.txt

# Hugging Face モデルを GGUF に変換
python convert_hf_to_gguf.py \
  /path/to/model \
  --outfile output-model.gguf \
  --outtype q4_k_m

# Python バインディングをインストール
pip install llama-cpp-python

# CUDA サポート用（Jetson）
CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python --upgrade --force-reinstall --no-cache-dir

from llama_cpp import Llama

# モデルを読み込む
llm = Llama(
    model_path="/path/to/model-Q4_K_M.gguf",
    n_gpu_layers=35,
    n_ctx=4096
)

# テキストを生成
output = llm(
    "Q: What is the capital of France?\nA:",
    max_tokens=50,
    temperature=0.7
)
print(output["choices"][0]["text"])

# チャット補完
output = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Tell me a joke"}
    ],
    max_tokens=100
)
print(output["choices"][0]["message"]["content"])

# Jetson Orin Nano 8GB の最適な設定
./llama-cli \
  -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf \
  -p "Explain transformers in machine learning" \
  -ngl 35 \
  -t 6 \
  -c 4096 \
  -n 200 \
  --temp 0.7

#!/bin/bash
# benchmark.sh

MODEL="models/Llama-3.2-3B-Instruct-Q4_K_M.gguf"
PROMPT="Explain the concept of artificial intelligence and its applications."

echo "Benchmarking llama.cpp on Jetson"
echo "Model: $MODEL"
echo "Prompt: $PROMPT"
echo ""

for gpu_layers in 0 10 20 30 35; do
    echo "Testing with $gpu_layers GPU layers..."
    timeout 120 ./llama-cli \
        -m $MODEL \
        -p "$PROMPT" \
        -ngl $gpu_layers \
        -n 100 \
        --per-test 2>&1 | grep "eval time"
done

# CUDA で再ビルド
make clean
make -j$(nproc) GGML_CUDA=1

# CUDA インストールを確認
nvidia-smi
nvcc --version

# GPU レイヤーを削減
./llama-cli -m model.gguf -ngl 10  # -ngl 35 の代わりに

# 小さいコンテキストを使用
./llama-cli -m model.gguf -c 2048  # デフォルトの 4096 の代わりに

# より積極的な量子化を使用
# Q5_K_M から Q4_K_M または Q3_K_M に切り替え

# 更多的スレッドを有効にする
./llama-cli -m model.gguf -t 8  # 8 CPU スレッドを使用

# より小さいモデルまたはより積極的な量子化を使用

# CPU ガバナーがパフォーマンスに設定されていることを確認
sudo apt-get install cpufrequtils
sudo cpufreq-set -g performance