Inferencia de alto rendimiento con vLLM

Introducción

vLLM es un motor de servicio LLM de alto rendimiento diseñado para despliegues en producción. Mientras que Ollama y llama.cpp son excelentes para uso individual, vLLM destaca cuando necesitas servir LLMs como backend de API con alto rendimiento y gestión eficiente de memoria.

Piénsalo de esta manera:

  • Ollama/llama.cpp = herramientas de desarrollo personal (usuario único)
  • vLLM = servidor de producción (múltiples usuarios, alto rendimiento)

vllm

Instalación

NVIDIA Jetson AI Lab proporciona imágenes Docker optimizadas oficialmente y recetas de modelos curadas para vLLM en Jetson Orin — todas las dependencias están pre-construidas y probadas, sin conflictos de versiones.

Paso 1: Descargar la imagen Docker de vLLM

bash
sudo docker pull ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin

Paso 2: Iniciar un servidor de modelos

bash
sudo docker run -it --rm --pull always \
  --runtime=nvidia --network host \
  -e HF_ENDPOINT=https://hf-mirror.com \
  -v $HOME/.cache/huggingface:/root/.cache/huggingface \
  ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin \
  vllm serve cyankiwi/Qwen3.5-4B-AWQ-4bit \
  --gpu-memory-utilization 0.8 \
  --enable-prefix-caching \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

Paso 3: Probar la API

Una vez que el servidor esté en marcha (verás Uvicorn running on http://0.0.0.0:8000), abre una nueva terminal y prueba:

bash
# Listar modelos disponibles
curl http://localhost:8000/v1/models

# Enviar una solicitud de chat
curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "cyankiwi/Qwen3.5-4B-AWQ-4bit",
    "messages": [{"role": "user", "content": "What is edge computing?"}]
  }'

vllm-test

Prueba más modelos

Todos los siguientes están verificados y listos para ejecutar en Jetson Orin con la misma imagen Docker. Solo cambia el nombre del modelo en el comando anterior:

ModeloComando
Qwen3.5 2Bvllm serve Qwen/Qwen3.5-2B
Qwen3.5 9Bvllm serve Qwen/Qwen3.5-9B
Qwen3 8Bvllm serve Qwen/Qwen3-8B
Gemma 4 E4Bvllm serve google/gemma-4-E4B-it
Gemma 4 E2Bvllm serve google/gemma-4-E2B-it
Gemma 3 4Bvllm serve google/gemma-3-4b-it
Gemma 4 26B-A4B (AWQ)vllm serve cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit
Nemotron Nano 9B v2vllm serve nvidia/Nemotron-Nano-9B-v2
Nemotron3 Nano 30B-A3Bvllm serve nvidia/Nemotron3-Nano-30B-A3B

Los modelos más grandes (Qwen3.5 9B+) o los modelos cuantizados AWQ necesitan más VRAM. En Orin Nano 8GB, usa modelos 2B–4B. En Orin NX 16GB o AGX Orin 32GB/64GB, puedes ejecutar modelos 8B–30B (MoE) cómodamente.

Explora la lista completa y copia comandos listos para ejecutar en: jetson-ai-lab.com/models

Ejemplos en Python

Chat básico

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="Qwen/Qwen3.5-2B",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain edge computing in 3 sentences."}
    ],
    temperature=0.7,
    max_tokens=150
)

print(response.choices[0].message.content)

Respuestas en streaming

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

stream = client.chat.completions.create(
    model="Qwen/Qwen3.5-2B",
    messages=[{"role": "user", "content": "Write a haiku about robots."}],
    stream=True,
    max_tokens=100
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

vllm-stream

Referencias

Siguiente: Continúa a Módulo 5.5: Inicio rápido de ejemplos de Jetson para desplegar LLMs con un solo comando!