Pular para o conteúdo
EntrarCriar minha VPS

Como rodar o Llama 3 numa VPS

Para rodar o Llama 3 numa VPS, instale o Ollama com um curl e baixe o modelo com ollama pull, são dois comandos e o modelo já fica servindo via API. O Llama 3 8B roda em CPU com 8 GB de RAM (lento, ~2–4 tokens/seg) ou em GPU T4 com velocidade confortável (~40 tokens/seg). Para o Llama 3 70B, GPU com pelo menos 40 GB VRAM é necessário.

Requisitos mínimos por versão e hardware

O Llama 3 existe em dois tamanhos principais (8B e 70B) e roda em CPU ou GPU. Em CPU, a versão quantizada Q4 é a única prática:

Instalar o Ollama (1 comando)

O Ollama é a forma mais simples de servir o Llama 3, inclui download automático de modelos, servidor HTTP e compatibilidade com a API da OpenAI:

bash
# Instalar o Ollama no Linux (Ubuntu/Debian)
curl -fsSL https://ollama.com/install.sh | sh

# Verificar a instalação
ollama --version

# O serviço sobe automaticamente em http://localhost:11434

Baixar e rodar o Llama 3

Com o Ollama instalado, baixe o modelo e teste a geração de texto:

bash
# Baixar o Llama 3.2 3B (mais rápido, cabe em 2 GB RAM)
ollama pull llama3.2:3b

# Ou o Llama 3.1 8B (melhor qualidade, precisa de 8 GB RAM)
ollama pull llama3.1:8b

# Testar via CLI
ollama run llama3.2:3b "O que é computação em nuvem?"

# Testar via API HTTP
curl http://localhost:11434/api/generate \
  -d '{"model": "llama3.2:3b", "prompt": "O que é computação em nuvem?", "stream": false}'

Expor a API para uso externo (outras máquinas ou aplicações)

Por padrão, o Ollama só escuta em localhost. Para expor para outras aplicações ou serviços na mesma rede Docker:

bash
# Via variável de ambiente (antes de iniciar o serviço)
OLLAMA_HOST=0.0.0.0 ollama serve

# Ou configure no systemd (para inicialização automática)
sudo systemctl edit ollama.service
# Adicione dentro de [Service]:
# Environment="OLLAMA_HOST=0.0.0.0"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Integrar com aplicações via API compatível com OpenAI

O Ollama expõe endpoints compatíveis com a API da OpenAI, permitindo substituição sem alterar o código:

bash
# Usando openai-python apontando para o Ollama local
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # obrigatório mas ignorado pelo Ollama
)

response = client.chat.completions.create(
    model="llama3.2:3b",
    messages=[{"role": "user", "content": "Explique Docker em 2 linhas."}],
)
print(response.choices[0].message.content)

Não quer configurar manualmente?

Implante o Ollama em menos de 5 minutos com a Runstack. Infraestrutura da OPEN Datacenter, com servidores em São Paulo.

Criar minha VPSVer apps prontos

Perguntas frequentes

Para uso em CPU, o Llama 3.2 3B (Q4) é o melhor custo-benefício: roda em 2 GB RAM e gera ~4–8 tokens/seg em 2 vCPU. O 8B é possível mas lento. O 70B em CPU não é prático para uso interativo.

Em uma VPS Pro (2 vCPU) com Llama 3.2 3B Q4: cerca de 30–60 segundos. Com GPU T4: 5–10 segundos. Para chatbots interativos, GPU é praticamente necessário a partir do modelo 7B+.

Configure OLLAMA_HOST=0.0.0.0 para escutar em todas as interfaces, proteja com NGINX + autenticação, e acesse via https://seudominio.com/v1/chat/completions. Troque a base_url na sua aplicação.

Tecnicamente sim, com Q4 (~40 GB RAM), mas a velocidade é de 0.1–0.5 tokens/seg, inviável para uso interativo. Para o 70B, GPU A100 (80 GB) ou duas GPU A6000/A100 em paralelo são necessárias para performance aceitável.

Não. Para atualizar, rode ollama pull llama3.2:3b novamente, o Ollama baixa apenas as camadas que mudaram (incrementalmente). Depois reinicie o serviço se ele estiver carregando o modelo em memória.

Continue lendo