Pular para o conteúdo
EntrarCriar minha VPS

Quanta VRAM cada modelo open-source precisa

A VRAM necessária para um modelo LLM depende do número de parâmetros e da precisão utilizada. Regra geral: multiplique os parâmetros em bilhões por 2 para fp16 (ex.: 7B × 2 = 14 GB). Com quantização Q4, divida esse valor por 4 (ex.: 7B → ~3,5–5 GB na prática, com overhead). Modelos grandes como 70B só são viáveis em GPU com quantização Q4.

Fórmula de cálculo

A estimativa de VRAM para inferência (não treino) segue esta regra:

Tabela: modelos populares × VRAM mínima

Valores aproximados para inferência com batch size 1 (uma requisição por vez). Varia com versão do modelo e implementação:

Quantização: Q4, Q8: trade-offs práticos

Quantização reduz o uso de memória comprimindo os pesos do modelo. A qualidade de saída cai levemente, mas na maioria dos casos o impacto é imperceptível para uso geral:

GPU recomendada por faixa de modelo

Na Runstack, GPU Pods com T4 e A100 estão disponíveis para workloads de inferência:

Não quer configurar manualmente?

Implante o Ollama em menos de 5 minutos com a Runstack. Infraestrutura da OPEN Datacenter, com servidores em São Paulo.

Criar minha VPSVer apps prontos

Perguntas frequentes

Sim, com CPU offloading: as camadas que não cabem na VRAM são processadas na RAM. O Ollama faz isso automaticamente. A performance cai proporcionalmente à quantidade de camadas em CPU, mas o modelo funciona.

Sim, especialmente com contextos longos. Um modelo 7B com contexto de 4K tokens usa ~1 GB de KV cache; com 32K tokens, ~8 GB extras. Para RAG com documentos longos, considere limitar o contexto ou usar GPU com mais VRAM.

Q4_K_M é uma variante de quantização em 4 bits que preserva melhor as camadas de atenção (K) e MLP (M) do modelo, reduzindo a perda de qualidade. O Ollama usa Q4_K_M por padrão para modelos Llama e Mistral.

Dois modelos 7B Q4 (~4–5 GB cada) cabem juntos em 16 GB de VRAM com alguma folga. O Ollama faz hot-swapping automático, carrega o modelo solicitado e descarrega o anterior. Para múltiplos modelos simultâneos, veja a flag OLLAMA_MAX_LOADED_MODELS.

Sem GPU, o Ollama usa RAM do sistema para processar o modelo em CPU. Modelos Q4 de 7B precisam de ~8 GB RAM livre. A velocidade é 5–20× menor que GPU, mas funciona para desenvolvimento, testes e cargas baixas de produção.

Continue lendo