Embeddings de texto rodam bem em CPU?

Sim. Modelos de embedding (como nomic-embed-text ou all-MiniLM-L6-v2) são muito menores e mais rápidos que LLMs. Uma VPS Pro processa centenas de embeddings por segundo em CPU — GPU não é necessária para a maioria dos casos de uso de embedding.

CPU offloading funciona no Ollama?

Sim. Se o modelo não cabe na VRAM, o Ollama carrega parte das camadas em RAM/CPU automaticamente. A velocidade é proporcional à fração em CPU. Com 50% das camadas em CPU, espere cerca de 50% menos tokens/seg em relação à GPU pura.

Vale a pena usar GPU para inferência de modelos menores que 3B?

Em geral não — modelos pequenos como Phi-3 Mini (3.8B Q4 ~2 GB) já geram 8–15 tokens/seg em CPU moderna, o que é aceitável para chatbots. O custo de GPU Pod não se justifica para velocidades assim.

Qual GPU é melhor: T4 ou A100 para inferência de LLMs?

T4 (16 GB VRAM): boa para modelos até 13B em Q4. A100 80GB: necessária para 70B em Q4 e permite rodar 7B com contextos longos e maior throughput. Para a maioria dos casos com modelos 7–13B, T4 já é suficiente.

Posso usar GPU para treinar e CPU para servir o modelo?

Sim — esse é o fluxo padrão. Treine ou faça fine-tuning no GPU Pod (cobrado por hora, apenas durante o treino), salve os pesos e sirva o modelo quantizado (Q4) em VPS com CPU ou T4 para produção.

IA / LLMs/Artigo

CPU vs GPU para inferência de IA

GPU é 10 a 100× mais rápida que CPU para inferência de LLMs — mas a vantagem só é prática para modelos grandes (7B+) ou quando a latência importa. Para modelos pequenos (até 3B), embeddings, ou uso esporádico com tempo de resposta de segundos sendo aceitável, uma VPS com CPU é muito mais barata e suficiente.

Por que GPU é mais rápida para LLMs

Modelos de linguagem fazem operações de multiplicação de matrizes massivas em paralelo. GPUs têm milhares de núcleos otimizados para esse tipo de computação (ex.: A100 tem 6.912 núcleos CUDA). CPUs têm 4–128 núcleos de propósito geral — muito melhores em tarefas sequenciais, muito piores em paralelismo denso de álgebra linear.

Dica

A velocidade de inferência depende também da largura de banda de memória — GPUs têm 2–10× mais bandwidth de memória que CPUs, o que importa muito para carregar os pesos do modelo durante a geração.

Benchmarks práticos: tokens/segundo CPU vs GPU

Velocidades aproximadas para o Llama 3.1 8B em quantização Q4, com uma requisição simultânea:

Dica

[VERIFICAR: benchmarks variam com versão do Ollama, driver CUDA e temperatura do hardware] VPS Pro (2 vCPU, 4 GB RAM): ~1–3 tokens/seg VPS Business (3 vCPU, 8 GB RAM): ~2–5 tokens/seg GPU T4 16GB (GPU Pod): ~35–55 tokens/seg GPU A100 80GB (GPU Pod): ~80–120 tokens/seg Para uma resposta de 300 tokens: CPU leva 60–300 segundos; GPU T4 leva 5–8 segundos.

Quando CPU é suficiente

CPU resolve bem os seguintes casos:

Dica

Modelos até 3B params (ex.: Llama 3.2 3B, Phi-3 Mini): velocidade aceitável para chatbots simples. Embeddings: gerar vetores é muito mais rápido que geração de texto — modelos de embedding rodam em CPU sem problemas. Tarefas batch offline: sumarização de documentos, extração de entidades sem tempo real. Desenvolvimento e testes: baixo custo, sem dependência de GPU.

Quando GPU é necessário

Invista em GPU quando:

Dica

Modelos 7B+: velocidade em CPU é impraticável para uso interativo em tempo real. Múltiplos usuários simultâneos: GPU processa requests em paralelo; CPU enfileira. Fine-tuning e treino: obrigatório — CPU leva dias no que GPU faz em horas. RAG com latência baixa: cada chamada ao LLM precisa retornar em < 5 segundos.

Custo comparado: VPS CPU vs GPU Pod na Runstack

O modelo de cobrança é diferente — GPU Pod é por hora, VPS é mensal:

Dica

VPS Pro (CPU): R$ 144/mês — servidor sempre ligado, ideal para produção contínua com modelos pequenos. GPU Pod T4: cobrança por hora — ideal para treino ou inferência pesada em lotes, não para servidor sempre ligado. Para um chatbot com Llama 3.2 3B em produção com tráfego baixo (< 50 usuários/dia), VPS CPU é mais econômico. Para múltiplos usuários com modelos 7B+, GPU Pod vale o custo.

$ runstack deploy --plan starter

Não quer configurar manualmente?

Não quer configurar manualmente? Implante o Ollama em menos de 3 minutos com a Runstack. Infraestrutura da OPEN DATACENTER, com servidores no Brasil.

Começar agora Ver planos e preços

Perguntas frequentes

Conteúdos relacionados

VPS com GPU para IA no Brasil →Como instalar o Ollama →Quanta VRAM cada modelo LLM precisa Como rodar o Llama 3 numa VPS Ollama vs vLLM vs LM Studio

[VERIFICAR antes de publicar]

1. Confirme os benchmarks de tokens/seg para a versão atual do Ollama — melhoram a cada release.
2. Confirme preços e disponibilidade dos GPU Pods (T4, A100) em runstack.com.br/gpu.