Pular para o conteúdo
EntrarCriar minha VPS

CPU vs GPU para inferência de IA

GPU é 10 a 100× mais rápida que CPU para inferência de LLMs, mas a vantagem só é prática para modelos grandes (7B+) ou quando a latência importa. Para modelos pequenos (até 3B), embeddings, ou uso esporádico com tempo de resposta de segundos sendo aceitável, uma VPS com CPU é muito mais barata e suficiente.

Por que GPU é mais rápida para LLMs

Modelos de linguagem fazem operações de multiplicação de matrizes massivas em paralelo. GPUs têm milhares de núcleos otimizados para esse tipo de computação (ex.: A100 tem 6.912 núcleos CUDA). CPUs têm 4–128 núcleos de propósito geral, muito melhores em tarefas sequenciais, muito piores em paralelismo denso de álgebra linear.

Benchmarks práticos: tokens/segundo CPU vs GPU

Velocidades aproximadas para o Llama 3.1 8B em quantização Q4, com uma requisição simultânea:

Quando CPU é suficiente

CPU resolve bem os seguintes casos:

Quando GPU é necessário

Invista em GPU quando:

Custo comparado: VPS CPU vs GPU Pod na Runstack

O modelo de cobrança é diferente, GPU Pod é por hora, VPS é mensal:

Não quer configurar manualmente?

Implante o Ollama em menos de 5 minutos com a Runstack. Infraestrutura da OPEN Datacenter, com servidores em São Paulo.

Criar minha VPSVer apps prontos

Perguntas frequentes

Sim. Modelos de embedding (como nomic-embed-text ou all-MiniLM-L6-v2) são muito menores e mais rápidos que LLMs. Uma VPS Pro processa centenas de embeddings por segundo em CPU, GPU não é necessária para a maioria dos casos de uso de embedding.

Sim. Se o modelo não cabe na VRAM, o Ollama carrega parte das camadas em RAM/CPU automaticamente. A velocidade é proporcional à fração em CPU. Com 50% das camadas em CPU, espere cerca de 50% menos tokens/seg em relação à GPU pura.

Em geral não, modelos pequenos como Phi-3 Mini (3.8B Q4 ~2 GB) já geram 8–15 tokens/seg em CPU moderna, o que é aceitável para chatbots. O custo de GPU Pod não se justifica para velocidades assim.

T4 (16 GB VRAM): boa para modelos até 13B em Q4. A100 80GB: necessária para 70B em Q4 e permite rodar 7B com contextos longos e maior throughput. Para a maioria dos casos com modelos 7–13B, T4 já é suficiente.

Sim, esse é o fluxo padrão. Treine ou faça fine-tuning no GPU Pod (cobrado por hora, apenas durante o treino), salve os pesos e sirva o modelo quantizado (Q4) em VPS com CPU ou T4 para produção.

Continue lendo