API Ollama vs API OpenAI: Qual das duas se Adequa ao Seu Projeto

A resposta curta

A pergunta sobre a API do Ollama versus a API OpenAI é principalmente uma questão de onde o modelo roda. Com Ollama o modelo vive em um computador que você controla, e seu código chama localhost. Com OpenAI o modelo vive no datacenter de outra pessoa, e seu código chama um endereço HTTPS público com uma chave e uma fatura no final do mês.

Tudo o mais decorre dessa única diferença: estrutura de custo, latência que você pode ajustar, quem vê seus prompts, quais modelos você pode escolher e o que acontece quando envia cem requisições de uma vez. A tabela apresenta os fatos que valem para ambos.

Assunto	Ollama	API OpenAI
Onde roda	Seu laptop, estação de trabalho ou servidor	Servidores da OpenAI
Quem configura o modelo	Você baixa e atualiza os pesos sozinho	A OpenAI escolhe e atualiza seus modelos
Faturamento	Sem cobrança por token no runtime local; você paga por hardware e energia	Por token, de uma conta com cobrança
Formato de requisição	Rotas nativas mais uma camada estilo OpenAI /v1	O formato original da OpenAI
Vazão	Limitado pelo seu hardware	Limitado pelos limites de requisições da conta

Se você quer um caminho intermediário, um endpoint hospedado que fala o mesmo formato OpenAI mas serve um modelo de pesos abertos é coberto perto do final desta página.

O que cada API realmente é

Ollama

Ollama é um programa que baixa modelos de pesos abertos e os serve via HTTP na sua máquina. Por padrão, ele escuta na porta 11434. Ele tem suas próprias rotas como /api/chat e /api/generate, e também expõe uma camada estilo OpenAI em /v1 para que o código de cliente OpenAI existente possa apontar para ele. Não há conta nem chave na configuração local padrão. Clientes que exigem um campo de chave recebem uma string de espaço reservado.

Você escolhe o modelo, a quantização e as configurações de contexto. Essa liberdade é o principal atrativo, e também o custo: se o modelo não couber na sua memória, ele será lento ou não carregará de forma alguma.

A API OpenAI

A API OpenAI é um serviço hospedado. Você cria uma conta, adiciona cobrança, gera uma chave e envia solicitações para o endereço da OpenAI. Você obtém os modelos que a OpenAI oferece, sob as políticas de uso da OpenAI, com os limites permitidos pelo nível da sua conta. Capacidade, atualizações e tempo de atividade são responsabilidade deles, não sua. O formato de solicitação que você vê na maioria dos tutoriais, com uma matriz messages e uma matriz choices na resposta, vem desta API.

Por que as pessoas comparam elas

A comparação existe porque ambas podem ser acessadas com o mesmo código de cliente. Os SDKs oficiais da OpenAI permitem que você substitua a base URL, e a camada /v1 da Ollama entende conclusões de chat. Então, um script escrito para um pode frequentemente ser apontado para o outro em uma linha. Isso é conveniente, e também esconde diferenças reais, que as próximas seções detalham.

O mesmo código de cliente, duas base URLs

Esta é a parte que torna a troca barata. O snippet Python abaixo fala com um servidor Ollama local. Apenas a base URL, a chave e o nome do modelo são específicos para o destino.

Copyfrom openai import OpenAI

# Local Ollama through its OpenAI-style layer
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

reply = client.chat.completions.create(
    model="llama3.2",  # whatever model you pulled locally
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Para enviar a mesma solicitação a um endpoint hospedado compatível com OpenAI, você altera três valores. Aqui está a versão para este site, com ID do modelo uncensored.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

A mesma solicitação funciona com curl, o que é útil para um teste rápido antes de tocar em qualquer código de aplicativo.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Uma advertência se aplica a qualquer troca entre esses destinos. A compatibilidade cobre a forma da solicitação e da resposta, não o comportamento. Modelos diferentes seguem instruções de forma diferente, lidam com chamadas de ferramentas de forma diferente e produzem formatações diferentes. Execute seus próprios prompts no novo destino antes de confiar nele.

Custo: hardware que você possui versus tokens que compra

A inferência local parece gratuita porque não chega nenhuma fatura. Não é gratuita. Você paga por uma GPU ou uma máquina de grande memória, por eletricidade e pelas horas gastas instalando drivers, escolhendo quantizações e reiniciando um servidor que ficou sem memória. Se você já possui hardware capaz e executa alguns prompts por dia, esse custo é próximo de zero na prática. Se você tivesse que comprar uma placa só para executar o modelo que deseja, a matemática muda.

A precificação hospedada tem o formato oposto: nada adiantado e uma cobrança que cresce com o uso. Neste site, o preço é $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, a partir de crédito pré-pago sem assinatura. Para OpenAI, consulte a página de preços atual deles, pois varia por modelo e muda com o tempo.

Aqui está como a matemática hospedada funciona para um trabalho realista neste endpoint. Digamos que um aplicativo envie 40.000 solicitações em um mês, cada uma com 1.500 tokens de entrada e 400 tokens de saída.

• Entrada: 40.000 x 1.500 = 60.000.000 tokens, ou 60M. A $0,15 por 1M isso é $9,00.
• Saída: 40.000 x 400 = 16.000.000 tokens, ou 16M. A $0,50 por 1M isso é $8,00.
• Total: $17,00 para o mês.

Você pode comparar esse número com o que uma máquina adequada custaria para comprar, alimentar e manter. Para tráfego leve ou intermitente, pagar por token geralmente vence. Para tráfego pesado constante em hardware que você já possui, o local geralmente vence. Veja a página de preços para valores de recarga e bônus.

Modelos, regras de conteúdo e privacidade

Com Ollama você decide qual modelo de pesos abertos executar, e ninguém fica entre seu prompt e os pesos. O comportamento do conteúdo é o que esse modelo faz. Alguns modelos da comunidade são ajustados para recusar menos, outros não, e você pode trocá-los livremente.

Um fornecedor hospedado aplica suas próprias políticas de uso e sua própria filtragem. Essa é uma posição razoável para um serviço de propósito geral, e também é por isso que alguns escritores, desenvolvedores de roleplay e pesquisadores trabalhando com ficção madura encontram respostas cortadas. Leia a política de qualquer provedor do qual você planeje depender, e verifique as regras atuais deles em vez de assumir.

Este site fica em um lugar diferente. Serve um modelo de pesos abertos, executado por um provedor independente e ajustado para responder sem recusas de conteúdo para uso adulto lícito. Não é a API oficial da OpenAI, Meta, Mistral ou qualquer outro fornecedor, e não é um roteador entre fornecedores. Há um limite rígido: sem conteúdo sexual envolvendo menores de idade. Os prompts não são usados para treinamento. Solicitações falhas ou recusadas não são cobradas.

Em relação à privacidade, o Ollama local mantém os prompts na sua máquina, algo que nenhum serviço hospedado pode igualar. Se seus dados não podem sair do prédio, execute localmente e pare de comparar. Se você pode enviar texto para um serviço hospedado, leia a página de privacidade do provedor primeiro. A nossa está em /privacy/.

Limites, concorrência e recursos

Os limites locais são físicos. Uma única GPU atende alguns requisições simultâneas antes que cada uma fique lenta, e um contexto longo consome memória rapidamente. Os limites hospedados são de política. Neste endpoint, uma chave completa permite 8 requisições simultâneas e 300 requisições por minuto, e uma chave de teste permite 2 simultâneas e 60 por minuto. A janela de contexto é de 100.000 tokens, contando prompt mais conclusão, e o corpo da requisição pode ter até 8 MB.

Se você exceder um limite, receberá HTTP 429. O código de erro é rate_limited para requisições por minuto e concurrency para muitas requisições ao mesmo tempo. Um 429 com o cabeçalho Retry-After: 5 significa sobrecarga temporária, então aguarde cinco segundos e tente novamente. Uma requisição em streaming mantém sua vaga de concorrência até o fim do streaming, o que importa se você abrir muitos streams em paralelo.

A cobertura de recursos no lado hospedado é focada em chat. Você obtém streaming via SSE com o uso informado no final, chamada de funções, modo JSON e passagem de temperatura, top_p, stop, seed e penalidades. Não há geração de imagem, áudio ou vídeo, nem embeddings nem fine-tuning. Se você precisar disso, planeje obtê-los em outro lugar. Nossa documentação lista os campos exatos da solicitação.

Os cabeçalhos de resposta incluem X-Request-Id e X-Balance-USD, para que você possa registrar uma requisição e ver seu crédito restante sem uma chamada separada.

Como escolher

Escolha pela restrição que mais incomoda.

• Os prompts devem permanecer no seu hardware. Use o Ollama localmente.
• Você já possui uma GPU capaz e quer experimentar. Use o Ollama localmente, depois migre mais tarde se o tráfego ultrapassar a capacidade.
• Você precisa do modelo de fronteira de um fornecedor específico ou de seu ecossistema. Use a API desse fornecedor. Um provedor diferente não é substituto para um modelo específico.
• Você quer acesso hospedado, pagamento por uso, a um modelo de pesos abertos sem filtros de conteúdo para uso adulto lícito, e sem hardware para cuidar. Use um endpoint OpenAI-compatible hospedado como este.

Muitas equipes acabam usando duas: Ollama em um laptop para desenvolvimento, e um endpoint hospedado para qualquer coisa que precise ser acessível de um servidor ou do navegador de um cliente. Como ambas falam o mesmo formato de solicitação, a troca é um valor de configuração, não uma reescrita. Se quiser experimentar o lado hospedado, novos usuários podem reivindicar $0,50 de crédito de teste com um clique na página da chave de API após o login. Não precisa de cartão e é válido por 7 dias. Recargas pagas começam em $20 e aceitam cartão ou cripto.

Mais guias

• Exemplo de chamada de funções da API Ollama com o SDK OpenAI
• Configuração do SillyTavern com a API Ollama: Conecte um endpoint hospedado
• API XAI: Mitos vs Fatos - Alternativa sem censura