API Ollama: altere seu cliente em três linhas

Pré-requisitos e URL base

Para usar esta API LLM sem censura, você precisa de uma conta com uma chave de API e um SDK compatível com OpenAI instalado no seu ambiente. A URL base para todas as requisições é https://api.ollamaapi.com/v1. Este endpoint é projetado como uma substituição pronta para usar para clientes OpenAI existentes, o que significa que você só precisa atualizar a URL base e a chave de API na sua configuração. A API suporta conclusões de texto de entrada e saída com streaming via Server-Sent Events (SSE) e chamada de funções. Não suporta embeddings, geração de imagens ou ajuste fino. Certifique-se de que a versão do seu SDK suporte esses recursos para a melhor experiência. Você usará o ID do modelo uncensored para todas as conclusões.

Autenticação e primeira requisição

A autenticação é feita via token Bearer no cabeçalho Authorization. Cadastre-se no site para receber sua chave imediatamente; nenhum cartão de crédito é necessário para o crédito de teste grátis. Use o seguinte comando cURL para enviar sua primeira mensagem. Substitua YOUR_API_KEY pela sua chave real. A requisição direciona-se ao endpoint padrão de conclusões de chat. Se bem-sucedida, você receberá uma resposta de texto do modelo sem censura. Certifique-se de definir o campo model para uncensored para utilizar o modelo de linguagem grande específico hospedado em nossos servidores GPU.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Lembre-se de que os prompts não são usados para treinar seus dados. A API impõe um limite rígido de conteúdo sexual envolvendo menores, mas, caso contrário, permite tópicos adultos e controversos sem recusa.

Integração com SDK Python

Usar o SDK Python oficial da OpenAI é a maneira mais direta de integrar. Instale a biblioteca via pip e, em seguida, inicialize o cliente com a URL base personalizada e sua chave de API. Esta configuração permite que você use o mesmo código de cliente que poderia usar para o GPT-4, mas direcionado ao nosso modelo sem censura. O código abaixo demonstra uma solicitação simples de conclusão de chat. Você pode ajustar os parâmetros max_tokens e temperature conforme necessário. O objeto de resposta conterá o texto gerado em response.choices[0].message.content.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Esta abordagem funciona porque nossa API é totalmente compatível com OpenAI. Você não precisa de uma biblioteca de cliente separada especificamente para nosso serviço.

Configuração do SDK Node.js

Para projetos JavaScript ou TypeScript, o SDK Node.js da OpenAI funciona perfeitamente com nosso endpoint. Instale o pacote e configure o cliente com o baseURL apontando para nosso domínio. Passe sua chave de API no campo apiKey. A estrutura da requisição espelha exatamente o formato da OpenAI. Isso permite que você insira nossa API em aplicativos Node.js existentes sem refatoração significativa. O ID do modelo permanece uncensored. Você pode gerenciar sua chave de API pelo painel se precisar regenerá-la.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Certifique-se de que suas variáveis de ambiente estejam definidas corretamente para evitar expor sua chave no controle de origem. A chave de API é exibida imediatamente após o cadastro.

Respostas em streaming

Para aplicações que exigem geração de tokens em tempo real, a API suporta Server-Sent Events (SSE). Defina o parâmetro stream como true na sua requisição. O servidor enviará uma série de chunks, cada um contendo um delta parcial da resposta. Isso é ideal para interfaces de chat onde você deseja exibir o texto conforme é gerado. O comportamento do streaming é idêntico à API de streaming da OpenAI, portanto, a lógica de streaming existente deve funcionar com alterações mínimas. Processe o streaming até que o último chunk indique que a resposta está completa.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

O streaming não afeta o preço por token ou os limites da janela de contexto.

Limites, erros e contexto

A API possui uma janela de contexto de 100.000 tokens, combinando prompt e conclusão. Isso permite processamento extensivo de documentos ou conversas longas. Os limites de requisições estão definidos para 300 requisições por minuto por chave. Se você exceder isso, receberá um erro 429. Erros de autenticação retornam status 401, geralmente devido a uma chave inválida ou revogada. Fundos insuficientes resultam em erro 402. Os corpos das requisições são limitados a 8 MB. Não há assinatura; você paga conforme o uso com créditos pré-pagos que nunca expiram. Você pode recarregar a partir de $20. Os créditos não expiram, então você pode pausar o uso indefinidamente sem perder seu saldo.