Ollama API: wissel je client in drie regels

Vereisten en basis-URL

Om deze ongecensureerde LLM-API te gebruiken, heb je een account nodig met een API-sleutel en een OpenAI-compatibele SDK geïnstalleerd in je omgeving. De basis-URL voor alle verzoeken is https://api.ollamaapi.com/v1. Deze endpoint is ontworpen als een drop-in vervanging voor bestaande OpenAI-clients, wat betekent dat je alleen de basis-URL en API-sleutel in je configuratie hoeft bij te werken. De API ondersteunt tekst-in, tekst-uit-completies met streaming via Server-Sent Events (SSE) en function calling. Hij ondersteunt geen embeddings, afbeeldingsgeneratie of fine-tuning. Zorg dat je SDK-versie deze functies ondersteunt voor de beste ervaring. Je gebruikt de model-ID uncensored voor alle completies.

Authenticatie en eerste verzoek

Authenticatie verloopt via een Bearer-token in de Authorization-header. Meld je aan op de site om direct je sleutel te ontvangen; er is geen creditcard nodig voor de proefversie. Gebruik het volgende cURL-commando om je eerste bericht te versturen. Vervang YOUR_API_KEY door je daadwerkelijke sleutel. Het verzoek richt zich tot het standaard chat-completie-endpoint. Bij succes ontvang je een tekstantwoord van het ongecensureerde model. Zorg dat je het veld model instelt op uncensored om het specifieke LLM te gebruiken.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Onthoud dat prompts niet worden gebruikt voor het trainen van je data. De API handhaaft een harde limiet voor seksuele inhoud die minderjarigen betreft, maar staat anders wettelijke volwassen en controversiële onderwerpen toe zonder weigering.

Python SDK-integratie

Het gebruik van de officiële OpenAI Python SDK is de meest eenvoudige manier om te integreren. Installeer de bibliotheek via pip en initialiseer de client met de aangepaste basis-URL en je API-sleutel. Hiermee kun je dezelfde clientcode gebruiken die je misschien voor GPT-4 gebruikt, maar gericht op ons ongecensureerde model. De onderstaande code toont een eenvoudig chat-completieverzoek. Je kunt de parameters max_tokens en temperature naar behoefte aanpassen. Het responsobject bevat de gegenereerde tekst in response.choices[0].message.content.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Deze aanpak werkt omdat onze API volledig OpenAI-compatibel is. Je hebt geen aparte clientbibliotheek nodig specifiek voor onze service.

Node.js SDK-instelling

Voor JavaScript- of TypeScript-projecten werkt de OpenAI Node SDK naadloos met ons endpoint. Installeer het pakket en configureer de client met de baseURL die naar ons domein verwijst. Geef je API-sleutel op in het veld apiKey. De verzoekstructuur komt exact overeen met het OpenAI-formaat. Hierdoor kun je onze API in bestaande Node.js-applicaties opnemen zonder grote refactoring. De model-ID blijft uncensored. Je kunt je API-sleutel beheren via het dashboard als je deze wilt regenereren.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Zorg dat je omgevingsvariabelen correct zijn ingesteld om te voorkomen dat je sleutel in versiebeheer wordt blootgesteld. De API-sleutel wordt direct bij het aanmaken weergegeven.

Streaming-antwoorden

Voor applicaties die real-time token generatie vereisen, ondersteunt de API Server-Sent Events (SSE). Stel de stream parameter in op true in je verzoek. De server stuurt een reeks chunks, elk met een gedeeltelijke delta van het antwoord. Dit is ideaal voor chatinterfaces waar je tekst wilt weergeven terwijl deze wordt gegenereerd. Het streaming-gedrag is identiek aan de OpenAI streaming API, dus bestaande streaming logica zou met minimale aanpassingen moeten werken. Verwerk de stream tot de laatste chunk aangeeft dat het antwoord compleet is.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming heeft geen invloed op de tokenprijs of de limieten van het contextvenster.

Limieten, fouten en context

De API heeft een contextvenster van 100.000 tokens, dat prompt en completion combineert. Dit maakt uitgebreide documentverwerking of lange gesprekken mogelijk. Rate limits zijn ingesteld op 300 verzoeken per minuut per sleutel. Als je dit overschrijdt, ontvang je een 429-fout. Authenticatiefouten retourneren een 401-status, meestal door een ongeldige of ingetrokken sleutel. Onvoldoende saldo resulteert in een 402-fout. Request bodies zijn beperkt tot 8 MB. Er is geen abonnement; je betaalt pay-as-you-go met prepaid tegoed dat nooit vervalt. Je kunt opwaarderen vanaf $20. Credits vervallen niet, dus je kunt het gebruik onbepaalde tijd pauzeren zonder je saldo te verliezen.