API Ollama: cambia client in tre righe

Prerequisiti e URL di base

Per utilizzare questa API LLM senza censura, devi avere un account con una chiave API e un SDK compatibile con OpenAI installato nel tuo ambiente. L'URL di base per tutte le richieste è https://api.ollamaapi.com/v1. Questo endpoint è progettato come soluzione pronta all’uso per i client OpenAI esistenti, il che significa che devi solo aggiornare l'URL di base e la chiave API nella configurazione. L'API supporta completamenti di testo in ingresso e in uscita con streaming tramite Server-Sent Events (SSE) e chiamata di funzioni. Non supporta embedding, generazione di immagini o fine-tuning. Assicurati che la versione del tuo SDK supporti queste funzionalità per un'esperienza ottimale. Utilizzerai l'ID del modello uncensored per tutti i completamenti.

Autenticazione e prima richiesta

L'autenticazione avviene tramite un token Bearer nell'intestazione Authorization. Registrati sul sito per ricevere immediatamente la tua chiave; non è richiesta la carta di credito per la prova. Usa il seguente comando cURL per inviare il tuo primo messaggio. Sostituisci YOUR_API_KEY con la tua chiave effettiva. La richiesta punta all'endpoint standard per i completamenti di chat. Se va a buon fine, riceverai una risposta testuale dal modello uncensored. Assicurati di impostare il campo model su uncensored per utilizzare il modello linguistico di grandi dimensioni specifico ospitato sui nostri server GPU.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Ricorda che i prompt non vengono utilizzati per l'addestramento dei tuoi dati. L'API impone un limite rigido sui contenuti sessuali che coinvolgono minori, ma in caso contrario consente argomenti adulti e controversi leciti senza rifiuto.

Integrazione SDK Python

L'utilizzo dell'SDK Python ufficiale di OpenAI è il modo più semplice per integrarsi. Installa la libreria tramite pip, quindi inizializza il client con l'URL di base personalizzato e la tua chiave API. Questa configurazione ti permette di utilizzare lo stesso codice del client che potresti usare per GPT-4, ma indirizzato al nostro modello senza censura. Il codice sottostante mostra una semplice richiesta di completamento della chat. Puoi regolare i parametri max_tokens e temperature secondo necessità. L'oggetto di risposta conterrà il testo generato in response.choices[0].message.content.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Questo approccio funziona perché la nostra API è completamente compatibile con OpenAI. Non hai bisogno di una libreria client separata specifica per il nostro servizio.

Configurazione SDK Node.js

Per i progetti JavaScript o TypeScript, l'SDK Node di OpenAI funziona senza problemi con il nostro endpoint. Installa il pacchetto e configura il client con baseURL puntato al nostro dominio. Inserisci la tua chiave API nel campo apiKey. La struttura della richiesta rispecchia esattamente il formato OpenAI. Questo ti permette di inserire la nostra API nelle applicazioni Node.js esistenti senza una refactoring significativo. L'ID del modello rimane uncensored. Puoi gestire la tua chiave API tramite la dashboard se devi rigenerarla.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Assicurati che le variabili di ambiente siano impostate correttamente per evitare di esporre la tua chiave nel controllo del codice sorgente. La chiave API viene mostrata immediatamente al momento della registrazione.

Risposte in streaming

Per le applicazioni che richiedono generazione di token in tempo reale, l'API supporta gli Server-Sent Events (SSE). Imposta il parametro stream su true nella tua richiesta. Il server invierà una serie di chunk, ciascuno contenente un delta parziale della risposta. Questo è ideale per le interfacce chat in cui desideri visualizzare il testo man mano che viene generato. Il comportamento dello streaming è identico a quello dell'API di streaming OpenAI, quindi la logica di streaming esistente dovrebbe funzionare con modifiche minime. Gestisci lo stream fino a quando l'ultimo chunk indica che la risposta è completa.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Lo streaming non influisce sulla tariffazione dei token o sui limiti della finestra di contesto.

Limiti, errori e contesto

L'API ha una finestra di contesto di 100.000 token, che combina prompt e completamento. Questo consente l'elaborazione estesa di documenti o conversazioni lunghe. I limiti di richiesta sono impostati a 300 richieste al minuto per chiave. Se li superi, riceverai un errore 429. Gli errori di autenticazione restituiscono un codice 401, solitamente dovuto a una chiave non valida o revocata. I fondi insufficienti risultano in un errore 402. I corpi delle richieste sono limitati a 8 MB. Non c'è abbonamento; paghi a consumo con crediti prepagati che non scadono mai. Puoi ricaricare a partire da $20. I crediti non scadono, quindi puoi sospendere l'utilizzo indefinitamente senza perdere il tuo saldo.