Ollama API: İstemcinizi üç satırda değiştirin

Önkoşullar ve Temel URL

Bu sansürsüz LLM API'sini kullanmak için bir hesabınızın, bir API anahtarınızın ve ortamınıza yüklü bir OpenAI uyumlu SDK'nızın olması gerekir. Tüm istekler için temel URL https://api.ollamaapi.com/v1 şeklindedir. Bu uç nokta, mevcut OpenAI istemcileri için doğrudan değiştirilebilir bir çözüm olarak tasarlanmıştır; bu nedenle yapılandırmanızdaki temel URL'yi ve API anahtarını güncellemeniz yeterlidir. API, Sunucu Tarafı Olayları (SSE) üzerinden akış ve fonksiyon çağırma ile metin-girişi, metin-çıkışı tamamlamaları destekler. Gömme (embedding), görüntü oluşturma veya ince ayar (fine-tuning) desteklemez. En iyi deneyim için SDK sürümünüzün bu özellikleri desteklediğinden emin olun. Tüm tamamlamalar için uncensored model kimliğini kullanacaksınız.

Kimlik Doğrulama ve İlk İstek

Kimlik doğrulama, Authorization üst bilgisi aracılığıyla Bearer token ile yapılır. Deneme için kredi kartı gerekmez; siteye kaydolarak anahtarınızı hemen alın. İlk mesajınızı göndermek için aşağıdaki cURL komutunu kullanın. YOUR_API_KEY yerine gerçek anahtarınızı yazın. İstek, standart sohbet tamamlama uç noktasını hedefler. Başarılı olursa sansürsüz modelden metin yanıtı alırsınız. model alanını uncensored olarak ayarlayın.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

İstemlerin verilerinizin eğitimi için kullanılmadığını unutmayın. API, reşit olmayanlarla ilgili cinsel içerik konusunda katı bir sınırlama uygular; ancak yasal yetişkin ve tartışmalı konulara reddetme olmadan izin verir.

Python SDK Entegrasyonu

Resmi OpenAI Python SDK'sını kullanmak entegrasyon için en kolay yoldur. Kütüphaneyi pip aracılığıyla yükleyin, ardından özel temel URL ve API anahtarınızla istemciyi başlatın. Bu kurulum, GPT-4 için kullanabileceğiniz aynı istemci kodunu sansürsüz modelimize yönlendirmenizi sağlar. Aşağıdaki kod, basit bir sohbet tamamlama isteğini gösterir. max_tokens ve temperature parametrelerini ihtiyaca göre ayarlayabilirsiniz. Yanıt nesnesi, oluşturulan metni response.choices[0].message.content içinde içerecektir.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Bu yaklaşım, API'mizin tamamen OpenAI uyumlu olmasından dolayı çalışır. Hizmetimiz için ayrı bir istemci kütüphanesine ihtiyacınız yoktur.

Node.js SDK Kurulumu

JavaScript veya TypeScript projeleri için OpenAI Node SDK'sı uç noktamuzla sorunsuz çalışır. Paketi yükleyin ve istemciyi baseURL alanını alanımıza işaret edecek şekilde yapılandırın. API anahtarınızı apiKey alanında iletin. İstek yapısı OpenAI formatıyla birebir aynıdır. Bu, mevcut Node.js uygulamalarımıza API'yi önemli bir yeniden düzenleme yapmadan dahil etmenizi sağlar. Model kimliği uncensored olarak kalır. Anahtarınızı yeniden oluşturmanız gerekirse, anahtarınızı panelden yönetebilirsiniz.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Anahtarınızı kaynak kontrolünde ortaya çıkarmamak için ortam değişkenlerinizi doğru şekilde ayarladığınızdan emin olun. API anahtarı kaydolma sırasında hemen gösterilir.

Akış Yanıtları

Gerçek zamanlı token üretimi gerektiren uygulamalar için API, Sunucu Tarafından Gönderilen Olayları (SSE) destekler. İsteğinizde stream parametresini true olarak ayarlayın. Sunucu, her biri kısmi bir delta içeren bir dizi parça gönderir. Bu, metnin oluşturulurken gösterildiği sohbet arayüzleri için idealdir. Akış davranışı OpenAI akış API'siyle aynıdır, bu nedenle mevcut akış mantığı minimum değişikliklerle çalışmalıdır. Yanıtın tamamlandığını gösteren son parçaya kadar akışı işleyin.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Akış, token fiyatlandırmasını veya bağlam penceresi limitlerini etkilemez.

Limitler, Hatalar ve Bağlam

API, istem ve tamamlama birleşimiyle 100.000 tokenlık bir bağlam penceresine sahiptir. Bu, kapsamlı belge işleme veya uzun sohbetler için olanak tanır. Hız limitleri anahtar başına dakikada 300 istek olarak ayarlanmıştır. Bu değeri aşarsanız 429 hatası alırsınız. Kimlik doğrulama hataları genellikle geçersiz veya iptal edilmiş bir anahtardan kaynaklanan 401 durumunu döndürür. Yetersiz bakiye 402 hatasına neden olur. İstek gövdeleri 8 MB ile sınırlıdır. Abonelik yoktur; ön ödemeli kredilerle kullandıkça ödeme yaparsınız ve krediler asla sona ermez. Bakiyenizi kaybetmeden kullanımı sonsuza kadar duraklatabilirsiniz. Bakiye yüklemeye $20'dan itibaren başlayabilirsiniz.