API Ollama: Alihkan klien Anda dalam tiga baris

Prasyarat dan URL Dasar

Untuk menggunakan API LLM tanpa sensor ini, Anda memerlukan akun dengan kunci API dan SDK yang kompatibel dengan OpenAI yang terpasang di lingkungan Anda. URL dasar untuk semua permintaan adalah https://api.ollamaapi.com/v1. Endpoint ini dirancang sebagai pengganti langsung untuk klien OpenAI yang ada, artinya Anda hanya perlu memperbarui URL dasar dan kunci API dalam konfigurasi Anda. API mendukung penyelesaian teks masuk dan teks keluar dengan streaming melalui Server-Sent Events (SSE) dan pemanggilan alat. API ini tidak mendukung embedding, pembuatan gambar, atau penyetelan halus. Pastikan versi SDK Anda mendukung fitur ini untuk pengalaman terbaik. Anda akan menggunakan ID model uncensored untuk semua penyelesaian.

Autentikasi dan Permintaan Pertama

Autentikasi ditangani melalui token Bearer di header Authorization. Daftar di situs ini untuk menerima kunci Anda segera; tidak diperlukan kartu kredit untuk uji coba. Gunakan perintah cURL berikut untuk mengirim pesan pertama Anda. Ganti YOUR_API_KEY dengan kunci asli Anda. Permintaan tersebut menargetkan endpoint penyelesaian obrolan standar. Jika berhasil, Anda akan menerima respons teks dari model tanpa sensor. Pastikan Anda menetapkan bidang model ke uncensored untuk memanfaatkan model bahasa besar tertentu yang dihosting di server GPU kami.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Ingatlah bahwa prompt tidak digunakan untuk melatih data Anda. API ini membatasi konten seksual yang melibatkan anak di bawah umur secara ketat, tetapi memungkinkan topik dewasa yang sah dan kontroversial lainnya tanpa penolakan.

Integrasi SDK Python

Menggunakan SDK Python resmi OpenAI adalah cara paling mudah untuk melakukan integrasi. Instal pustaka melalui pip, lalu inisialisasi klien dengan URL dasar kustom dan kunci API Anda. Konfigurasi ini memungkinkan Anda menggunakan kode klien yang sama seperti yang Anda gunakan untuk GPT-4, tetapi diarahkan ke model tanpa sensor kami. Kode di bawah ini menunjukkan permintaan penyelesaian obrolan sederhana. Anda dapat menyesuaikan parameter max_tokens dan temperature sesuai kebutuhan. Objek respons akan berisi teks yang dihasilkan di response.choices[0].message.content.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Pendekatan ini berfungsi karena API kami sepenuhnya kompatibel dengan OpenAI. Anda tidak memerlukan pustaka klien terpisah khusus untuk layanan kami.

Pengaturan SDK Node.js

Untuk proyek JavaScript atau TypeScript, SDK Node OpenAI bekerja dengan lancar dengan endpoint kami. Instal paketnya dan konfigurasi klien dengan baseURL yang mengarah ke domain kami. Masukkan kunci API Anda di bidang apiKey. Struktur permintaan persis seperti format OpenAI. Ini memungkinkan Anda memasukkan API kami ke dalam aplikasi Node.js yang ada tanpa perlu penyusunan ulang yang signifikan. ID model tetap uncensored. Anda dapat mengelola kunci API melalui dasbor jika Anda perlu membuat kunci baru.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Pastikan variabel lingkungan Anda diatur dengan benar untuk menghindari mengekspos kunci Anda dalam kontrol sumber. Kunci API ditampilkan segera setelah pendaftaran.

Respons Streaming

Untuk aplikasi yang memerlukan generasi token secara real-time, API mendukung Server-Sent Events (SSE). Tetapkan parameter stream ke true dalam permintaan Anda. Server akan mengirim serangkaian potongan data, yang masing-masing berisi delta parsial dari respons. Ini sangat ideal untuk antarmuka obrolan di mana Anda ingin menampilkan teks saat teks tersebut dihasilkan. Perilaku streaming identik dengan API streaming OpenAI, sehingga logika streaming yang ada seharusnya berfungsi dengan perubahan minimal. Tangani stream hingga potongan terakhir menunjukkan bahwa respons telah selesai.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming tidak memengaruhi harga token atau batas jendela konteks.

Batas, Kesalahan, dan Konteks

API memiliki jendela konteks 100.000 token, yang menggabungkan prompt dan penyelesaian. Ini memungkinkan pemrosesan dokumen ekstensif atau percakapan panjang. Batas laju ditetapkan pada 300 permintaan per menit per kunci. Jika Anda melebihi batas ini, Anda akan menerima error 429. Error autentikasi mengembalikan status 401, biasanya karena kunci tidak valid atau telah dicabut. Dana tidak cukup menghasilkan error 402. Badan permintaan dibatasi hingga 8 MB. Tidak ada langganan; Anda membayar sesuai penggunaan dengan saldo prabayar yang tidak pernah kedaluwarsa. Anda dapat mengisi saldo mulai dari $20. Saldo tidak pernah kedaluwarsa, sehingga Anda dapat menghentikan penggunaan tanpa batas waktu tanpa kehilangan saldo Anda.