API Ollama vs API OpenAI: Mana yang Cocok untuk Proyek Anda

Jawaban singkat

Pertanyaan tentang API Ollama vs API OpenAI sebagian besar adalah pertanyaan tentang di mana model berjalan. Dengan Ollama, model berada di komputer yang Anda kendalikan, dan kode Anda memanggil localhost. Dengan OpenAI, model berada di pusat data orang lain, dan kode Anda memanggil alamat HTTPS publik dengan kunci dan tagihan di akhir bulan.

Semua hal lainnya mengikuti dari perbedaan tunggal itu: struktur biaya, latensi yang dapat Anda atur, siapa yang melihat prompt Anda, model mana yang dapat Anda pilih, dan apa yang terjadi ketika Anda mengirim seratus permintaan sekaligus. Tabel memberikan fakta yang berlaku untuk keduanya.

Topik	Ollama	API OpenAI
Di mana layanan berjalan	Laptop, stasiun kerja, atau server Anda	server OpenAI
Siapa yang menyiapkan model	Anda mengunduh dan memperbarui bobot sendiri	OpenAI memilih dan memperbarui modelnya
Penagihan	Tidak ada biaya per-token dari runtime lokal; Anda membayar untuk perangkat keras dan daya	Per token, dari akun dengan penagihan
Format permintaan	Rute asli ditambah lapisan gaya OpenAI /v1	Format OpenAI asli
Laju	Dibatasi oleh perangkat keras Anda	Dibatasi oleh batas laju akun

Jika Anda menginginkan jalan tengah, endpoint yang di-hosting yang menggunakan format OpenAI yang sama tetapi melayani model bobot terbuka dibahas di bagian akhir halaman ini.

Apa sebenarnya masing-masing API

Ollama

Ollama adalah program yang mengunduh model bobot terbuka dan menyajikannya melalui HTTP di mesin Anda. Secara default, ia mendengarkan pada port 11434. Ia memiliki rute sendiri seperti /api/chat dan /api/generate, serta mengekspos lapisan gaya OpenAI di bawah /v1 sehingga kode klien OpenAI yang ada dapat mengarah ke sana. Tidak ada akun dan tidak ada kunci dalam pengaturan lokal biasa. Klien yang bersikeras pada bidang kunci mendapatkan string placeholder.

Anda memilih model, kuantisasi, dan pengaturan konteks. Kebebasan itu adalah daya tarik utamanya, dan itu juga biayanya: jika model tidak muat dalam memori Anda, model akan lambat atau tidak akan dimuat sama sekali.

API OpenAI

API OpenAI adalah layanan yang di-hosting. Anda membuat akun, menambahkan penagihan, menghasilkan kunci, dan mengirim permintaan ke alamat OpenAI. Anda mendapatkan model yang ditawarkan OpenAI, di bawah kebijakan penggunaan OpenAI, dengan batas apa pun yang diizinkan oleh tingkat akun Anda. Kapasitas, peningkatan, dan waktu aktif adalah tugas mereka, bukan Anda. Format permintaan yang Anda lihat di sebagian besar tutorial, dengan array messages dan array choices dalam balasan, berasal dari API ini.

Mengapa orang membandingkannya

Perbandingan ini ada karena keduanya dapat diakses dengan kode klien yang sama. SDK OpenAI resmi memungkinkan Anda mengganti URL dasar, dan lapisan /v1 Ollama memahami penyelesaian obrolan. Jadi, skrip yang ditulis untuk satu sering dapat diarahkan ke yang lain hanya dalam satu baris. Itu nyaman, dan itu juga menyembunyikan perbedaan nyata, yang akan dijelaskan di bagian berikutnya.

Kode klien yang sama, dua URL dasar

Ini adalah bagian yang membuat beralih murah. Cuplikan Python di bawah ini berkomunikasi dengan server Ollama lokal. Hanya URL dasar, kunci, dan nama model yang spesifik untuk target.

Copyfrom openai import OpenAI

# Local Ollama through its OpenAI-style layer
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

reply = client.chat.completions.create(
    model="llama3.2",  # whatever model you pulled locally
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Untuk mengirim permintaan yang sama ke endpoint kompatibel OpenAI yang di-hosting, Anda mengubah tiga nilai. Berikut adalah versi untuk situs ini, dengan ID model uncensored.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Permintaan yang sama berfungsi dengan curl, yang berguna untuk pengujian cepat sebelum Anda menyentuh kode aplikasi apa pun.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Satu peringatan berlaku untuk setiap beralih antara target ini. Kompatibilitas mencakup bentuk permintaan dan respons, bukan perilaku. Model yang berbeda mengikuti instruksi secara berbeda, menangani panggilan alat secara berbeda, dan menghasilkan format yang berbeda. Jalankan prompt Anda sendiri melalui target baru sebelum Anda mempercayainya.

Biaya: perangkat keras yang Anda miliki versus token yang Anda beli

Inferensi lokal terlihat gratis karena tidak ada faktur yang datang. Itu tidak gratis. Anda membayar untuk GPU atau mesin memori besar, untuk listrik, dan untuk jam yang dihabiskan untuk menginstal driver, memilih kuantisasi, dan me-restart server yang kehabisan memori. Jika Anda sudah memiliki perangkat keras yang mampu dan menjalankan beberapa prompt sehari, biaya itu praktis nol. Jika Anda harus membeli kartu hanya untuk menjalankan model yang Anda inginkan, perhitungannya berubah.

Harga yang di-hosting memiliki bentuk kebalikan: tidak ada di muka, dan biaya yang tumbuh seiring penggunaan. Di situs ini, harganya adalah $0,15 per 1M token input dan $0,50 per 1M token output, dari saldo prabayar tanpa langganan. Untuk OpenAI, periksa halaman harga terbaru mereka, karena bervariasi berdasarkan model dan berubah seiring waktu.

Berikut cara kerja matematika yang di-hosting untuk pekerjaan realistis di endpoint ini. Katakanlah aplikasi mengirim 40.000 permintaan dalam sebulan, masing-masing dengan 1.500 token input dan 400 token output.

• Input: 40.000 x 1.500 = 60.000.000 token, atau 60M. Pada $0,15 per 1M itu adalah $9,00.
• Output: 40.000 x 400 = 16.000.000 token, atau 16M. Pada $0,50 per 1M itu adalah $8,00.
• Total: $17,00 untuk bulan itu.

Anda dapat menetapkan angka itu terhadap biaya mesin yang sesuai yang harus Anda beli, beri daya, dan jaga. Untuk lalu lintas ringan atau lonjakan, membayar per token biasanya menang. Untuk lalu lintas berat yang konstan pada perangkat keras yang Anda miliki, lokal biasanya menang. Lihat halaman harga untuk jumlah isi saldo dan bonus.

Model, aturan konten, dan privasi

Dengan Ollama, Anda memutuskan model bobot terbuka mana yang akan dijalankan, dan tidak ada yang berdiri di antara prompt Anda dan bobotnya. Perilaku konten adalah apa pun yang dilakukan oleh model tersebut. Beberapa model komunitas disesuaikan untuk menolak lebih sedikit, beberapa tidak, dan Anda dapat menukarnya secara bebas.

Penyedia yang di-hosting menerapkan kebijakan penggunaan sendiri dan filter sendiri. Itu adalah posisi yang wajar untuk layanan tujuan umum, dan itulah mengapa beberapa penulis, pengembang roleplay, dan peneliti yang bekerja dengan fiksi dewasa menemukan bahwa jawaban yang di-hosting terpotong. Baca kebijakan penyedia mana pun yang Anda rencanakan untuk diandalkan, dan periksa aturan terkini mereka daripada berasumsi.

Situs ini berada di posisi yang berbeda. Situs ini melayani satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari OpenAI, Meta, Mistral, atau vendor lain, dan ini bukan router lintas vendor. Ada satu batas keras: tidak ada konten seksual yang melibatkan anak di bawah umur. Prompt tidak digunakan untuk pelatihan. Permintaan yang gagal atau ditolak tidak dikenakan biaya.

Dari segi privasi, Ollama lokal menyimpan prompt di mesin Anda, yang tidak dapat ditandingi oleh layanan terhosting. Jika data Anda tidak boleh keluar dari gedung, jalankan secara lokal dan hentikan perbandingan. Jika Anda dapat mengirim teks ke layanan terhosting, baca halaman privasi penyedia terlebih dahulu. Halaman kami ada di /privacy/.

Batas, konkurensi, dan fitur

Batas lokal bersifat fisik. Satu GPU melayani beberapa permintaan simultan sebelum setiap permintaan melambat, dan konteks panjang menghabiskan memori dengan cepat. Batas terhosting bersifat kebijakan. Pada endpoint ini, kunci penuh mengizinkan 8 permintaan konkuren dan 300 permintaan per menit, dan kunci uji coba mengizinkan 2 konkuren dan 60 per menit. Jendela konteks adalah 100.000 token, menghitung prompt ditambah penyelesaian, dan tubuh permintaan dapat berukuran hingga 8 MB.

Jika Anda melebihi batas, Anda akan mendapatkan HTTP 429. Kode error adalah rate_limited untuk permintaan per menit dan concurrency untuk terlalu banyak permintaan sekaligus. 429 dengan header Retry-After: 5 berarti kelebihan beban sementara, jadi tunggu lima detik dan coba lagi. Permintaan streaming memegang slot konkurensinya hingga aliran berakhir, yang penting jika Anda membuka banyak aliran secara paralel.

Cakupan fitur di sisi terhosting berfokus pada obrolan. Anda mendapatkan streaming melalui SSE dengan penggunaan di akhir, pemanggilan fungsi, mode JSON, dan meneruskan suhu, top_p, stop, seed, dan penalti. Tidak ada generasi gambar, audio, atau video, tidak ada embedding, dan tidak ada fine-tuning. Jika Anda membutuhkan itu, rencanakan untuk mendapatkannya dari tempat lain. dokumentasi kami mencantumkan bidang permintaan yang tepat.

Header respons mencakup X-Request-Id dan X-Balance-USD, sehingga Anda dapat mencatat permintaan dan melihat sisa kredit Anda tanpa panggilan terpisah.

Cara memilih

Pilih berdasarkan kendala yang paling menyakitkan.

• Prompt harus tetap berada di perangkat keras Anda. Gunakan Ollama secara lokal.
• Anda sudah memiliki GPU yang mampu dan ingin bereksperimen. Gunakan Ollama secara lokal, lalu pindah nanti jika lalu lintas melebihi kapasitasnya.
• Anda membutuhkan model frontier vendor tertentu atau ekosistemnya. Gunakan API vendor tersebut. Penyedia lain bukan pengganti untuk model tertentu.
• Anda menginginkan akses hosting bayar-per-penggunaan ke model bobot terbuka tanpa penolakan untuk penggunaan dewasa yang sah, dan tanpa perlu mengurus perangkat keras. Gunakan endpoint yang kompatibel dengan OpenAI, seperti ini.

Banyak tim akhirnya menggunakan dua: Ollama di laptop untuk pengembangan, dan endpoint yang di-hosting untuk apa pun yang harus dapat dijangkau dari server atau browser pelanggan. Karena keduanya menggunakan format permintaan yang sama, peralihannya adalah nilai konfigurasi, bukan penulisan ulang. Jika Anda ingin mencoba sisi yang di-hosting, pengguna baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik di halaman kunci API setelah pendaftaran. Tidak perlu kartu dan berlaku selama 7 hari. Top-up berbayar dimulai dari $20 dan menerima kartu atau kripto.

Panduan lainnya

• Contoh Pemanggilan Fungsi API Ollama dengan SDK OpenAI
• Pengaturan SillyTavern API Ollama: Sambungkan Endpoint yang Dihosting
• API XAI: Mitos vs Fakta - Alternatif Tanpa Sensor