Ollama API vs OpenAI API: Hangisi Projenize Uygun
Ollama modelleri kendi makinenizde çalıştırır; OpenAI ise modellerini kendi sunucularında çalıştırır. Bu sayfa, ikisini barındırma, istek formatı, maliyet, limitler ve içerik kuralları açısından karşılaştırır ve aradaki üçüncü bir seçeneği gösterir.
Güncellendi
Temel noktalar
- Ollama, kendi barındırdığınız yerel bir çalışma zamanıdır; OpenAI API'si ise token başına faturalandırılan barındırılan bir hizmettir.
- İkisi de OpenAI tarzı sohbet isteklerini kabul eder; bu nedenle bir istemci, temel URL'yi değiştirerek ikisine de bağlanabilir.
- Yerel çalıştırmalar donanım ve zaman maliyeti gerektirir; barındırılan çalıştırmalar token maliyeti gerektirir; başa baş noktası hacminize bağlıdır.
- Açık ağırlıklı bir modelle barındırılan OpenAI uyumlu bir uç nokta, bir GPU'ya sahip olmadan kullandıkça öde imkânı sağlar.
Kısa cevap
Ollama API'si ile OpenAI API'si arasındaki soru çoğunlukla modelin nerede çalıştığıyla ilgilidir. Ollama ile model, kontrol ettiğiniz bir bilgisayarda yaşar ve kodunuz localhost adresini çağırır. OpenAI ile model başkalarının veri merkezlerinde yaşar ve kodunuz bir anahtar kullanarak bir HTTPS adresini çağırır ve ay sonunda fatura kesilir.
Diğer tüm detaylar bu tek farktan kaynaklanır: maliyet yapısı, ayarlayabileceğiniz gecikme süresi, istemlerinizin kimler tarafından görüldüğü, seçebileceğiniz modeller ve yüz istek gönderdiğinizde ne olur. Tablo, her iki durumda da geçerli olan gerçekleri verir.
| Konu | Ollama | OpenAI API |
|---|---|---|
| Nerede çalışır | Dizüstü bilgisayarınız, iş istasyonunuz veya sunucunuz | OpenAI'nin sunucuları |
| Modeli kim kurar | Ağırlıkları kendiniz indirir ve güncellersiniz | OpenAI modellerini seçer ve günceller |
| Faturalandırma | Yerel çalışma zamanından token başına ücret yoktur; donanım ve elektrik için ödeme yaparsınız | Faturalandırma hesabı olan bir hesap üzerinden token başına |
| İstek formatı | Yerel rotalar ve bir OpenAI tarzı /v1 katmanı | Orijinal OpenAI formatı |
| Verimlilik | Donanımınızla sınırlıdır | Hesap hız limitleri tarafından sınırlıdır |
Orta bir yol istiyorsanız, aynı OpenAI formatını konuşan ancak açık ağırlıklı bir model sunan barındırılan bir uç nokta, bu sayfanın sonunda ele alınmıştır.
Her API'nin aslında ne olduğu
Ollama
Ollama, açık ağırlıklı modelleri indirir ve makinenizde HTTP üzerinden sunar. Varsayılan olarak 11434 portunda dinler. /api/chat ve /api/generate gibi kendi rotalarına sahiptir ve ayrıca mevcut OpenAI istemci kodunun ona işaret etmesi için /v1 altında bir OpenAI tarzı katman açığa çıkarır. Standart yerel kurulumda hesap veya anahtar yoktur. Anahtar alanını ısrarla isteyen istemciler bir yer tutucu dize alır.
Modeli, nicemlemeyi ve bağlam ayarlarını siz seçersiniz. Bu özgürlük başlıca cazibedir ve aynı zamanda maliyettir: Model belleğinize sığmazsa, yavaş olur veya hiç yüklenmez.
OpenAI API'si
OpenAI API'si barındırılan bir servistir. Bir hesap oluşturursunuz, faturalandırmayı eklersiniz, bir anahtar oluşturursunuz ve istekleri OpenAI'nin adresine gönderirsiniz. OpenAI'nin sunduğu modelleri, OpenAI'nin kullanım politikaları altında, hesap seviyenizin izin verdiği sınırlar dahilinde kullanırsınız. Kapasite, yükseltmeler ve çalışma süresi onların sorumluluğundadır, sizin değil. Çoğu öğreticide gördüğünüz istek formatı, yanıtta messages dizisi ve choices dizisi içerir ve bu API'den gelir.
Neden karşılaştırılıyorlar
Karşılaştırma, her ikisinin de aynı istemci koduyla erişilebilir olmasından kaynaklanır. Resmi OpenAI SDK'leri temel URL'yi geçersiz kılmaya olanak tanır ve Ollama'nın /v1 katmanı sohbet tamamlamalarını anlar. Bu nedenle, birine yönelik olarak yazılmış bir betik genellikle tek bir satırda diğerine yönlendirilebilir. Bu kullanışlıdır ve ayrıca gerçek farklılıkları gizler; bu farklılıklar sonraki bölümlerde detaylıca anlatılacaktır.
Aynı istemci kodu, iki temel URL
Bu, geçişi ucuz kılan kısımdır. Aşağıdaki Python kod parçacığı yerel bir Ollama sunucusuna bağlanır. Sadece temel URL, anahtar ve model adı hedefe özeldir.
from openai import OpenAI
# Local Ollama through its OpenAI-style layer
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
reply = client.chat.completions.create(
model="llama3.2", # whatever model you pulled locally
messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)Aynı isteği barındırılan bir OpenAI uyumlu uç noktaya göndermek için üç değeri değiştirirsiniz. İşte model ID'si uncensored olan bu site için sürüm.
from openai import OpenAI
client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")
reply = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)Aynı istek, herhangi bir uygulama koduna dokunmadan önce hızlı bir test için kullanışlı olan curl ile de çalışır.
curl https://api.ollamaapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Bu hedefler arasında herhangi bir geçiş için bir uyarı geçerlidir. Uyumluluk istek ve yanıt biçimini kapsar, davranışı değil. Farklı modeller talimatları farklı şekilde izler, araç çağrılarını farklı şekilde işler ve farklı biçimlendirme üretir. Yeni hedefe güvenmeden önce kendi istemlerinizi onun üzerinden çalıştırın.
Maliyet: Sahip olduğunuz donanım ile satın aldığınız tokenlar
Yerel çıkarım, fatura gelmediği için ücretsiz görünür. Ücretsiz değildir. Bir GPU veya büyük bellekli makine için, elektrik için ve sürücüleri kurmak, nicelleme seviyelerini seçmek ve bellek dolduğunda sunucuyu yeniden başlatmak için harcadığınız saatler için ödeme yaparsınız. Zaten yetkin donanımınız varsa ve günde birkaç istem çalıştırıyorsanız, bu maliyet pratikte sıfıra yakındır. Ancak istediğiniz modeli çalıştırmak için sadece bir kart satın almanız gerekirse, matematik değişir.
Barındırılan fiyatlandırma ters bir şekildedir: önde hiçbir şey yok ve kullanımla artan bir ücret. Bu sitede fiyat, ön ödemeli kredi ile, abonelik olmadan, 1M girdi token başına $0.15 ve 1M çıktı token başına $0.50'dir. OpenAI için, model bazında değiştiği ve zamanla değiştiği için mevcut fiyatlandırma sayfalarına bakın.
Barındırılan matematik, bu uç noktada gerçekçi bir iş için nasıl çalışır. Diyelim ki bir uygulama bir ayda 40,000 istek gönderir; her biri 1,500 girdi token ve 400 çıktı token ile.
- Girdi: 40,000 x 1,500 = 60,000,000 token veya 60M. 1M başına $0.15 ile bu $9.00 eder.
- Çıktı: 40,000 x 400 = 16,000,000 token veya 16M. 1M başına $0.50 ile bu $8.00 eder.
- Toplam: Ay için $17.00.
Bu sayıyı uygun bir makinenin satın alma, çalıştırma ve bakım maliyetine karşı ayarlayabilirsiniz. Hafif veya dalgalı trafik için token başına ödeme genellikle daha avantajlıdır. Zaten sahip olduğunuz donanımda sürekli yoğun trafik için yerel çözüm genellikle daha avantajlıdır. Bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfasına bakın.
Modeller, içerik kuralları ve gizlilik
Ollama ile hangi açık ağırlıklı modeli çalıştıracağınıza siz karar verirsiniz ve isteminiz ile ağırlıklar arasında kimse yoktur. İçerik davranışı bu modelin yaptığı şeydir. Bazı topluluk modelleri daha az reddetmeye ayarlanmıştır, bazıları değildir ve bunları serbestçe değiştirebilirsiniz.
Barındırılan bir sağlayıcı kendi kullanım politikalarını ve kendi filtrelemesini uygular. Bu, genel amaçlı bir hizmet için makul bir konumdur ve aynı zamanda bazı yazarlar, rol yapma geliştiricileri ve olgun kurgu üzerinde çalışan araştırmacıların barındırılan yanıtlarının kesintiye uğramasının nedenidir. Bağımlı olmayı planladığınız herhangi bir sağlayıcının politikasını okuyun ve varsayımda bulunmak yerine mevcut kurallarını kontrol edin.
Bu site farklı bir konumda durur. Bağımsız bir sağlayıcı tarafından çalıştırılan ve yasal yetişkin kullanım için içerik reddi olmadan cevap vermek üzere ayarlanmış tek bir açık ağırlıklı model sunar. OpenAI, Meta, Mistral veya başka bir sağlayıcının resmi API'si değildir ve sağlayıcılar arasında bir yönlendirici değildir. Tek bir sert limit vardır: reşit olmayanları içeren cinsel içerik yoktur. İstemler eğitim için kullanılmaz. Başarısız veya reddedilen istekler için ücret alınmaz.
Gizlilik konusunda yerel Ollama istemleri makinenizde tutar; bu barındırılan hiçbir hizmet karşılayamaz. Verileriniz binadan hiç çıkmamalıysa, yerelde çalıştırın ve karşılaştırmayı bırakın. Verileri barındırılan bir hizmete gönderebiliyorsanız, önce sağlayıcının gizlilik sayfasını okuyun. Bizimki /privacy/ adresindedir.
Limitler, eşzamanlılık ve özellikler
Yerel sınırlar fizikseldir. Bir GPU, her bir istek yavaşlamadan önce birkaç eşzamanlı isteğe hizmet eder ve uzun bir bağlam belleği hızla tüketir. Barındırılan sınırlar politikalardır. Bu uç noktada tam bir anahtar 8 eşzamanlı isteğe ve dakika başına 300 isteğe izin verir; deneme anahtarı 2 eşzamanlı ve dakika başına 60 isteğe izin verir. Bağlam penceresi 100.000 token'dır; istem ve tamamlama birlikte sayılır ve istek gövdesi 8 MB'a kadar olabilir.
Bir limiti aşarsanız HTTP 429 alırsınız. Hata kodu dakikadaki istekler için rate_limited ve aynı anda çok fazla istek için concurrency şeklindedir. Retry-After: 5 başlığı içeren bir 429 yanıtı geçici aşırı yüklenmeyi gösterir; bu nedenle beş saniye bekleyip yeniden deneyin. Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar; bu, paralel olarak çok sayıda akış açarsanız önem kazanır.
Barındırılan taraftaki özellik kapsamı sohbet odaklıdır. Kullanım bilgisiyle SSE üzerinden akış, araç çağırma, JSON modu ve temperature, top_p, stop, seed ve penalty değerlerinin doğrudan geçirilmesini alırsınız. Resim, ses veya video üretimi, gömme ve ince ayar yoktur. Bunlara ihtiyacınız varsa, bunları başka yerlerden temin etmeyi planlayın. dokümantasyonumuz tam istek alanlarını listeler.
Yanıt başlıkları X-Request-Id ve X-Balance-USD içerir; böylece bir isteği günlüğe kaydedebilir ve ayrı bir çağrı yapmadan kalan kredinizi görebilirsiniz.
Nasıl seçilir
En çok acı veren kısıtlamaya göre seçin.
- İstemler donanımınızda kalmalı. Ollama'yı yerel olarak kullanın.
- Zaten yetkin bir GPU'nuz var ve denemek istiyorsunuz. Ollama'yı yerel olarak kullanın, trafik bunu aşarsa sonra geçiş yapın.
- Belirli bir satıcının sınır modeline veya ekosistemine ihtiyacınız var. O satıcının API'sini kullanın. Farklı bir sağlayıcı, belirli bir modelin yerine geçmez.
- Barındırılan, kullanım başına ödemeli bir açık ağırlıklı modele erişim istiyorsunuz, yasal yetişkin kullanım için reddetme yok ve bakımı gerektiren donanım yok. Bu gibi barındırılan OpenAI-uyumlu bir uç nokta kullanın.
Çoğu ekip iki tanesini kullanmaya karar verir: geliştirme için dizüstü bilgisayarda Ollama ve bir sunucudan veya bir müşterinin tarayıcısından erişilmesi gereken her şey için barındırılan bir uç nokta. Her ikisi de aynı istek formatını desteklediğinden, geçiş bir yapılandırma değeridir, bir yeniden yazma değildir. Barındırılan tarafı denemek isterseniz, yeni kullanıcılar API anahtarı sayfasına üzerinde tek tıkla kayıt sonrası $0,50 deneme kredisi talep edebilir. Bir kart gerektirmez ve 7 gün için geçerlidir. Ücretli yüklemeler $20'den başlar ve kart veya kripto kabul eder.
Daha fazla kılavuz
Sorular ve cevaplar
Ollama API'si OpenAI SDK ile uyumlu mu?
Ollama, sohbet tamamlamalarıyla ilgilenen /v1 altında OpenAI tarzı bir katman sunar; bu nedenle resmi OpenAI SDK'ları, temel URL'yi değiştirerek ona işaret edebilir. Sürümünüzün hangi alanları desteklediğini görmek için Ollama belgelerine bakın.
Ollama, OpenAI API'sinden daha ucuz mu?
Donanımınıza ve hacminize bağlıdır. Yerel çalışma zamanının token başına bir ücreti yoktur, ancak makine ve bakım için ödeme yaparsınız. Hafif veya düzensiz kullanım için token başına faturalandırma, bir GPU satın almaktan genellikle daha ucuzdur.
Bu sitenin uç noktasını yerel Ollama yerine kullanabilir miyim?
Evet, barındırılan bir OpenAI-uyumlu uç nokta istiyorsanız. Temel URL'yi https://api.ollamaapi.com/v1 olarak ve modeli uncensored olarak ayarlayın. Bu Ollama değildir ve makinenizde çalışmaz.
Barındırılan uç nokta araç çağırma ve akış desteği sağlıyor mu?
Evet. SSE üzerinden akış, araç çağırma ve JSON modu destekler; 100.000 token'lık bir bağlam penceresi sunar.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.
