Ollama API SillyTavern Kurulumu: Barındırılan Uç Noktaya Bağlanın

Başlamadan önce ihtiyacınız olanlar

ollama api sillytavern araması yaptıysanız, büyük olasılıkla SillyTavern'in yerel bir Ollama kurulumu yerine OpenAI tarzı bir adres üzerinden bir modele bağlanmasını istiyorsunuz. Bu mümkündür çünkü SillyTavern herhangi bir OpenAI uyumlu uç nokta eklemenize olanak tanır. Bu sayfa onu barındırılan bir uç noktaya bağlar, yani tarafınızda GPU gerekmez.

Üç şeye ihtiyacınız var: çalışan bir SillyTavern kurulumu, bir API anahtarı ve uç nokta değerleri. Değerler şunlardır:

• Temel URL: https://api.ollamaapi.com/v1
• Model Kimliği: uncensored
• Yetkilendirme: anahtarınız, bearer token olarak gönderilir (SillyTavern bunu sizin için yapar)

Anahtar için Google veya e-posta ve şifre ile giriş yapın ve API anahtarı sayfasını açın. Yeni kullanıcılar tek tıkla orada $0,50 deneme kredisi alabilir. Kişi başı bir kez geçerlidir, 7 gün boyunca geçerlidir ve kart gerektirmez. Deneme anahtarları 2 eşzamanlı istek ve dakika başına 60 istek ile sınırlıdır; bu tek bir sohbet için yeterlidir.

İçerik kuralı: model, yasal yetişkin kullanımlar için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır; bu kurgu, rol yapma ve yetişkin companion kurulumları için uygundur. Reşit olmayanlar içeren hiçbir şey kabul edilmez ve uç noktada buna dair katı bir limit vardır.

Anahtarı önce curl ile test edin

Beş saniyelik bir test, çok tahmin yapmaktan kurtarır. Bu komut bir yanıt döndürürse, anahtar, URL ve model ID doğrudur ve sonraki herhangi bir sorun SillyTavern ayarlarındadır.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Aynı başlığı kullanarak GET https://api.ollamaapi.com/v1/models ile modelleri de listeleyebilirsiniz. 401, anahtarın yanlış veya eksik olduğu anlamına gelir. choices[0].message.content metni içeren bir yanıt, uygulamayı yapılandırmaya hazır olduğunuz anlamına gelir.

SillyTavern'i adım adım bağlayın

Menü adları SillyTavern sürümleri arasında biraz değişebilir, ancak yol sabittir. Üstteki fiş ikonunu açın; bu API Bağlantıları panelidir.

1. API değerini Sohbet Tamamlama olarak ayarlayın. Bu uç nokta için Metin Tamamlama'yı kullanmayın, çünkü yalnızca sohbet tamamlamaları sunar.
2. Chat Completion Kaynağı değerini Özel (OpenAI uyumlu) olarak ayarlayın.
3. Özel Uç Nokta (Base URL) alanında https://api.ollamaapi.com/v1 girin. /chat/completions gibi son ek bir yol bırakmayın.
4. Anahtarınızı Özel API Anahtarı alanına yapıştırın.
5. Model ID alanında uncensored yazın. Alan, modeller rotası tarafından doldurulmuş bir açılır menü sunuyorsa, aynı girişi seçin.
6. Bağlan düğmesine basın. Model adıyla yeşil durum, el sıkışmasının başarılı olduğunu gösterir.

Herhangi bir karakter kartı açın ve kısa bir mesaj gönderin. Metin akarsa, bağlantı ile işiniz biter. Kalan bölümler ince ayarları kapsar, çünkü varsayılanlar büyük pencereye sahip barındırılan bir model için her zaman en iyi uyum değildir.

Ollama'dan gelenler için bir hatırlatma: SillyTavern'in kendi Ollama bağlantısı yerel bir adres ve Metin Tamamlama yolunu kullanır. Bu yol kendi bilgisayarınıza işaret eder. Burada bunun yerine Chat Completion yolunu ve genel bir HTTPS adresini kullanırsınız, böylece iki kurulum karışmaz.

Değiştirilmeye değer ayarlar

Bağlam boyutu

Pencere 100.000 tokenlik bir bağlam penceresidir; istem ve tamamlama birlikte. SillyTavern, örnekleme panelinde bir bağlam boyutu ayarlamanıza olanak tanır ve uygulama sohbet büyüdükçe en eski mesajları atar. Daha büyük bir değer hikayenin daha fazlasını hatırlar ve ayrıca daha pahalıdır, çünkü her yanıtta tüm geçmiş girdi olarak gönderilir.

İşte bir örnek. Geçmişi 8.000 token gönderen ve 300 token'lık bir yanıt alan bir sohbet dönüşü, giriş için 8.000 x $0,15 / 1M = $0,0012 ve çıkış için 300 x $0,50 / 1M = $0,00015 maliyetine sahiptir. Bu dönüş başına $0,00135 eder; yani 100 dönüş $0,135 eder. Geçmişi 60.000 token'a çıkarırsanız, sadece giriş kısmı dönüş başına $0,009 eder; yani 100 dönüş $0,90 + $0,015 çıkış veya toplam $0,915 eder. Çoğu sohbetin buna ihtiyacı yoktur ve eski olayların özeti ham geçmişten genellikle daha iyi çalışır.

Maksimum yanıt uzunluğu

max_tokens isteğe bağlıdır. 300 ila 500 tokenlik bir yanıt uzunluğu ayarlamak, yanıtları düzenli tutar ve çıktı maliyetini sınırlar. Karakter cümle ortasında kesilme eğilimindeyse bunu artırın.

Örnekleme

Sıcaklık, top_p, durdurma dizeleri, tohum ve sıklık ile varlık cezaları modele iletilir. Bir sohbet ön ayarının varsayılanlarına yakın başlayın ve her seferinde bir değeri değiştirin. Yanıtlar kalıpları tekrarlıyorsa, sıcaklığı değil cezaları biraz artırın.

Akış

Akışı açık bırakın. Metin, SSE kullanılarak oluşturuldukça görünür. Kullanım, akışın sonunda raporlanır. Akışlı bir istek sonlanana kadar eşzamanlılık slotunu tuttuğunu unutmayın; bu nedenle bir deneme anahtarında (2 eşzamanlı) hızlıca iki kez yenilemeye basmak bir hata oluşturabilir.

Sorun Giderme

Belirti	Olası neden	Çözüm
401 Yetkisiz	Yanlış veya eksik anahtar	Anahtarı tekrar yapıştırın ve her iki uçta boşluk olup olmadığını kontrol edin
404 Bulunamadı	Base URL'de yanlış yol	Tam olarak https://api.ollamaapi.com/v1 kullanın, arkasında hiçbir şey olmasın
Model bulunamadı	Yanlış model ID	Küçük harfle uncensored yazın
concurrency ile 429	Aynı anda çok fazla istek	Çalışan yanıtın bitmesini bekleyin; deneme anahtarında grup sohbetlerinden kaçının
rate_limited ile 429	Dakika başı isteklerin üzerinde	Yavaşlayın; tam anahtar dakika başına 300'e izin verir
429 yanıtı ve Retry-After 5	Geçici aşırı yüklenme	Beş saniye sonra tekrar deneyin
Tarayıcı CORS mesajı	Başka bir cihazda veya proxy üzerinde çalışan SillyTavern	Sunucu tarafı istek yolunu etkinleştirin veya tek bir makinede çalıştırın

Grup sohbetleri bir notu hak eder. SillyTavern, sırayla veya aynı anda birkaç karakter yanıtı gönderebilir. Gruplarla eşzamanlılık hataları görürseniz, aktif karakter sayısını azaltın veya deneme anahtarından yükseltin. Tam anahtar 8 eşzamanlı isteklere izin verir.

Bir yanıt boş veya kısa kesildiğinde, önce yanıt uzunluğu ayarına, ardından durdurma dizilerine bakın. Yaygın bir kelimeyle eşleşen bir durdurma dizisi, hata olmadan yanıtı erken sonlandırır.

Kredi ekleme ve maliyetleri öngörülebilir kılma

Deneme kredisi, kurulumu denemek ve yazıyı değerlendirmek için yeterlidir. Yukarıdaki örnekteki dönüş başına maliyetle, $0,50 yaklaşık 370 dönüş (8.000 tokenlik bir sohbet için) öder (0,50 / 0,00135). Bundan sonra, $20'den başlayarak, $500'ye kadar herhangi bir tam miktarda bakiye yükleyin. Kart (Visa, Mastercard, Apple Pay, Google Pay) ve kripto (TRC20 üzerinde USDT, Base üzerinde USDC) kabul edilir. Daha büyük yüklemeler bonus taşır: $50'den +%5, $100'den +%10 ve $200'den +%15. Kredi hiç sona ermez, kendi kendine yenilenmez ve başarısız veya reddedilen istekler ücretlendirilmez. Tam tablo için fiyatlandırma sayfasına bakın.

Her çağrı sonrası bakiye X-Balance-USD yanıt başlığında görünür ve panodan da kontrol edebilirsiniz. belgeler, daha sonra SillyTavern'den kendi betiklerinize geçmek isterseniz istek alanlarını açıklar. İstemler eğitim için kullanılmaz.

Daha fazla kılavuz

• Ollama API vs OpenAI API: Hangisi Projenize Uygun
• OpenAI SDK ile Ollama API Araç Çağırma Örneği
• XAI API: Mitler ve Gerçekler - Sansürsüz Alternatif