Pengaturan API Ollama SillyTavern: Sambungkan ke Endpoint yang Di-host

Yang Anda butuhkan sebelum memulai

Jika Anda mencari "ollama api sillytavern", Anda mungkin ingin SillyTavern berkomunikasi dengan model melalui alamat bergaya OpenAI, bukan instalasi Ollama lokal. Itu berfungsi, karena SillyTavern memungkinkan Anda menambahkan endpoint apa pun yang kompatibel dengan OpenAI. Halaman ini mengaitkannya dengan endpoint yang di-host, yang berarti tidak ada GPU di sisi Anda.

Anda memerlukan tiga hal: instalasi SillyTavern yang berfungsi, kunci API, dan nilai endpoint. Nilainya adalah:

• URL Dasar: https://api.ollamaapi.com/v1
• ID Model: uncensored
• Otorisasi: kunci Anda, dikirim sebagai token bearer (SillyTavern melakukan ini untuk Anda)

Untuk kunci tersebut, daftar dengan Google atau dengan email dan kata sandi lalu buka halaman kunci API. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di sana. Ini satu per orang, berlaku selama 7 hari, dan tidak memerlukan kartu. Kunci uji coba dibatasi hingga 2 permintaan konkuren dan 60 permintaan per menit, yang cukup untuk satu obrolan.

Aturan konten: model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, yang cocok untuk fiksi, roleplay, dan pengaturan pendamping untuk dewasa. Tidak ada yang melibatkan anak di bawah umur yang diizinkan, dan endpoint memiliki batas keras untuk hal tersebut.

Uji kunci dengan curl terlebih dahulu

Tes lima detik menghemat banyak menebak. Jika perintah ini mengembalikan balasan, kunci, URL, dan ID model benar, dan masalah selanjutnya ada di pengaturan SillyTavern.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Anda juga dapat mencantumkan model dengan GET https://api.ollamaapi.com/v1/models menggunakan header yang sama. 401 berarti kunci salah atau hilang. Balasan dengan teks di choices[0].message.content berarti Anda siap mengkonfigurasi aplikasi.

Hubungkan SillyTavern langkah demi langkah

Nama menu dapat bergeser sedikit di antara versi SillyTavern, tetapi jalannya stabil. Buka ikon steker di bagian atas, yang merupakan panel Koneksi API.

1. Atur API menjadi Chat Completion. Jangan gunakan Text Completion untuk endpoint ini, karena hanya menawarkan chat completions.
2. Atur Sumber Chat Completion ke Custom (OpenAI-compatible).
3. Di Custom Endpoint (Base URL), masukkan https://api.ollamaapi.com/v1. Jangan sertakan jalur akhir seperti /chat/completions.
4. Tempel kunci Anda ke Kunci API Kustom.
5. Di Model ID, ketik uncensored. Jika bidang menawarkan dropdown yang diisi oleh rute model, pilih entri yang sama.
6. Tekan Connect. Status hijau dengan nama model berarti handshake berhasil.

Buka kartu karakter apa pun dan kirim pesan singkat. Jika teks mengalir, Anda selesai dengan koneksi. Bagian yang tersisa mencakup penyetelan, karena pengaturan bawaan tidak selalu paling cocok untuk model yang di-host dengan jendela besar.

Pengingat jika Anda berasal dari Ollama: Koneksi Ollama bawaan SillyTavern menggunakan alamat lokal dan jalur Text Completion. Jalur ini mengarah ke komputer Anda sendiri. Di sini Anda menggunakan jalur Chat Completion dan alamat HTTPS publik, sehingga kedua pengaturan tidak bercampur.

Pengaturan yang layak diubah

Ukuran konteks

Jendela adalah 100.000 token, prompt plus completion. SillyTavern memungkinkan Anda mengatur ukuran konteks di panel sampler, dan aplikasi menghapus pesan tertua ketika obrolan tumbuh melampaui itu. Nilai yang lebih besar mengingat lebih banyak cerita dan juga lebih mahal, karena seluruh riwayat dikirim sebagai input pada setiap balasan.

Berikut adalah contoh yang dikerjakan. Giliran obrolan yang mengirim 8.000 token riwayat dan menerima balasan 300 token biaya 8.000 x $0,15 per 1M = $0,0012 untuk input, ditambah 300 x $0,50 per 1M = $0,00015 untuk output. Itu adalah $0,00135 per giliran, sehingga 100 giliran biaya $0,135. Dorong riwayat ke 60.000 token dan bagian input saja adalah $0,009 per giliran, sehingga 100 giliran biaya $0,90 ditambah $0,015 untuk output, atau $0,915 secara total. Sebagian besar obrolan tidak membutuhkan sebanyak itu, dan ringkasan peristiwa lama biasanya bekerja lebih baik daripada riwayat mentah.

Panjang respons maksimum

max_tokens bersifat opsional. Menetapkan panjang respons antara 300 hingga 500 token menjaga balasan tetap rapi dan membatasi biaya output. Tingkatkan nilai ini jika karakter cenderung terpotong di tengah kalimat.

Sampling

Suhu, top_p, urutan berhenti, benih, dan penalti frekuensi dan kehadiran diteruskan ke model. Mulailah di dekat pengaturan bawaan preset obrolan, dan ubah satu nilai pada satu waktu. Jika balasan mengulang frasa, naikkan penalti sedikit daripada suhu.

Streaming

Biarkan streaming aktif. Teks muncul saat dihasilkan, menggunakan SSE. Penggunaan dilaporkan di akhir streaming. Perhatikan bahwa permintaan streaming memegang slot konkurensi hingga selesai, sehingga menekan regenerate dua kali dengan cepat pada kunci uji coba (2 konkuren) dapat menghasilkan kesalahan.

Pemecahan Masalah

Gejala	Penyebab yang mungkin	Perbaikan
401 Tidak Diotorisasi	Kunci salah atau hilang	Tempelkan kunci lagi dan periksa spasi di kedua ujungnya
404 Tidak ditemukan	Jalur salah di base URL	Gunakan tepat https://api.ollamaapi.com/v1, tidak ada apa pun setelahnya
Model tidak ditemukan	ID model salah	Ketik uncensored dengan huruf kecil
429 dengan concurrency	Terlalu banyak permintaan sekaligus	Tunggu balasan yang sedang berjalan berakhir; hindari obrolan grup pada kunci uji coba
429 dengan rate_limited	Melebihi batas permintaan per menit	Perlambat; kunci penuh mengizinkan 300 per menit
429 dengan Retry-After 5	Beban berlebih sementara	Coba lagi setelah lima detik
Pesan CORS browser	SillyTavern berjalan di perangkat lain atau proxy	Aktifkan jalur permintaan sisi server atau jalankan di satu mesin

Obrolan grup memerlukan catatan. SillyTavern dapat mengirim beberapa balasan karakter secara berurutan atau bersamaan. Jika Anda melihat kesalahan konkurensi dengan grup, kurangi jumlah karakter aktif atau tingkatkan dari kunci uji coba. Kunci penuh mengizinkan 8 permintaan paralel.

Ketika balasan kosong atau terpotong, lihat pengaturan panjang respons terlebih dahulu, lalu urutan berhenti. String berhenti yang cocok dengan kata umum mengakhiri balasan lebih awal tanpa kesalahan.

Menambahkan saldo dan menjaga biaya dapat diprediksi

Kredit uji coba cukup untuk mencoba pengaturan dan menilai tulisan. Dengan biaya per giliran dari contoh di atas, $0,50 membayar sekitar 370 giliran obrolan 8.000 token (0,50 dibagi 0,00135). Setelah itu, isi saldo mulai dari $20, dengan jumlah bulat apa pun hingga $500. Kartu (Visa, Mastercard, Apple Pay, Google Pay) dan kripto (USDT di TRC20, USDC di Base) diterima. Isi saldo lebih besar mendapat bonus: +5% dari $50, +10% dari $100 dan +15% dari $200. Saldo tidak pernah kedaluwarsa, tidak ada perpanjangan otomatis, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Lihat halaman harga untuk tabel lengkap.

Saldo setelah setiap panggilan muncul di header respons X-Balance-USD, dan Anda juga dapat memeriksa dasbor. dokumentasi menjelaskan bidang permintaan jika Anda ingin beralih dari SillyTavern ke skrip Anda sendiri nanti. Prompt tidak digunakan untuk pelatihan.

Panduan lainnya

• API Ollama vs API OpenAI: Mana yang Cocok untuk Proyek Anda
• Contoh Pemanggilan Fungsi API Ollama dengan SDK OpenAI
• API XAI: Mitos vs Fakta - Alternatif Tanpa Sensor