Konfiguracja Ollama API w SillyTavern: Podłączenie endpointu

Czego potrzebujesz przed rozpoczęciem

Jeśli szukałeś „ollama api sillytavern”, prawdopodobnie chcesz, aby SillyTavern rozmawiał z modelem przez adres w stylu OpenAI zamiast lokalnej instalacji Ollama. To działa, ponieważ SillyTavern pozwala dodać dowolny endpoint kompatybilny z OpenAI. Ta strona łączy go z endpointem hostowanym, co oznacza brak GPU po Twojej stronie.

Potrzebujesz trzech rzeczy: działającej instalacji SillyTavern, klucza API oraz wartości endpointu. Wartości to:

• Bazowy URL: https://api.ollamaapi.com/v1
• Identyfikator modelu: uncensored
• Authorization: Twój klucz wysłany jako token Bearer (SillyTavern robi to za Ciebie)

Aby uzyskać klucz, zarejestruj się przez Google lub e-mail z hasłem i otwórz stronę klucza API. Nowi użytkownicy mogą jednym kliknięciem uzyskać $0.50 darmowego kredytu próbnego. Jest jeden na osobę, ważny przez 7 dni i nie wymaga karty. Klucze próbne są ograniczone do 2 równoległych zapytań i 60 zapytań na minutę, co wystarcza do jednego czatu.

Zasada treści: model jest dostrojony do odpowiadania bez odrzuceń treści dla legalnego użytku dorosłego, co pasuje do fikcji, roleplay i konfiguracji towarzyskich dla dorosłych. Nic z udziałem nieletnich nie jest dozwolone, a endpoint ma sztywny limit w tej kwestii.

Przetestuj klucz najpierw za pomocą curl

Pięciosekundowy test oszczędza dużo zgadywania. Jeśli to polecenie zwróci odpowiedź, klucz, URL i ID modelu są poprawne, a każdy późniejszy problem dotyczy ustawień SillyTavern.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Możesz też wypisać modele za pomocą GET https://api.ollamaapi.com/v1/models używając tego samego nagłówka. Błąd 401 oznacza, że klucz jest niepoprawny lub brakuje go. Odpowiedź z tekstem w choices[0].message.content oznacza, że jesteś gotowy do konfiguracji aplikacji.

Połącz SillyTavern krok po kroku

Nazwy menu mogą się nieznacznie różnić w zależności od wersji SillyTavern, ale ścieżka jest stabilna. Otwórz ikonę wtyczki w górnej części, która jest panelem Połączeń API.

1. Ustaw API na Chat Completion. Nie używaj Text Completion dla tego endpointa, ponieważ obsługuje tylko uzupełnienia czatu.
2. Ustaw Chat Completion Source na Custom (OpenAI-compatible).
3. W polu Custom Endpoint (Base URL) wpisz https://api.ollamaapi.com/v1. Nie dodawaj żadnej końcowej ścieżki, takiej jak /chat/completions.
4. Wklej swój klucz do pola Custom API Key.
5. W polu Model ID wpisz uncensored. Jeśli pole oferuje listę rozwijaną wypełnianą przez ścieżkę modeli, wybierz ten sam wpis.
6. Naciśnij Connect. Zielony status z nazwą modelu oznacza, że nawiązanie połączenia się powiodło.

Otwórz dowolną kartę postaci i wyślij krótką wiadomość. Jeśli tekst pojawia się w strumieniu, połączenie jest gotowe. Pozostałe sekcje dotyczą konfiguracji, ponieważ ustawienia domyślne nie zawsze najlepiej pasują do modelu hostowanego z dużym oknem kontekstu.

Przypomnienie dla osób przybyłych z Ollama: Własne połączenie Ollama w SillyTavern używa adresu lokalnego i ścieżki Text Completion. Ta ścieżka wskazuje na Twój własny komputer. Tutaj używasz ścieżki Chat Completion i publicznego adresu HTTPS, więc te dwa ustawienia nie mieszają się.

Ustawienia warte zmiany

Rozmiar kontekstu

Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem. SillyTavern pozwala ustawić rozmiar kontekstu w panelu kontrolera próbkowania, a aplikacja usuwa najstarsze wiadomości, gdy czat przekracza ten limit. Większa wartość zapamiętuje więcej z fabuły, ale też kosztuje więcej, ponieważ cała historia jest wysyłana jako dane wejściowe przy każdej odpowiedzi.

Oto przykładowe obliczenia. Tura czatu, która wysyła 8 000 tokenów historii i otrzymuje odpowiedź o długości 300 tokenów, kosztuje 8 000 x $0,15 na 1 mln tokenów = $0,0012 za dane wejściowe, plus 300 x $0,50 na 1 mln tokenów = $0,00015 za dane wyjściowe. To łącznie $0,00135 na turę, więc 100 tur kosztuje $0,135. Jeśli zwiększysz historię do 60 000 tokenów, sama część danych wejściowych kosztuje $0,009 na turę, więc 100 tur kosztuje $0,90 plus $0,015 za dane wyjściowe, czyli łącznie $0,915. Większość czatów nie potrzebuje tyle, a podsumowanie starych wydarzeń zwykle działa lepiej niż surowa historia.

Maksymalna długość odpowiedzi

max_tokens jest opcjonalne. Ustawienie długości odpowiedzi na 300–500 tokenów utrzymuje odpowiedzi w porządku i ogranicza koszt danych wyjściowych. Zwiększ tę wartość, jeśli postać ma tendencję do przycinania w połowie zdania.

Próbkowanie

Temperature, top_p, sekwencje stop, seed oraz kary za częstotliwość i obecność są przekazywane do modelu. Zacznij od wartości domyślnych presetu czatu i zmieniaj jedną wartość naraz. Jeśli odpowiedzi powtarzają frazy, zwiększ nieco kary zamiast temperaturę.

Strumieniowanie

Pozostaw włączone strumieniowanie. Tekst pojawia się w miarę generowania, korzystając z SSE. Użycie jest raportowane na końcu strumienia. Pamiętaj, że żądanie strumieniowania zajmuje slot concurrency do momentu zakończenia, więc naciśnięcie przycisku regenerate dwa razy szybko na kluczu próbnym (limit 2 równoległe zapytania) może spowodować błąd.

Rozwiązywanie problemów

Objaw	Prawdopodobna przyczyna	Naprawa
401 Nieautoryzowany	Zły lub brakujący klucz	Wklej ponownie klucz i sprawdź spacje na początku lub końcu
404 Nie znaleziono	Nieprawidłowa ścieżka w bazowym adresie URL	Użyj dokładnie https://api.ollamaapi.com/v1, nic po nim
Model nie znaleziony	Zły identyfikator modelu	Wpisz uncensored z małych liter
429 z concurrency	Zbyt wiele zapytań naraz	Poczekaj na zakończenie bieżącej odpowiedzi; unikaj czatów grupowych przy kluczu próbnym
429 z rate_limited	Przekroczenie zapytań na minutę	Zwolnij; pełny klucz pozwala na 300 na minutę
429 z Retry-After 5	Tymczasowe przeciążenie	Ponów próbę po pięciu sekundach
Komunikat CORS przeglądarki	SillyTavern uruchomiony na innym urządzeniu lub przez proxy	Włącz ścieżkę żądania po stronie serwera lub uruchom na jednej maszynie

Czaty grupowe wymagają uwagi. SillyTavern może wysyłać kilka odpowiedzi postaci sekwencyjnie lub jednocześnie. Jeśli widzisz błędy concurrency w grupach, zmniejsz liczbę aktywnych postaci lub uaktualnij klucz z wersji próbnej. Pełny klucz pozwala na 8 równoległych zapytań.

Gdy odpowiedź jest pusta lub ucięta, najpierw sprawdź ustawienie długości odpowiedzi, a następnie sekwencje stop. Ciąg stop pasujący do powszechnego słowa kończy odpowiedź wcześnie bez błędu.

Doładowanie kredytu i kontrola kosztów

Kredyt próbny wystarczy, aby przetestować konfigurację i ocenić jakość pisania. Przy koszcie na turę z powyższego przykładu, $0,50 wystarcza na około 370 tur czatu o długości 8 000 tokenów (0,50 podzielone przez 0,00135). Po tym, doładuj konto kwotą od $20, w dowolnej pełnej kwocie do $500. Akceptowane są karty (Visa, Mastercard, Apple Pay, Google Pay) oraz kryptowaluty (USDT na TRC20, USDC na Base). Większe doładowania dają bonus: +5% od $50, +10% od $100 i +15% od $200. Kredyt nigdy nie wygasa, nic nie odnawia się samo, a nieudane lub odrzucone żądania nie są rozliczane. Pełną tabelę cen znajdziesz na stronie z cenami.

Saldo po każdym wywołaniu widoczne jest w nagłówku odpowiedzi X-Balance-USD, a także w panelu użytkownika. Dokumentacja wyjaśnia pola zapytania, jeśli chcesz później przejść z SillyTaverna na własne skrypty. Prompty nie są wykorzystywane do trenowania modeli.

Więcej przewodników

• Ollama API vs OpenAI API: Które pasuje do Twojego projektu
• Przykład wywoływania funkcji w API Ollama z użyciem SDK OpenAI
• API XAI: Mity vs Fakty - Alternatywa bez cenzury