Настройка Ollama API в SillyTavern: подключение хостингового эндпоинта

Что нужно перед началом

Если вы искали ollama api sillytavern, вероятно, вы хотите, чтобы SillyTavern общался с моделью через адрес в стиле OpenAI, а не через локальную установку Ollama. Это работает, так как SillyTavern позволяет добавить любой OpenAI-совместимый эндпоинт. На этой странице мы подключаем его к хостинговому, то есть GPU на вашей стороне не нужен.

Вам понадобятся три вещи: установленный SillyTavern, API-ключ и значения эндпоинта. Значения:

• Базовый URL: https://api.ollamaapi.com/v1
• Идентификатор модели: uncensored
• Авторизация: ваш ключ, отправляемый как токен Bearer (SillyTavern делает это автоматически)

Для получения ключа зарегистрируйтесь через Google или по электронной почте и паролю и откройте страницу API-ключей. Новые пользователи могут получить $0.50 пробного баланса в один клик. Предложение действует один раз для каждого пользователя, в течение 7 дней, без привязки карты. Пробные ключи ограничены 2 параллельными запросами и 60 запросами в минуту, чего достаточно для одного чата.

Правило контента: модель настроена на ответы без отказов по контенту для законного использования взрослыми, что подходит для художественной литературы, ролевых игр и ИИ-компаньонов для взрослых. Ничего с участием несовершеннолетних не допускается, и у эндпоинта есть жёсткий лимит на это.

Сначала протестируйте ключ с помощью curl

Пятисекундный тест экономит много догадок. Если эта команда возвращает ответ, ключ, URL и идентификатор модели верны, и любая последующая проблема кроется в настройках SillyTavern.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Вы также можете вывести список моделей с помощью GET https://api.ollamaapi.com/v1/models с тем же заголовком. Код 401 означает, что ключ неверен или отсутствует. Ответ с текстом в choices[0].message.content означает, что вы готовы настроить приложение.

Подключение SillyTavern шаг за шагом

Названия меню могут немного меняться в разных версиях SillyTavern, но путь остаётся неизменным. Откройте значок плагина вверху, который открывает панель подключений API.

1. Установите API в Chat Completion. Не используйте Text Completion для этого эндпоинта, так как он поддерживает только chat completions.
2. Установите Chat Completion Source в значение Custom (OpenAI-compatible).
3. В поле Пользовательский эндпоинт (Базовый URL) введите https://api.ollamaapi.com/v1. Не добавляйте конечные пути, такие как /chat/completions.
4. Вставьте свой ключ в поле Custom API Key.
5. В поле Идентификатор модели введите uncensored. Если поле предлагает выпадающий список, полученный через маршрут моделей, выберите тот же элемент.
6. Нажмите Подключить. Зелёный статус с именем модели означает успешное рукопожатие.

Откройте любую карточку персонажа и отправьте короткое сообщение. Если текст появляется потоком, подключение завершено. Оставшиеся разделы посвящены настройке, так как значения по умолчанию не всегда оптимальны для хостинговой модели с большим контекстным окном.

Напоминание для тех, кто перешёл с Ollama: собственное подключение SillyTavern к Ollama использует локальный адрес и маршрут Завершения текста. Этот маршрут указывает на ваш собственный компьютер. Здесь вы используете маршрут Завершения диалога и публичный адрес HTTPS, поэтому две настройки не смешиваются.

Настройки, которые стоит изменить

Размер контекста

Окно составляет 100 000 токенов, включая промпт и завершение. SillyTavern позволяет задать размер контекста в панели сэмплера, и приложение удаляет самые старые сообщения, когда чат превышает этот лимит. Большее значение запоминает больше истории, но и стоит дороже, так как вся история отправляется как входные данные при каждом ответе.

Вот пример расчёта. Ход чата, отправляющий 8 000 токенов истории и получающий ответ на 300 токенов, стоит 8 000 x $0,15 за 1 млн = $0,0012 за ввод, плюс 300 x $0,50 за 1 млн = $0,00015 за вывод. Это $0,00135 за ход, поэтому 100 ходов стоят $0,135. Увеличьте историю до 60 000 токенов, и одна лишь входная часть будет стоить $0,009 за ход, поэтому 100 ходов стоят $0,90 плюс $0,015 за вывод, или $0,915 всего. Большинство чатов не нуждаются в таком объёме, и краткий обзор старых событий обычно работает лучше, чем полная история.

Максимальная длина ответа

max_tokens — необязательный параметр. Установка длины ответа на 300–500 токенов делает ответы аккуратными и ограничивает стоимость вывода. Увеличьте значение, если персонаж часто обрезается на полуслове.

Сэмплирование

Температура, top_p, стоп-последовательности, seed и штрафы за частоту и присутствие передаются модели. Начните со значений по умолчанию пресета чата и изменяйте одно значение за раз. Если ответы повторяют фразы, немного увеличьте штрафы, а не температуру.

Потоковая передача

Оставьте потоковую передачу включённой. Текст появляется по мере генерации с использованием SSE. Данные об использовании передаются в конце потока. Обратите внимание, что запрос с потоковой передачей удерживает слот параллельности до завершения, поэтому быстрое нажатие кнопки генерации дважды на пробном ключе (2 параллельных) может вызвать ошибку.

Устранение неполадок

Симптом	Вероятная причина	Исправление
401 Unauthorized	Неверный или отсутствующий ключ	Вставьте ключ снова и проверьте наличие пробелов в начале или конце
404 Не найдено	Неверный путь в базовом URL	Используйте ровно https://api.ollamaapi.com/v1, ничего после него
Модель не найдена	Неверный идентификатор модели	Введите uncensored строчными буквами
429 с concurrency	Слишком много запросов одновременно	Дождитесь завершения текущего ответа; избегайте групповых чатов с пробным ключом
429 с rate_limited	Превышение запросов в минуту	Уменьшите скорость; полноценный ключ позволяет 300 запросов в минуту
429 с Retry-After 5	Временная перегрузка	Повторите попытку через пять секунд
Сообщение CORS в браузере	SillyTavern запущен на другом устройстве или прокси	Включите путь запроса на стороне сервера или запустите его на одном устройстве

Групповые чаты заслуживают внимания. SillyTavern может отправлять несколько ответов персонажей последовательно или одновременно. Если вы видите ошибки параллельности с группами, уменьшите количество активных персонажей или перейдите с пробного ключа на платный. Полноценный ключ позволяет 8 параллельных запросов.

Если ответ пустой или обрезанный, сначала проверьте настройку длины ответа, затем стоп-последовательности. Стоп-строка, совпадающая с распространённым словом, завершает ответ раньше без ошибки.

Пополнение баланса и предсказуемость расходов

Пробного баланса достаточно, чтобы попробовать настройку и оценить качество текста. По стоимости за ход из примера выше, $0,50 оплачивают примерно 370 ходов чата на 8 000 токенов (0,50, делённое на 0,00135). После этого пополните баланс от $20 любой целой суммой до $500. Принимаются карты (Visa, Mastercard, Apple Pay, Google Pay) и криптовалюта (USDT на TRC20, USDC на Base). Большие пополнения дают бонус: +5% от $50, +10% от $100 и +15% от $200. Баланс не сгорает, ничего не обновляется автоматически, а неудачные или отклонённые запросы не оплачиваются. См. страницу тарифов для полной таблицы.

Баланс после каждого вызова отображается в заголовке ответа X-Balance-USD, и вы также можете проверить панель управления. Документация объясняет поля запроса, если вы захотите перейти от SillyTavern к своим скриптам позже. Промпты не используются для обучения.

Дополнительные руководства

• Ollama API против OpenAI API: что выбрать для вашего проекта
• Пример вызова функций через Ollama API с использованием OpenAI SDK
• XAI API: мифы и факты — альтернатива без цензуры