PT ▾

Configuração da API Ollama no SillyTavern: Conectar a um Endpoint Hospedado

O SillyTavern pode conversar com qualquer endpoint compatível com OpenAI através de sua fonte Custom. Esta página mostra as configurações, os valores para colar e o que fazer quando a conexão falhar.

Atualizado

Ilustração de um palco com máscaras e balões de chat conectados por um cabo a um servidor hospedado

Pontos principais

  1. No SillyTavern, escolha Chat Completion e, em seguida, a fonte Custom (compatível com OpenAI).
  2. Defina a URL base como https://api.ollamaapi.com/v1 e o ID do modelo como uncensored.
  3. Teste com curl primeiro para saber se a falha é na chave ou no app.
  4. Mantenha o tamanho da janela de contexto alinhado ao seu orçamento; cada resposta reenvia o histórico como entrada.

O que você precisa antes de começar

Se você pesquisou por ollama api sillytavern, provavelmente quer que o SillyTavern converse com um modelo por meio de um endereço no estilo OpenAI em vez de uma instalação local do Ollama. Isso funciona, pois o SillyTavern permite adicionar qualquer endpoint compatível com OpenAI. Esta página o conecta a um endpoint hospedado, o que significa que não há GPU do seu lado.

Você precisa de três coisas: uma instalação funcional do SillyTavern, uma chave de API e os valores do endpoint. Os valores são:

  • URL base: https://api.ollamaapi.com/v1
  • ID do Modelo: uncensored
  • Authorization: sua chave, enviada como token bearer (o SillyTavern faz isso para você)

Para a chave, entre com Google ou com e-mail e senha e abra a página da chave de API. Novos usuários podem obter $0,50 de crédito de teste com um clique. É um por pessoa, válido por 7 dias e não precisa de cartão. Chaves de teste são limitadas a 2 requisições simultâneas e 60 requisições por minuto, o que é suficiente para um único chat.

Regra de conteúdo: o modelo é ajustado para responder sem recusas de conteúdo para uso adulto lícito, o que se adequa a ficção, roleplay e configurações de companhia para adultos. Nada envolvendo menores de idade é permitido, e o endpoint tem um limite rígido para isso.

Teste a chave com curl primeiro

Um teste de cinco segundos economiza muitas suposições. Se este comando retornar uma resposta, a chave, a URL e o ID do modelo estão corretos, e qualquer problema posterior está nas configurações do SillyTavern.

curl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Você também pode listar modelos com GET https://api.ollamaapi.com/v1/models usando o mesmo cabeçalho. Um 401 significa que a chave está errada ou ausente. Uma resposta com texto em choices[0].message.content significa que você está pronto para configurar o app.

Conecte o SillyTavern passo a passo

Os nomes dos menus podem mudar um pouco entre versões do SillyTavern, mas o caminho é estável. Abra o ícone de plug no topo, que é o painel de Conexões de API.

  1. Defina API para Chat Completion. Não use Text Completion para este endpoint, pois ele oferece apenas completions de chat.
  2. Defina Chat Completion Source como Custom (OpenAI-compatible).
  3. Em Custom Endpoint (Base URL), insira https://api.ollamaapi.com/v1. Não inclua nenhum caminho adicional como /chat/completions.
  4. Cole sua chave em Custom API Key.
  5. Em Model ID, digite uncensored. Se o campo oferecer um dropdown preenchido pela rota de modelos, escolha a mesma entrada.
  6. Pressione Connect. Um status verde com o nome do modelo significa que o handshake funcionou.

Abra qualquer cartão de personagem e envie uma mensagem curta. Se o texto aparecer em streaming, você terminou a conexão. As seções restantes cobrem ajustes, pois os padrões nem sempre são o melhor ajuste para um modelo hospedado com uma janela grande.

Uma lembrança se você veio do Ollama: a conexão Ollama nativa do SillyTavern usa um endereço local e o caminho Text Completion. Essa rota aponta para o seu próprio computador. Aqui você usa a rota Chat Completion e um endereço HTTPS público, então as duas configurações não se misturam.

Configurações que valem a pena alterar

Tamanho do contexto

A janela de contexto é de 100.000 tokens, incluindo prompt e conclusão. O SillyTavern permite definir um tamanho de contexto no painel do amostrador, e o app descarta as mensagens mais antigas quando o chat ultrapassa esse limite. Um valor maior lembra mais da história e também custa mais, porque todo o histórico é enviado como entrada em cada resposta.

Aqui está um exemplo prático. Uma rodada de chat que envia 8.000 tokens de histórico e recebe uma resposta de 300 tokens custa 8.000 x $0,15 por 1M = $0,0012 para entrada, mais 300 x $0,50 por 1M = $0,00015 para saída. Isso dá $0,00135 por rodada, então 100 rodadas custam $0,135. Aumente o histórico para 60.000 tokens e a parte de entrada sozinha custa $0,009 por rodada, então 100 rodadas custam $0,90 mais $0,015 para saída, ou $0,915 no total. A maioria dos chats não precisa disso, e um resumo de eventos antigos geralmente funciona melhor que o histórico bruto.

Comprimento máximo da resposta

max_tokens é opcional. Definir um comprimento de resposta de 300 a 500 tokens mantém as respostas organizadas e limita o custo de saída. Aumente-o se o personagem tender a ser cortado no meio da frase.

Amostragem

Temperature, top_p, sequências de parada, seed e as penalidades de frequência e presença são passadas diretamente ao modelo. Comece perto dos padrões de um preset de chat e altere um valor de cada vez. Se as respostas repetirem frases, aumente as penalidades um pouco em vez da temperatura.

Streaming

Deixe o streaming ativado. O texto aparece conforme é gerado, usando SSE. O uso é reportado no final do fluxo. Observe que uma solicitação de streaming ocupa um slot de concorrência até ser concluída, então pressionar regenerar duas vezes rapidamente em uma chave de teste (2 concorrentes) pode gerar um erro.

Solução de Problemas

SintomaCausa provávelCorreção
401 Não AutorizadoChave errada ou ausenteCole a chave novamente e verifique se há espaços nas extremidades
404 Não encontradoCaminho errado na URL baseUse exatamente https://api.ollamaapi.com/v1, nada depois disso
Modelo não encontradoID do modelo erradoDigite uncensored em minúsculas
429 com concurrencyMuitas requisições de uma vezAguarde a resposta em execução terminar; evite chats em grupo com uma chave de teste
429 com rate_limitedExcesso de solicitações por minutoDiminua o ritmo; uma chave completa permite 300 por minuto
429 com Retry-After 5Sobrecarga temporáriaTente novamente após cinco segundos
Mensagem CORS do navegadorSillyTavern rodando em outro dispositivo ou proxyHabilite o caminho de requisição no lado do servidor ou execute em uma única máquina

Chats em grupo merecem uma nota. O SillyTavern pode enviar várias respostas de personagens em sequência ou ao mesmo tempo. Se você vir erros de concorrência com grupos, reduza o número de personagens ativos ou faça upgrade da chave de teste. Uma chave completa permite 8 requisições simultâneas.

Quando uma resposta está vazia ou cortada, verifique primeiro a configuração de comprimento de resposta e depois as sequências de parada. Uma string de parada que corresponde a uma palavra comum encerra a resposta antecipadamente sem erro.

Adicionar crédito e manter custos previsíveis

O crédito de teste é suficiente para testar a configuração e avaliar a escrita. Pelo custo por rodada do exemplo acima, $0,50 pagam por cerca de 370 rodadas de um chat de 8.000 tokens (0,50 dividido por 0,00135). Depois disso, recarregue a partir de $20, em qualquer valor inteiro até $500. Cartão (Visa, Mastercard, Apple Pay, Google Pay) e cripto (USDT na TRC20, USDC na Base) são aceitos. Recargas maiores trazem bônus: +5% a partir de $50, +10% a partir de $100 e +15% a partir de $200. O crédito nunca expira, nada renova automaticamente e requisições falhas ou recusadas não são cobradas. Veja a página de preços para a tabela completa.

O saldo após cada chamada aparece no header de resposta X-Balance-USD, e você também pode verificar no dashboard. A documentação explica os campos da requisição se você quiser migrar do SillyTavern para seus próprios scripts mais tarde. Prompts não são usados para treinamento.

Perguntas e respostas

Qual fonte do SillyTavern devo escolher?

Chat Completion com a fonte Custom (compatível com OpenAI). Insira a URL base https://api.ollamaapi.com/v1, sua chave e o ID do modelo uncensored.

Isso é igual a conectar o SillyTavern a um servidor Ollama local?

Não. Uma conexão local com o Ollama aponta para o seu próprio computador. Este é um endpoint hospedado acessado via HTTPS, sem nenhum modelo rodando na sua máquina.

Por que o regenerate às vezes retorna um erro na chave de teste?

Uma chave de teste permite 2 requisições simultâneas. Uma resposta em streaming mantém o slot até o fim, então uma segunda regeneração rápida pode exceder o limite.

Posso usar para roleplay e chats de personagens?

Sim, para uso adulto lícito, como ficção, roleplay e apps de companhia. Conteúdo sexual envolvendo menores de idade não é permitido.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de APILer a documentação