JA ▾

Ollama API SillyTavern 設定:ホストエンドポイントに接続

SillyTavern はカスタムソースを介して任意の OpenAI 互換エンドポイントと通信できます。このページでは、設定、貼り付ける値、接続が失敗した場合の対処法を順を追って説明します。

更新

ステージ、マスク、チャットバブルのイラスト。チャットバブルはケーブルでホストサーバーに接続されています

重要ポイント

  1. SillyTavern で「チャット補完」を選択し、カスタム(OpenAI 互換)ソースを選びます。
  2. ベース URL を https://api.ollamaapi.com/v1 に設定し、モデル ID を uncensored に設定します。
  3. まず curl でテストし、失敗の原因がキーかアプリかを確認してください。
  4. 予算に合わせてコンテキストサイズを調整してください。各応答では履歴が入力として再送信されます。

開始前に必要なもの

「ollama api sillytavern」で検索したなら、ローカルの Ollama インストールではなく OpenAI 形式のアドレスを介してモデルと通信させたいのでしょう。それは可能です。SillyTavern は任意の OpenAI 互換エンドポイントを追加できるためです。このページではホストされたエンドポイントに接続する方法を示します。つまり、あなたの側には GPU が必要ありません。

必要なものは 3 つだけです:動作する SillyTavern のインストール、API キー、エンドポイントの値です。値は次の通りです:

  • ベース URL: https://api.ollamaapi.com/v1
  • モデルID: uncensored
  • 認証:Bearer トークンとして送信されるあなたのキー(SillyTavern はこれを自動で行います)

キーを取得するには、Google またはメールアドレスとパスワードでサインアップし、API キーページを開いてください。新規ユーザーはワンクリックで $0.50 のトライアルクレジットを取得できます。これは1人1回限りで、有効期限は7日、カード登録は不要です。トライアルキーは同時に2つのリクエストと、1分あたり60リクエストに制限されており、単一のチャットには十分です。

コンテンツルール:このモデルは、法的な成人向け利用のためにコンテンツ拒否なしで応答するように調整されています。これは、成人向けのフィクション、ロールプレイ、相棒設定に適しています。未成年者に関わるものはすべて許可されず、エンドポイントには厳格な制限があります。

まず curl でキーをテスト

5 秒のテストで推測の多くが省けます。このコマンドが応答を返す場合、キー、URL、モデル ID が正しいことを意味し、その後の問題はすべて SillyTavern の設定にあります。

curl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

同じヘッダーを使用して GET https://api.ollamaapi.com/v1/models でモデルを一覧表示することもできます。401 はキーが間違っているか欠落していることを意味します。choices[0].message.content にテキストを含む応答は、アプリの設定準備が整っていることを意味します。

SillyTavernをステップバイステップで接続

メニュー名は SillyTavern のバージョンによって少し異なることがありますが、パスは安定しています。上部のプラグアイコン(API 接続パネル)を開きます。

  1. API を チャット補完 に設定します。このエンドポイントではチャット補完のみを提供するため、テキスト補完は使用しないでください。
  2. チャット補完ソースをカスタム(OpenAI互換)に設定します。
  3. カスタムエンドポイント(ベース URL) に https://api.ollamaapi.com/v1 を入力します。/chat/completions のような末尾のパスは付けません。
  4. キーをCustom API Keyに貼り付けます。
  5. モデルIDに uncensored と入力します。フィールドにモデルルートがドロップダウンリストとして表示される場合は、同じエントリを選択してください。
  6. 接続 を押します。モデル名付きの緑色のステータスは、ハンドシェイクが成功したことを意味します。

任意のキャラクターカードを開き、短いメッセージを送信してください。テキストがストリーミングで表示されれば、接続は完了です。残りのセクションではチューニングについて解説します。デフォルト設定が、大きなコンテキストウィンドウを持つホスト済みモデルに常に最適とは限らないためです。

Ollamaから来た場合の補足:SillyTavernのOllama接続はローカルアドレスと文章補完パスを使用します。そのパスはあなたのコンピュータを指しています。ここでは代わりにチャット補完パスと公開HTTPSアドレスを使用するため、2つのセットアップが混在しません。

変更すべき設定

コンテキストウィンドウのサイズ

ウィンドウは100,000トークン(プロンプトと補完を含む)です。SillyTavernではサンプリング設定でコンテキストサイズを設定でき、チャットがそのサイズを超えると古いメッセージが削除されます。より大きな値は物語のより多くの部分を記憶しますが、すべての履歴が返信ごとに入力として送信されるため、コストも高くなります。

以下に計算例を示します。履歴8,000トークンを送信し、300トークンの応答を受信するチャットターンでは、入力は 8,000 x $0.15 / 1M = $0.0012、出力は 300 x $0.50 / 1M = $0.00015 かかります。ターンあたり合計 $0.00135 で、100ターンで $0.135 です。履歴を60,000トークンに増やすと、入力部分だけでターンあたり $0.009 かかり、100ターンで $0.90、出力で $0.015、合計 $0.915 になります。ほとんどのチャットにそれほどの容量は不要で、古いイベントの要約はそのままの履歴よりも効果的なことが多いです。

最大応答長

max_tokens はオプションです。応答長を300〜500トークンに設定すると、応答が整理整頓され、出力コストが抑えられます。キャラクターが途中で切れる傾向がある場合は、この値を上げてください。

サンプリング

Temperature、top_p、ストップシーケンス、シード、および頻度ペナルティとpresence penaltyはモデルに渡されます。チャットプリセットのデフォルト値付近から始め、一度に1つの値だけ変更してください。応答でフレーズが繰り返される場合は、temperatureではなくペナルティを少し上げてください。

ストリーミング

ストリーミングを有効にしてください。テキストは生成される際にSSEを使用して表示されます。使用量はストリーミングの終了時に報告されます。ストリーミングリクエストは完了するまで同時接続枠を占有するため、試用キー(同時接続数2)で再生成を素早く2回押すとエラーが発生する可能性があります。

トラブルシューティング

症状考えられる原因修正方法
401 Unauthorized間違ったまたは欠落したキーキーを再度貼り付け、両端の空白を確認してください
404 見つかりませんベース URL のパスが間違っています正確に https://api.ollamaapi.com/v1 を使用し、その後に何も付けないでください
モデルが見つからないモデル ID が間違っています小文字で uncensored と入力します
concurrencyによる429一度にリクエストが多すぎる実行中の応答の終了を待ち、トライアルキーではグループチャットを避けてください
rate_limitedによる4291分あたりのリクエスト超過速度を落としてください。フルキーは1分あたり300リクエストまで許可されます
Retry-After 5 の 429一時的な過負荷5秒後に再試行する
ブラウザの CORS メッセージ別のデバイスまたはプロキシで実行されている SillyTavernサーバー側のリクエストパスを有効にするか、1台のマシンで実行してください

グループチャットには注意が必要です。SillyTavern は複数のキャラクター応答を連続して、または同時に送信できます。グループで同時実行数のエラーが表示される場合は、アクティブなキャラクターの数を減らすか、トライアルキーからアップグレードしてください。フルキーは同時に8つのリクエストを許可します。

応答が空または途中で切れる場合は、まず応答長設定を確認し、次にストップシーケンスを確認します。一般的な単語に一致するストップ文字列は、エラーなしで応答を早期に終了させます。

クレジットの追加とコストの予測可能性の維持

試用クレジットはセットアップを試して文章を評価するのに十分です。上記の例のターンあたりのコストでは、$0.50で8,000トークンのチャット約370ターン(0.50を0.00135で割ったもの)が支払えます。その後、$20から、$500までの任意の整数金額でチャージしてください。カード(Visa、Mastercard、Apple Pay、Google Pay)と暗号資産(TRC20上のUSDT、Base上のUSDC)が利用可能です。大口チャージにはボーナスがあります:$50から+5%、$100から+10%、$200から+15%。クレジットは期限切れにならず、自動的に更新されることもなく、失敗または拒否されたリクエストには課金されません。完全な表については料金ページをご覧ください。

各呼び出し後の残高は X-Balance-USD 応答ヘッダーに表示され、ダッシュボードでも確認できます。ドキュメント にはリクエストフィールドの説明が記載されており、後で SillyTavern から独自のスクリプトに移行する場合に役立ちます。プロンプトはトレーニングには使用されません。

質問と回答

どの SillyTavern ソースを選ぶべきですか?

カスタム(OpenAI 互換)ソースによるチャット補完。ベース URL https://api.ollamaapi.com/v1、あなたのキー、およびモデル ID uncensored を入力します。

これはローカルの Ollama サーバーに SillyTavern を接続するのと同じですか?

いいえ。ローカルの Ollama 接続はあなたのコンピュータを指します。これは HTTPS 経由でアクセスされるホストエンドポイントであり、あなたのマシンではモデルは実行されていません。

なぜ再生成はトライアルキーでエラーを返すことがあるのですか?

トライアルキーは同時に2つのリクエストを許可します。ストリーミング応答は終了するまでスロットを保持するため、素早い再生成では制限を超えてしまうことがあります。

ロールプレイやキャラクターチャットに使用できますか?

はい、小説、ロールプレイ、コンパニオンアプリなどの合法的な成人用途に使用できます。未成年者を含む性的コンテンツは許可されていません。

フォームを1つ記入するだけでキーが手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む