繁中 ▾

Ollama API SillyTavern 設定:連接託管端點

SillyTavern 可以透過其 Custom 來源與任何 OpenAI 相容端點通訊。本頁將逐步介紹設定、要貼上的值以及連線失敗時的處理方法。

更新

舞台插圖,面具和聊天氣泡透過電纜連接到託管伺服器

重點摘要

  1. 在 SillyTavern 中選擇 Chat Completion,然後選擇 Custom (OpenAI 相容) 來源。
  2. 將 Base URL 設定為 https://api.ollamaapi.com/v1,並將模型 ID 設定為 uncensored。
  3. 先使用 curl 進行測試,以確定失敗是由金鑰還是應用程式引起的。
  4. 將上下文視窗大小保持在預算範圍內;每個回覆都會重新發送歷史記錄作為輸入。

開始前你需要準備的

如果您搜尋了 ollama api sillytavern,您可能希望 SillyTavern 透過 OpenAI 風格的網址與模型通訊,而不是透過本機 Ollama 安裝。這是可以的,因為 SillyTavern 允許您新增任何 OpenAI 相容的端點。本頁將其連接到託管式端點,這意味著您的裝置端不需要 GPU。

您需要三樣東西:一個可用的 SillyTavern 安裝、一個 API 金鑰以及端點值。這些值是:

  • Base URL:https://api.ollamaapi.com/v1
  • 模型 ID:uncensored
  • Authorization:你的金鑰,以 Bearer token 傳送(SillyTavern 會自動處理)

關於金鑰,請使用 Google 或電子郵件與密碼註冊,並開啟 API 金鑰頁面。新用戶可以一鍵領取 $0.50 的免費試用額度。每人限領一次,有效期為 7 天,且無需信用卡。試用金鑰限制為 2 個並行請求和每分鐘 60 個請求,這足以滿足單一聊天需求。

內容規則:模型經過微調,在合法成人用途下不會拒絕回答,適合成人小說、角色扮演與伴侶設定。不允許涉及未成年人的內容,且該端點對此有硬性限制。

先用 curl 測試金鑰

五秒鐘的測試可以節省大量猜測。如果此命令返回回覆,則金鑰、URL 和模型 ID 正確,之後的任何問題都在 SillyTavern 設定中。

curl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

您也可以使用相同的標頭透過 GET https://api.ollamaapi.com/v1/models列出模型。401 代表金鑰錯誤或遺失。回覆中包含 choices[0].message.content 文字表示你已準備好設定應用程式。

逐步連線 SillyTavern

選單名稱在不同版本的 SillyTavern 中可能會略有變化,但路徑是穩定的。打開頂部的插頭圖標,即 API 連線面板。

  1. 將 API 設為 Chat Completion。不要在此端點使用 Text Completion,因為它只提供聊天補全。
  2. 將 聊天補全來源 設為 自訂(OpenAI 相容)。
  3. 在 Custom Endpoint (Base URL) 中,輸入 https://api.ollamaapi.com/v1。不要包含任何尾隨路徑,例如 /chat/completions。
  4. 將您的金鑰貼到 自訂 API 金鑰。
  5. 在 Model ID 中,輸入 uncensored。如果欄位提供由 models 路由填充的下拉選單,請選擇相同的條目。
  6. 按下 Connect。帶有模型名稱的綠色狀態表示握手成功。

開啟任何角色卡並傳送短訊息。如果文字開始串流輸出,表示連線已完成。其餘章節涵蓋微調,因為預設值對於具有大上下文視窗的託管模型來說,並不一定最適合。

如果你來自 Ollama 的提醒:SillyTavern 內建的 Ollama 連線使用本機位址與 Text Completion 路徑。該路徑指向你自己的電腦。這裡改用 Chat Completion 路徑與公開的 HTTPS 位址,因此兩組設定不會混雜。

值得更改的設定

上下文大小

上下文視窗為 100,000 token,包含提示詞與補全。SillyTavern 讓你在抽樣器面板中設定上下文大小,當對話超過此限制時,應用程式會捨棄最舊的訊息。較大的值會記住更多故事內容,但成本也更高,因為每次回覆都會將完整歷史記錄作為輸入傳送。

這裡有一個計算範例。一次聊天輪次傳送 8,000 token 的歷史記錄並收到 300 token 的回覆,輸入成本為 8,000 x $0.15 / 1M = $0.0012,輸出成本為 300 x $0.50 / 1M = $0.00015。每次輪次總計 $0.00135,因此 100 次輪次成本為 $0.135。將歷史記錄推高至 60,000 token,僅輸入部分每次輪次成本為 $0.009,因此 100 次輪次成本為 $0.90,加上輸出 $0.015,總計 $0.915。大多數對話不需要這麼多,且舊事件的摘要通常比原始歷史記錄效果更好。

最大回覆長度

max_tokens 是可選的。將回覆長度設定為 300 到 500 個 token 可保持回覆整潔並限制輸出成本。如果角色傾向於在句子中間被截斷,請增加此值。

採樣

Temperature、top_p、停止序列、seed 以及頻率與存在懲罰都會直接傳遞給模型。從聊天預設值的預設值附近開始,並一次只更改一個數值。如果回覆重複語句,請稍微提高懲罰值,而不是提高 temperature。

串流輸出

保持串流輸出開啟。文字使用 SSE 在生成時顯示。使用情況會在串流結束時報告。注意,串流請求會佔用併發槽位直到完成,因此在試用金鑰(2 個併發)上快速按兩次重新生成可能會產生錯誤。

故障排除

症狀可能原因修復方法
401 未授權金鑰錯誤或缺失再次貼上金鑰並檢查兩端是否有空格
404 Not foundBase URL 中的路徑錯誤精確使用 https://api.ollamaapi.com/v1,其後不要加任何字元
找不到模型模型 ID 錯誤以小寫輸入 uncensored
429 與 concurrency 相關同時請求過多等待運行中的回覆結束;試用金鑰避免群組聊天
429 錯誤且rate_limited超過每分鐘請求次數減慢速度;完整金鑰允許每分鐘 300 個請求
429 錯誤,Retry-After 5暫時過載五秒後重試
瀏覽器 CORS 訊息SillyTavern 在另一台設備或代理上運行啟用其伺服器端請求路徑或在單台機器上運行它

群組聊天值得特別注意。SillyTavern 可以依序或同時發送多個角色的回覆。如果您在群組中遇到併發錯誤,請減少活躍角色的數量,或從試用金鑰升級。完整金鑰允許 8 個併發請求。

當回覆為空或被截斷時,先檢查回應長度設定,然後檢查停止序列。停止序列若匹配常見字詞,會導致回覆提前結束且不會產生錯誤。

儲值並保持成本可預測

試用額度足以讓你測試設定並評估寫作品質。根據上述範例的每次輪次成本,$0.50 大約可支付 8,000 token 聊天的 370 次輪次(0.50 除以 0.00135)。此後,請從 $20 起儲值,任何整額金額最高至 $500。接受信用卡(Visa、Mastercard、Apple Pay、Google Pay)與加密貨幣(TRC20 上的 USDT、Base 上的 USDC)。較大的儲值享有贈額:$50 起贈 5%、$100 起贈 10%、$200 起贈 15%。額度永不過期,不會自動續期,失敗或被拒絕的請求不會收費。完整表格請見 定價頁面。

每次呼叫後的餘額會顯示在 X-Balance-USD 回應標頭中,你也可以檢查儀表板。文件 說明請求欄位,如果你之後想從 SillyTavern 轉向自己的腳本。提示詞不會用於訓練。

問答

我應該選擇哪個 SillyTavern 來源?

使用 Custom (OpenAI 相容) 來源進行 Chat Completion。輸入 Base URL https://api.ollamaapi.com/v1, 您的金鑰以及模型 ID uncensored。

這與將 SillyTavern 連接到本機 Ollama 伺服器相同嗎?

不是。本機 Ollama 連線指向您自己的電腦。這是透過 HTTPS 存取的託管端點,您的機器上並未運行模型。

為什麼重新生成有時會在試用金鑰上返回錯誤?

試用金鑰允許 2 個併發請求。串流回覆會保留其槽位直到結束,因此快速再次重新生成可能會超出限制。

我可以用於角色扮演和角色聊天嗎?

可以,適用於合法的成人用途,如小說、角色扮演和伴侶應用程式。不允許涉及未成年人的性內容。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件