การตั้งค่า Ollama API SillyTavern: เชื่อมต่อเอนด์พอยต์แบบโฮสต์

สิ่งที่คุณต้องมีก่อนเริ่ม

หากคุณค้นหา ollama api sillytavern คุณอาจต้องการให้ SillyTavern เชื่อมต่อกับโมเดลผ่านที่อยู่รูปแบบ OpenAI แทนที่จะเป็นการติดตั้ง Ollama ในเครื่อง วิธีนี้ทำได้เพราะ SillyTavern อนุญาตให้คุณเพิ่มเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ได้ หน้าหน้านี้จะเชื่อมต่อไปยังบริการโฮสต์ ซึ่งหมายความว่าไม่ต้องใช้ GPU ในเครื่องของคุณ

คุณต้องมีสามสิ่ง: การติดตั้ง SillyTavern ที่ใช้งานได้, คีย์ API และค่าเอนด์พอยต์ ค่าเหล่านี้คือ:

• Base URL: https://api.ollamaapi.com/v1
• รหัสโมเดล: uncensored
• การตรวจสอบสิทธิ์: คีย์ของคุณ ส่งเป็น bearer token (SillyTavern ทำสิ่งนี้ให้คุณ)

สำหรับคีย์ ให้สมัครสมาชิกด้วย Google หรือด้วยอีเมลและรหัสผ่าน แล้วเปิดหน้า API key ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกเพียงครั้งเดียว ใช้ได้หนึ่งครั้งต่อคน มีอายุ 7 วัน และไม่ต้องการบัตร เครดิตทดลองใช้จำกัดคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ซึ่งเพียงพอสำหรับการแชทหนึ่งรายการ

กฎเนื้อหา: โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ซึ่งเหมาะสำหรับนิยาย การสวมบทบาท และการตั้งค่า companion สำหรับผู้ใหญ่ ไม่อนุญาตให้มีเนื้อหาที่เกี่ยวข้องกับผู้เยาว์ และเอนด์พอยต์มีขีดจำกัดที่ชัดเจนสำหรับเนื้อหาดังกล่าว

ทดสอบคีย์ด้วย curl ก่อน

การทดสอบห้าวินาทีช่วยประหยัดการลองผิดลองถูกมาก หากคำสั่งนี้ส่งการตอบกลับออกมา แสดงว่าคีย์ URL และ model ID ถูกต้อง และปัญหาใดๆ ในภายหลังจะเกิดจากการตั้งค่าใน SillyTavern

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

คุณยังสามารถแสดงรายการโมเดลด้วย GET https://api.ollamaapi.com/v1/models โดยใช้ header เดียวกัน รหัส 401 หมายถึงคีย์ผิดหรือหายไป การตอบกลับที่มีข้อความใน choices[0].message.content หมายถึงคุณพร้อมที่จะกำหนดค่าแอปแล้ว

เชื่อมต่อ SillyTavern ทีละขั้นตอน

ชื่อเมนูอาจเปลี่ยนแปลงเล็กน้อยระหว่างเวอร์ชันของ SillyTavern แต่เส้นทางนั้นคงที่ เปิดไอคอนปลั๊กที่ด้านบน ซึ่งคือแผงการเชื่อมต่อ API

1. ตั้งค่า API เป็น Chat Completion อย่าใช้การเติมข้อความสำหรับเอนด์พอยต์นี้ เนื่องจากมันรองรับเฉพาะ Chat Completion เท่านั้น
2. ตั้งค่า แหล่งที่มาของ Chat Completion เป็น กำหนดเอง (เข้ากันได้กับ OpenAI)
3. ใน Custom Endpoint (Base URL) ให้ป้อน https://api.ollamaapi.com/v1. อย่าใส่เส้นทางต่อท้ายเช่น /chat/completions
4. วางคีย์ของคุณลงใน คีย์ API แบบกำหนดเอง
5. ใน รหัสโมเดล ให้พิมพ์ uncensored หากฟิลด์มีตัวเลือกแบบ dropdown ที่เติมโดยเส้นทาง models ให้เลือกรายการเดียวกัน
6. กด เชื่อมต่อ สถานะสีเขียวพร้อมชื่อโมเดลแสดงว่าการจับมือสำเร็จ

เปิดการ์ดตัวละครใดๆ แล้วส่งข้อความสั้นๆ หากข้อความสตรีมเข้ามา แสดงว่าคุณเสร็จสิ้นการเชื่อมต่อ ส่วนที่เหลือครอบคลุมการปรับแต่ง เนื่องจากค่าเริ่มต้นอาจไม่เหมาะกับโมเดลแบบโฮสต์ที่มีหน้าต่างบริบทขนาดใหญ่

ข้อเตือนใจหากคุณมาจาก Ollama: การเชื่อมต่อ Ollama ของ SillyTavern ใช้ที่อยู่ในเครื่องและเส้นทาง Text Completion เส้นทางนี้ชี้ไปยังคอมพิวเตอร์ของคุณเอง ที่นี่คุณใช้เส้นทาง Chat Completion และที่อยู่ HTTPS สาธารณะแทน ดังนั้นการตั้งค่าทั้งสองจะไม่ปนกัน

การตั้งค่าที่ควรเปลี่ยน

ขนาดบริบท

หน้าต่างบริบทคือ 100,000 โทเคน รวมพรอมต์และการตอบกลับ SillyTavernอนุญาตให้คุณตั้งค่าขนาดบริบทในแผง sampler และแอปจะลบข้อความที่เก่าที่สุดเมื่อการแชทขยายเกินกว่านั้น ค่าที่ใหญ่กว่าจะจำเรื่องราวได้มากขึ้นแต่ก็ใช้เงินมากกว่า เพราะประวัติทั้งหมดจะถูกส่งเป็นข้อมูลป้อนเข้าในทุกการตอบกลับ

นี่คือตัวอย่างการคำนวณ การแชทหนึ่งรอบที่ส่งประวัติ 8,000 โทเคนและรับคำตอบ 300 โทเคน มีค่าใช้จ่าย 8,000 x $0.15 ต่อ 1M = $0.0012 สำหรับข้อมูลป้อนเข้า บวก 300 x $0.50 ต่อ 1M = $0.00015 สำหรับข้อมูลส่งออก นั่นคือ $0.00135 ต่อรอบ ดังนั้น 100 รอบมีค่าใช้จ่าย $0.135 หากเพิ่มประวัติเป็น 60,000 โทเคน ส่วนข้อมูลป้อนเข้าเพียงอย่างเดียวคือ $0.009 ต่อรอบ ดังนั้น 100 รอบมีค่าใช้จ่าย $0.90 บวก $0.015 สำหรับข้อมูลส่งออก หรือ $0.915 ในภาพรวม การแชทส่วนใหญ่ไม่ต้องการขนาดนั้น และการสรุปเหตุการณ์เก่าๆ มักจะทำงานได้ดีกว่าประวัติดิบ

ความยาวคำตอบสูงสุด

max_tokens เป็นตัวเลือก การตั้งค่าความยาวการตอบกลับที่ 300 ถึง 500 โทเคนช่วยให้การตอบกลับกระชับและจำกัดต้นทุนข้อมูลส่งออก เพิ่มค่านี้หากตัวละครมีแนวโน้มที่จะถูกตัดกลางประโยค

การสุ่มตัวอย่าง

Temperature, top_p, stop sequences, seed และ frequency และ presence penalties จะถูกส่งผ่านไปยังโมเดล เริ่มต้นที่ค่าเริ่มต้นของ preset การแชท และเปลี่ยนค่าทีละค่า หากการตอบกลับทำซ้ำคำ วลี ให้เพิ่ม penalties เล็กน้อยแทนที่จะเพิ่ม temperature

สตรีมมิง

เปิดใช้งาน สตรีมมิง ไว้ ข้อความจะปรากฏเมื่อถูกสร้าง โดยใช้ SSE การใช้งานจะถูกรายงานที่ท้ายสตรีม โปรดทราบว่าคำขอ สตรีมมิง จะครอบครองช่อง คำขอพร้อมกัน จนกว่าจะเสร็จสิ้น ดังนั้นการกด regenerate สองครั้งอย่างรวดเร็วบนคีย์ทดลองใช้ฟรี (2 concurrent) อาจทำให้เกิดข้อผิดพลาด

การแก้ไขปัญหา

อาการ	สาเหตุที่เป็นไปได้	การแก้ไข
401 ไม่ได้รับอนุญาต	คีย์ผิดหรือไม่มี	วางคีย์อีกครั้งและตรวจสอบช่องว่างที่ต้นหรือท้าย
404 Not found	เส้นทางผิดใน base URL	ใช้ https://api.ollamaapi.com/v1 อย่างแม่นยำ ไม่มีอะไรต่อจากนี้
ไม่พบโมเดล	โมเดล ID ผิด	พิมพ์ uncensored เป็นตัวพิมพ์เล็ก
429 พร้อม concurrency	คำขอพร้อมกันมากเกินไป	รอให้คำตอบที่กำลังทำงานอยู่เสร็จสิ้น; หลีกเลี่ยงกลุ่มแชทบนคีย์ทดลองใช้ฟรี
429 พร้อม rate_limited	เกินจำนวนคำขอต่อนาที	ลดความเร็วลง; คีย์เต็มอนุญาตให้ส่งได้ 300 คำขอต่อนาที
429 พร้อม Retry-After 5	โอเวอร์โหลดชั่วคราว	ลองใหม่หลังจากห้าวินาที
ข้อความ CORS ของเบราว์เซอร์	SillyTavern ทำงานบนอุปกรณ์อื่นหรือพร็อกซี	เปิดเส้นทางขอข้อมูลฝั่งเซิร์ฟเวอร์หรือรันบนเครื่องเดียวกัน

กลุ่มแชทควรทราบข้อควรระวัง SillyTavern สามารถส่งคำตอบของตัวละครหลายตัวได้ต่อเนื่องหรือพร้อมกัน หากพบข้อผิดพลาดเรื่องคำขอพร้อมกัน (concurrency) กับกลุ่ม ให้ลดจำนวนตัวละครที่ใช้งานอยู่หรืออัปเกรดจากคีย์ทดลองใช้ คีย์แบบเต็มอนุญาตให้ส่งคำขอพร้อมกันได้อย่างมาก 8 คำขอ

เมื่อคำตอบว่างหรือถูกตัดทอน ให้ตรวจสอบการตั้งค่าความยาวของคำตอบก่อน แล้วจึงตรวจสอบลำดับการหยุด (stop sequences) สตริงหยุดที่ตรงกับคำทั่วไปจะทำให้การตอบหยุดก่อนกำหนดโดยไม่มีข้อผิดพลาด

การเติมเครดิตและการควบคุมต้นทุนให้คาดการณ์ได้

เครดิตทดลองใช้เพียงพอสำหรับการลองตั้งค่าและประเมินคุณภาพการเขียน ในต้นทุนต่อการตอบกลับจากตัวอย่างข้างต้น เงิน $0.50 สามารถจ่ายสำหรับการสนทนาขนาด 8,000 โทเคนได้ประมาณ 370 รอบ (0.50 หารด้วย 0.00135) หลังจากนั้น คุณสามารถเติมเงินตั้งแต่ $20 เป็นจำนวนเต็มใดๆ สูงสุดถึง $500 รองรับบัตรเครดิต (Visa, Mastercard, Apple Pay, Google Pay) และคริปโต (USDT บน TRC20, USDC บน Base) การเติมเงินจำนวนมากขึ้นจะได้รับโบนัส: +5% จาก $50, +10% จาก $100 และ +15% จาก $200 เครดิตไม่หมดอายุ ไม่มีอะไรต่ออายุอัตโนมัติ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดู หน้าราคา สำหรับตารางเต็ม

ยอดคงเหลือหลังการเรียก API จะปรากฏใน X-Balance-USD response header และคุณสามารถตรวจสอบแดชบอร์ดได้เช่นกัน docs อธิบายฟิลด์คำขอหากคุณต้องการเปลี่ยนจาก SillyTavern เป็นสคริปต์ของคุณเองในภายหลัง พรอมต์ไม่ถูกใช้สำหรับการฝึก

คู่มือเพิ่มเติม

• Ollama API เทียบกับ OpenAI API: แบบใดเหมาะกับโปรเจกต์ของคุณ
• ตัวอย่างการเรียกใช้ฟังก์ชันผ่าน Ollama API ด้วย SDK ของ OpenAI
• XAI API: ตำนาน vs ข้อเท็จจริง - ทางเลือกแบบไม่เซ็นเซอร์