Ollama API SillyTavern सेटअप: होस्ट किए गए एंडपॉइंट को कनेक्ट करें

शुरू करने से पहले आपको क्या चाहिए

यदि आपने ollama api sillytavern खोजा है, तो आप शायद SillyTavern को एक मॉडल से बात करने के लिए एक OpenAI-शैली के पते के माध्यम से चाहते हैं, न कि एक स्थानीय Ollama इंस्टॉल के माध्यम से। यह काम करता है, क्योंकि SillyTavern आपको किसी भी OpenAI-कम्पैटिबल एंडपॉइंट को जोड़ने देता है। यह पेज इसे एक होस्टेड एंडपॉइंट से जोड़ता है, यानी आपकी ओर GPU की ज़रूरत नहीं है।

आपको तीन चीज़ों की आवश्यकता है: एक काम करने वाला SillyTavern इंस्टॉलेशन, एक API कुंजी, और एंडपॉइंट मान। मान ये हैं:

• Base URL: https://api.ollamaapi.com/v1
• मॉडल आईडी: uncensored
• प्रमाणीकरण: आपकी कुंजी, एक bearer टोकन के रूप में भेजी जाती है (SillyTavern यह आपके लिए करता है)

कुंजी के लिए, Google या ईमेल और पासवर्ड के साथ साइन अप करें और API कुंजी पेज खोलें। नए उपयोगकर्ता वहाँ एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं। यह एक व्यक्ति के लिए है, 7 दिनों के लिए मान्य है, और कार्ड की आवश्यकता नहीं है। ट्रायल कुंजियाँ 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों तक सीमित हैं, जो एकल चैट के लिए पर्याप्त है।

सामग्री नियम: मॉडल को कानूनी वयस्क उपयोग के लिए सामग्री अस्वीकृति के बिना उत्तर देने के लिए ट्यून किया गया है, जो वयस्कों के लिए काल्पनिक साहित्य, रोलेप्ले और कंपैनियन सेटअप के लिए उपयुक्त है। नाबालिगों से जुड़ी कोई भी चीज़ अनुमति नहीं है, और एंडपॉइंट पर इस पर एक कठोर सीमा है।

कुंजी को curl के साथ परीक्षण करें

पाँच सेकंड का परीक्षण बहुत सारी अनुमान लगाने की प्रक्रिया को बचाता है। यदि यह कमांड एक उत्तर लौटाता है, तो कुंजी, URL और मॉडल ID सही हैं, और कोई भी बाद की समस्या SillyTavern सेटिंग्स में है।

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

आप GET https://api.ollamaapi.com/v1/models का उपयोग करके मॉडल की सूची भी बना सकते हैं। एक 401 का अर्थ है कि कुंजी गलत है या गायब है। choices[0].message.content में टेक्स्ट के साथ एक प्रतिक्रिया का अर्थ है कि आप ऐप को कॉन्फ़िगर करने के लिए तैयार हैं।

SillyTavern को चरण दर चरण कनेक्ट करें

मेनू नाम SillyTavern के संस्करणों के बीच थोड़े बदल सकते हैं, लेकिन पथ स्थिर है। ऊपर प्लग आइकन खोलें, जो API कनेक्शन पैनल है।

1. API को Chat Completion पर सेट करें। इस एंडपॉइंट के लिए Text Completion का उपयोग न करें, क्योंकि यह केवल चैट पूर्णताएँ प्रदान करता है।
2. चैट कंप्लीशन स्रोत को कस्टम (OpenAI-संगत) पर सेट करें।
3. कस्टम एंडपॉइंट (बेस URL) में, https://api.ollamaapi.com/v1 दर्ज करें। /chat/completions जैसे किसी भी ट्रेलिंग पथ को छोड़ दें।
4. अपनी कुंजी कस्टम API कुंजी में पेस्ट करें।
5. मॉडल ID में, uncensored टाइप करें। यदि फ़ील्ड मॉडल रूट द्वारा भरे गए एक ड्रॉपडाउन प्रदान करती है, तो उसी प्रविष्टि का चयन करें।
6. कनेक्ट दबाएँ। मॉडल नाम के साथ एक हरा स्टेटस इसका अर्थ है कि हैंडशेक काम कर गया है।

कोई भी कैरेक्टर कार्ड खोलें और एक छोटा संदेश भेजें। यदि पात्र आता है, तो आपका कनेक्शन तैयार है। शेष अनुभाग ट्यूनिंग को कवर करते हैं, क्योंकि डिफ़ॉल्ट सेटिंग्स बड़ी विंडो वाले होस्टेड मॉडल के लिए हमेशा सबसे अच्छे नहीं होते हैं।

एक याद दिलाव यदि आप Ollama से आए हैं: SillyTavern का अपना Ollama कनेक्शन एक स्थानीय पता और Text Completion मार्ग का उपयोग करता है। वह मार्ग आपके कंप्यूटर को इंगित करता है। यहाँ आप Chat Completion मार्ग और एक सार्वजनिक HTTPS पते का उपयोग करते हैं, इसलिए दो सेटअप एक दूसरे को मिक्स नहीं करते हैं।

बदलने योग्य सेटिंग्स

कॉन्टेक्स्ट विंडो का आकार

विंडो 100,000 टोकन की है, प्रॉम्प्ट और पूरक के साथ। SillyTavern आपको सैम्पलर पैनल में कॉन्टेक्स्ट साइज़ सेट करने देता है, और ऐप चैट बढ़ने पर सबसे पुराने संदेशों को छोड़ देता है। एक बड़ा मान कहानी के बारे में अधिक याद रखता है और अधिक खर्च करता है, क्योंकि हर जवाब पर पूरा इतिहास इनपुट के रूप में भेजा जाता है।

यहाँ एक उदाहरण है। एक चैट टर्न जिसमें 8,000 टोकन का इतिहास भेजा जाता है और 300 टोकन की प्रतिक्रिया प्राप्त होती है, उसका इनपुट खर्च 8,000 x $0.15 प्रति 1M = $0.0012 होता है, और आउटपुट के लिए 300 x $0.50 प्रति 1M = $0.00015 जुड़ता है। यह प्रति टर्न $0.00135 है, इसलिए 100 टर्न का खर्च $0.135 होता है। इतिहास को 60,000 टोकन तक बढ़ाएं, तो केवल इनपुट हिस्से का खर्च प्रति टर्न $0.009 होता है, इसलिए 100 टर्न का खर्च $0.90 होता है, और आउटपुट के लिए $0.015 जुड़ता है, या कुल $0.915 होता है। अधिकांश चैट को इतनी ज़रूरत नहीं होती, और पुरानी घटनाओं का सारांश अक्सर कच्चे इतिहास से बेहतर काम करता है।

अधिकतम प्रतिक्रिया लंबाई

max_tokens वैकल्पिक है। 300 से 500 टोकन की एक प्रतिक्रिया लंबाई सेट करने से उत्तर साफ़ रहते हैं और आउटपुट लागत को सीमित करते हैं। यदि किरदार वाक्य के बीच में कट जाता है, तो इसे बढ़ाएँ।

सैंपलिंग

तापमान, top_p, स्टॉप सीक्वेंस, बीज और आवृत्ति और उपस्थिति पेनल्टी मॉडल में पास की जाती हैं। एक चैट प्रीसेट के डिफ़ॉल्ट के पास शुरू करें, और एक बार में एक मान बदलें। यदि जवाब वाक्यों को दोहराते हैं, तो तापमान के बजाय पेनल्टी को थोड़ा बढ़ाएं।

स्ट्रीमिंग

स्ट्रीमिंग को चालू रखें। टेक्स्ट उत्पन्न होते ही दिखाई देता है, SSE का उपयोग करके। उपयोग स्ट्रीम के अंत में रिपोर्ट किया जाता है। ध्यान दें कि एक स्ट्रीमिंग अनुरोध समाप्त होने तक एक कॉन्करेंसी स्लॉट को पकड़े रखता है, इसलिए ट्रायल कुंजी (2 समानांतर) पर रीजेनरेट बटन को तेज़ी से दो बार दबाने से त्रुटि आ सकती है।

समस्या निवारण

लक्षण	संभावित कारण	समाधान
401 अनअथोराइज्ड	गलत या अनुपस्थित कुंजी	कुंजी को फिर से पेस्ट करें और दोनों सिरों पर स्पेस के लिए जाँच करें
404 नहीं मिला	बेस URL में गलत पथ	बिल्कुल https://api.ollamaapi.com/v1 का उपयोग करें, इसके बाद कुछ नहीं
मॉडल नहीं मिला	गलत मॉडल ID	uncensored छोटे अक्षरों में टाइप करें
concurrency के साथ 429	एक साथ बहुत सारे अनुरोध	चल रहे उत्तर के समाप्त होने का प्रतीक्षा करें; ट्रायल कुंजी पर ग्रुप चैट से बचें
rate_limited के साथ 429	प्रति मिनट अनुरोधों से अधिक	गति कम करें; एक पूर्ण कुंजी प्रति मिनट 300 अनुरोधों की अनुमति देती है
Retry-After 5 के साथ 429	अस्थायी ओवरलोड	पांच सेकंड बाद पुनः प्रयास करें
ब्राउज़र CORS संदेश	दूसरे डिवाइस या प्रॉक्सी पर SillyTavern चल रहा है	इसके सर्वर-साइड रिक्वेस्ट पथ को सक्षम करें या इसे एक ही मशीन पर चलाएं

ग्रुप चैट के बारे में एक नोट जरूरी है। SillyTavern एक के बाद एक या एक साथ कई किरदार उत्तर भेज सकता है। यदि आपको ग्रुप्स के साथ कॉन्करेंसी त्रुटियां दिखती हैं, तो सक्रिय किरदारों की संख्या कम करें या ट्रायल कुंजी से अपग्रेड करें। एक पूर्ण कुंजी 8 कॉन्करेंट अनुरोधों की अनुमति देती है।

जब उत्तर खाली या अधूरा हो, तो पहले प्रतिक्रिया लंबाई सेटिंग देखें, फिर स्टॉप सीक्वेंस। एक स्टॉप स्ट्रिंग जो एक आम शब्द से मेल खाती है, त्रुटि के बिना उत्तर को जल्दी समाप्त कर देती है।

क्रेडिट जोड़ना और लागत को पूर्वानुमेय बनाए रखना

ट्रायल क्रेडिट से सेटअप आज़माकर लेखन की गुणवत्ता का आकलन किया जा सकता है। ऊपर दिए गए उदाहरण के अनुसार प्रति-टर्न लागत पर, $0.50 से 8,000-टोकन वाली चैट के लगभग 370 टर्न चलते हैं (0.50 को 0.00135 से विभाजित करने पर)। इसके बाद, $20 से शुरू करके किसी भी पूर्ण राशि से, अधिकतम $500 तक टॉप-अप करें। कार्ड (Visa, Mastercard, Apple Pay, Google Pay) और क्रिप्टो (TRC20 पर USDT, Base पर USDC) स्वीकार किए जाते हैं। बड़े टॉप-अप पर बोनस मिलता है: $50 से +5%, $100 से +10% और $200 से +15%। क्रेडिट कभी खत्म नहीं होता, कुछ भी स्वतः नवीनीकृत नहीं होता, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता। पूर्ण तालिका के लिए मूल्य निर्धारण पृष्ठ देखें।

प्रत्येक कॉल के बाद शेष राशि X-Balance-USD रिस्पॉन्स हेडर में दिखाई देती है, और आप डैशबोर्ड भी जांच सकते हैं। यदि आप बाद में SillyTavern से अपने स्वयं के स्क्रिप्ट्स में जाना चाहते हैं, तो दस्तावेज़ में अनुरोध फ़ील्ड्स की व्याख्या दी गई है। प्रॉम्प्ट्स को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।

अधिक गाइड

• Ollama API बनाम OpenAI API: आपकी परियोजना के लिए कौन सा उपयुक्त है
• OpenAI SDK के साथ Ollama API टूल कॉलिंग उदाहरण
• XAI API: मिथक बनाम तथ्य - बिना सेंसर विकल्प