Ollama API: अपने क्लाइंट को तीन पंक्तियों में बदलें

आवश्यकताएँ और बेस यूआरएल

इस बिना सेंसर LLM API का उपयोग करने के लिए, आपको एक खाते, API कुंजी और अपने वातावरण में स्थापित OpenAI-संगत SDK की आवश्यकता है। सभी अनुरोधों के लिए बेस URL https://api.ollamaapi.com/v1 है। इस एंडपॉइंट को मौजूदा OpenAI क्लाइंट्स के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में डिज़ाइन किया गया है, जिसका अर्थ है कि आपको केवल अपने कॉन्फ़िगरेशन में बेस URL और API कुंजी अपडेट करने की आवश्यकता है। API सर्वर-सेंट इवेंट्स (SSE) के माध्यम से स्ट्रीमिंग और फ़ंक्शन कॉलिंग के साथ टेक्स्ट-इन, टेक्स्ट-आउट कंप्लीशन का समर्थन करता है। इसमें एम्बेडिंग, इमेज जनरेशन या फाइन-ट्यूनिंग का समर्थन नहीं है। सर्वोत्तम अनुभव के लिए सुनिश्चित करें कि आपका SDK संस्करण इन सुविधाओं का समर्थन करता है। आप सभी कंप्लीशन के लिए uncensored मॉडल आईडी का उपयोग करेंगे।

प्रमाणीकरण और पहला अनुरोध

प्रमाणीकरण Authorization हेडर में Bearer टोकन के माध्यम से संभाली जाती है। ट्रायल के लिए साइट पर साइन अप करें और तुरंत अपनी कुंजी प्राप्त करें; ट्रायल के लिए क्रेडिट कार्ड की आवश्यकता नहीं है। अपना पहला संदेश भेजने के लिए निम्नलिखित cURL कमांड का उपयोग करें। YOUR_API_KEY को अपनी वास्तविक कुंजी से बदलें। अनुरोध मानक चैट पूरा होने वाले एंडपॉइंट को लक्षित करता है। यदि सफलता मिलती है, तो आप बिना सेंसर मॉडल से टेक्स्ट प्रतिक्रिया प्राप्त करेंगे। सुनिश्चित करें कि आप model फ़ील्ड को uncensored पर सेट करें ताकि हमारे GPU सर्वरों पर होस्ट किए गए विशिष्ट लार्ज लैंग्वेज मॉडल का उपयोग कर सकें।

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

याद रखें कि प्रॉम्प्ट का उपयोग आपके डेटा के प्रशिक्षण के लिए नहीं किया जाता है। API किशोरों से संबंधित यौन सामग्री पर एक कठोर सीमा लागू करता है, लेकिन अन्यथा कानूनी वयस्कों और विवादास्पद विषयों को बिना अस्वीकृति के अनुमति देता है।

Python SDK एकीकरण

औपचारिक OpenAI Python SDK का उपयोग करना एकीकरण का सबसे सरल तरीका है। pip के माध्यम से लाइब्रेरी इंस्टॉल करें, फिर कस्टम बेस URL और अपनी API कुंजी के साथ क्लाइंट को इनिशियलाइज़ करें। यह सेटअप आपको उसी क्लाइंट कोड का उपयोग करने की अनुमति देता है जिसे आप GPT-4 के लिए उपयोग कर सकते हैं, लेकिन हमारे बिना सेंसर मॉडल के लिए निर्देशित। नीचे दिया गया कोड एक सरल चैट पूरा होने वाले अनुरोध को दर्शाता है। आप max_tokens और temperature पैरामीटरों को आवश्यकतानुसार समायोजित कर सकते हैं। प्रतिक्रिया ऑब्जेक्ट में response.choices[0].message.content में जनरेटेड टेक्स्ट होगा।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

यह दृष्टिकोण इसलिए काम करता है क्योंकि हमारा API पूरी तरह से OpenAI-संगत है। आपको हमारी सेवा के लिए एक अलग क्लाइंट लाइब्रेरी की आवश्यकता नहीं है।

Node.js SDK सेटअप

JavaScript या TypeScript प्रोजेक्ट्स के लिए, OpenAI Node SDK हमारे एंडपॉइंट के साथ सहज रूप से काम करता है। पैकेज इंस्टॉल करें और baseURL को हमारे डोमेन की ओर इशारा करते हुए क्लाइंट को कॉन्फ़िगर करें। apiKey फ़ील्ड में अपनी API कुंजी पास करें। अनुरोध संरचना OpenAI फॉर्मेट के बिल्कुल मेल खाती है। इससे आपको बिना उल्लेखनीय रीफैक्टoring के मौजूदा Node.js एप्लिकेशन में हमारा API ड्रॉप करने की अनुमति मिलती है। मॉडल ID uncensored ही रहती है। यदि आपको इसे पुनः जनरेट करने की आवश्यकता है, तो आप डैशबोर्ड के माध्यम से अपनी API कुंजी प्रबंधित कर सकते हैं।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

सुनिश्चित करें कि आपके वातावरण चर सही तरीके से सेट हैं ताकि स्रोत नियंत्रण में आपकी कुंजी प्रकट न हो। API कुंजी साइन अप के तुरंत बाद दिखाई जाती है।

स्ट्रीमिंग प्रतिक्रियाएँ

वास्तविक समय टोकन जनरेशन की आवश्यकता वाले एप्लिकेशन के लिए, API Server-Sent Events (SSE) का समर्थन करता है। अपने अनुरोध में stream पैरामीटर को true पर सेट करें। सर्वर एक श्रृंखला चंक भेजेगा, प्रत्येक में प्रतिक्रिया का आंशिक डेल्टा होता है। यह चैट इंटरफ़ेस के लिए आदर्श है जहां आप टेक्स्ट को जनरेट होते ही प्रदर्शित करना चाहते हैं। स्ट्रीमिंग व्यवहार OpenAI स्ट्रीमिंग API के समान है, इसलिए मौजूदा स्ट्रीमिंग लॉजिक में न्यूनतम परिवर्तनों के साथ काम करना चाहिए। अंतिम चंक प्रतिक्रिया के पूर्ण होने का संकेत देने तक स्ट्रीम को संभालें।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

स्ट्रीमिंग टोकन मूल्य निर्धारण या कॉन्टेक्स्ट विंडो सीमाओं को प्रभावित नहीं करती है।

सीमाएँ, त्रुटियाँ और कॉन्टेक्स्ट

API में प्रॉम्प्ट और कंप्लीशन को मिलाकर 100,000 टोकन की कॉन्टेक्स्ट विंडो है। यह व्यापक दस्तावेज़ प्रसंस्करण या लंबी बातचीत की अनुमति देता है। रेट लिमिट प्रति कुंजी प्रति मिनट 300 अनुरोध पर सेट है। यदि आप इससे अधिक हो जाते हैं, तो आपको 429 त्रुटि मिलेगी। प्रमाणीकरण त्रुटियाँ 401 स्थिति लौटाती हैं, आमतौर पर एक अमान्य या रद्द की गई कुंजी के कारण। अपर्याप्त फंड्स 402 त्रुटि का परिणाम देते हैं। अनुरोध बॉडीज़ 8 MB तक सीमित हैं। कोई सब्सक्रिप्शन नहीं है; आप प्रीपेड क्रेडिट के साथ पे-एज़-यू-गो भुगतान करते हैं जो कभी समाप्त नहीं होते हैं। आप $10 से शुरू करके टॉप-अप कर सकते हैं। क्रेडिट समाप्त नहीं होते हैं, इसलिए आप बिना बैलेंस खोए उपयोग अनिश्चित काल के लिए रोक सकते हैं।