API Ollama: เปลี่ยนไคลเอนต์ของคุณในสามบรรทัด

ข้อกำหนดเบื้องต้นและ URL พื้นฐาน

เพื่อใช้ API LLM แบบไม่เซ็นเซอร์นี้ คุณต้องมีบัญชีพร้อมคีย์ API และติดตั้ง SDK ที่เข้ากันได้กับ OpenAI ในสภาพแวดล้อมของคุณ URL พื้นฐานสำหรับคำขอทั้งหมดคือ https://api.ollamaapi.com/v1 เอนด์พอยต์นี้ถูกออกแบบมาเพื่อเป็นทางเลือกแทนที่ทันทีสำหรับไคลเอนต์ OpenAI ที่มีอยู่ หมายความว่าคุณต้องอัปเดตเฉพาะ URL พื้นฐานและคีย์ API ในการกำหนดค่าของคุณ API รองรับข้อความแบบเติมข้อความเข้า-ออก พร้อมสตรีมมิงผ่าน Server-Sent Events (SSE) และการเรียกใช้ฟังก์ชัน API ไม่รองรับ embeddings การสร้างภาพ หรือการปรับแต่งอย่างละเอียด ตรวจสอบให้แน่ใจว่าเวอร์ชัน SDK ของคุณรองรับฟีเจอร์เหล่านี้เพื่อประสบการณ์ที่ดีที่สุด คุณจะใช้โมเดล ID uncensored สำหรับการเติมข้อความทั้งหมด

การตรวจสอบสิทธิ์และคำขอแรก

การตรวจสอบสิทธิ์ดำเนินการผ่านโทเคน Bearer ในหัว Authorization ลงทะเบียนบนเว็บไซต์เพื่อรับคีย์ของคุณทันที; ไม่จำเป็นต้องใช้บัตรเครดิตสำหรับการทดลองใช้ ใช้คำสั่ง cURL ต่อไปนี้เพื่อส่งข้อความแรกของคุณ แทนที่ YOUR_API_KEY ด้วยคีย์จริงของคุณ คำขอนี้กำหนดเป้าหมายไปยังเอนด์พอยต์ chat completions มาตรฐาน หากสำเร็จ คุณจะได้รับการตอบกลับข้อความจากโมเดลที่ไม่เซ็นเซอร์ ตรวจสอบให้แน่ใจว่าคุณตั้งค่าฟิลด์ model เป็น uncensored เพื่อใช้โมเดลภาษาขนาดใหญ่เฉพาะที่โฮสต์บนเซิร์ฟเวอร์ GPU ของเรา

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

โปรดจำไว้ว่าพรอมต์ไม่ถูกนำไปใช้ในการฝึกข้อมูลของคุณ API กำหนดขีดจำกัดที่เข้มงวดเกี่ยวกับเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก แต่ในกรณีอื่น ๆ อนุญาตให้พูดถึงเนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมายและหัวข้อที่ถกเถียงได้โดยไม่มีการปฏิเสธ

การผสานรวม SDK Python

การใช้ Python SDK อย่างเป็นทางการของ OpenAI เป็นวิธีที่ตรงไปตรงมาที่สุดในการเชื่อมต่อ ติดตั้งไลบรารีผ่าน pip จากนั้นเริ่มต้นไคลเอนต์ด้วย URL พื้นฐานที่กำหนดเองและคีย์ API ของคุณ การตั้งค่านี้ช่วยให้คุณใช้โค้ดไคลเอนต์เดียวกันที่คุณอาจใช้สำหรับ GPT-4 แต่ชี้ไปที่โมเดลที่ไม่มีการเซ็นเซอร์ของเรา โค้ดด้านล่างแสดงคำขอการเติมข้อความแชทแบบง่าย คุณสามารถปรับพารามิเตอร์ max_tokens และ temperature ตามต้องการ ออบเจกต์การตอบกลับจะประกอบด้วยข้อความที่สร้างขึ้นใน response.choices[0].message.content

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

แนวทางนี้ใช้งานได้เพราะ API ของเราเข้ากันได้กับ OpenAI อย่างสมบูรณ์ คุณไม่จำเป็นต้องใช้ไลบรารีไคลเอนต์แยกต่างหากสำหรับบริการของเรา

การตั้งค่า SDK Node.js

สำหรับโปรเจกต์ JavaScript หรือ TypeScript OpenAI Node SDK ทำงานร่วมกับเอนด์พอยต์ของเราได้อย่างราบรื่น ติดตั้งแพ็กเกจและกำหนดค่าไคลเอนต์ด้วย baseURL ที่ชี้ไปยังโดเมนของเรา ส่งคีย์ API ของคุณในฟิลด์ apiKey โครงสร้างคำขอจะสะท้อนรูปแบบ OpenAI อย่างแม่นยำ สิ่งนี้ช่วยให้คุณนำ API ของเราไปใส่ในแอปพลิเคชัน Node.js ที่มีอยู่ได้โดยไม่ต้องมีการปรับโครงสร้างอย่างมีนัยสำคัญ โมเดล ID ยังคงเป็น uncensored คุณสามารถจัดการคีย์ API ของคุณผ่านแดชบอร์ดหากคุณต้องการสร้างคีย์ใหม่

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

ตรวจสอบให้แน่ใจว่าตัวแปรสภาพแวดล้อมของคุณตั้งค่าถูกต้องเพื่อหลีกเลี่ยงการเปิดเผยคีย์ของคุณในระบบควบคุมแหล่งที่มา คีย์ API จะแสดงทันทีหลังจากสมัครสมาชิก

การตอบสนองแบบสตรีมมิง

สำหรับแอปพลิเคชันที่ต้องการการสร้างโทเคนแบบเรียลไทม์ API รองรับ Server-Sent Events (SSE) ตั้งค่าพารามิเตอร์ stream เป็น true ในคำขอของคุณ เซิร์ฟเวอร์จะส่งชุดของชิ้นข้อมูล แต่ละชิ้นประกอบด้วยค่าเปลี่ยนแปลงบางส่วนของการตอบกลับ สิ่งนี้เหมาะสำหรับอินเทอร์เฟซแชทที่คุณต้องการแสดงข้อความเมื่อข้อความถูกสร้างขึ้น พฤติกรรมสตรีมมิงนั้นเหมือนกับ API สตรีมมิงของ OpenAI ดังนั้นตรรกะสตรีมมิงที่มีอยู่ควรทำงานได้ด้วยการเปลี่ยนแปลงเพียงเล็กน้อย จัดการสตรีมจนกว่าชิ้นข้อมูลสุดท้ายจะบ่งชี้ว่าการตอบกลับเสร็จสมบูรณ์

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

การสตรีมมิงไม่ส่งผลต่อราคาโทเคนหรือขีดจำกัดหน้าต่างบริบท

ขีดจำกัด ข้อผิดพลาด และบริบท

API มีหน้าต่างบริบท 100,000 โทเคน ซึ่งรวมพรอมต์และการเติมข้อความไว้ด้วยกัน สิ่งนี้ทำให้สามารถประมวลเอกสารขนาดใหญ่มากหรือการสนทนาที่ยาวนานได้ ขีดจำกัดอัตราถูกตั้งค่าไว้ที่ 300 คำขอต่อนาทีต่อคีย์ หากคุณเกินขีดจำกัดนี้ คุณจะได้รับข้อผิดพลาด 429 ข้อผิดพลาดการตรวจสอบสิทธิ์จะคืนสถานะ 401 ซึ่งมักเกิดจากคีย์ที่ไม่ถูกต้องหรือถูกเพิกถอน เงินไม่เพียงพอจะเกิดข้อผิดพลาด 402 ขนาดของร่างกายคำขอจำกัดอยู่ที่ 8 MB ไม่มีบริการแบบสมาชิก คุณจ่ายตามการใช้งานด้วยเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ คุณสามารถเติมเงินเริ่มต้นที่ $20 เครดิตไม่หมดอายุ ดังนั้นคุณสามารถหยุดใช้งานชั่วคราวได้ไม่จำกัดระยะเวลาโดยไม่สูญเสียยอดเงินคงเหลือ