API Ollama: Chuyển đổi client của bạn trong ba dòng

Yêu cầu tiên quyết và URL cơ sở

Để sử dụng API LLM không kiểm duyệt này, bạn cần một tài khoản có khóa API và đã cài đặt SDK tương thích OpenAI trong môi trường của bạn. URL cơ sở cho tất cả các yêu cầu là https://api.ollamaapi.com/v1. Endpoint này được thiết kế để thay thế trực tiếp cho các máy khách OpenAI hiện có, nghĩa là bạn chỉ cần cập nhật URL cơ sở và khóa API trong cấu hình của mình. API hỗ trợ hoàn thành văn bản đầu vào/đầu ra với truyền phát (streaming) qua Server-Sent Events (SSE) và gọi hàm. API không hỗ trợ embedding, tạo ảnh hoặc tinh chỉnh. Hãy đảm bảo phiên bản SDK của bạn hỗ trợ các tính năng này để có trải nghiệm tốt nhất. Bạn sẽ sử dụng ID mô hình uncensored cho tất cả các lần hoàn thành.

Xác thực và yêu cầu đầu tiên

Xác thực được xử lý qua mã thông báo Bearer trong tiêu đề Authorization. Đăng ký trên trang web để nhận khóa của bạn ngay lập tức; không cần thẻ tín dụng cho bản dùng thử. Sử dụng lệnh cURL sau để gửi tin nhắn đầu tiên của bạn. Thay thế YOUR_API_KEY bằng khóa thực tế của bạn. Yêu cầu nhắm vào endpoint hoàn thành hội thoại tiêu chuẩn. Nếu thành công, bạn sẽ nhận được phản hồi văn bản từ mô hình không kiểm duyệt. Hãy đảm bảo bạn đặt trường model thành uncensored để sử dụng mô hình ngôn ngữ lớn cụ thể được lưu trữ trên các máy chủ GPU của chúng tôi.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Hãy nhớ rằng các prompt không được sử dụng để huấn luyện dữ liệu của bạn. API áp dụng giới hạn cứng đối với nội dung tình dục liên quan đến người chưa thành niên, nhưng nói chung cho phép các chủ đề người trưởng thành hợp pháp và gây tranh cãi mà không từ chối.

Tích hợp SDK Python

Sử dụng SDK Python chính thức của OpenAI là cách đơn giản nhất để tích hợp. Cài đặt thư viện qua pip, sau đó khởi tạo máy khách với URL cơ sở tùy chỉnh và khóa API của bạn. Cấu hình này cho phép bạn sử dụng cùng mã máy khách mà bạn có thể dùng cho GPT-4, nhưng được định hướng vào mô hình không kiểm duyệt của chúng tôi. Mã dưới đây minh họa một yêu cầu hoàn thành hội thoại đơn giản. Bạn có thể điều chỉnh các tham số max_tokens và temperature khi cần. Đối tượng phản hồi sẽ chứa văn bản được tạo trong response.choices[0].message.content.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Cách tiếp cận này hoạt động vì API của chúng tôi hoàn toàn tương thích với OpenAI. Bạn không cần thư viện client riêng biệt cụ thể cho dịch vụ của chúng tôi.

Cài đặt SDK Node.js

Đối với các dự án JavaScript hoặc TypeScript, SDK Node.js của OpenAI hoạt động liền mạch với endpoint của chúng tôi. Cài đặt gói và cấu hình client với baseURL trỏ đến miền của chúng tôi. Truyền khóa API của bạn trong trường apiKey. Cấu trúc yêu cầu giống hệt định dạng OpenAI. Điều này cho phép bạn đưa API của chúng tôi vào các ứng dụng Node.js hiện có mà không cần tái cấu trúc đáng kể. ID mô hình vẫn là uncensored. Bạn có thể quản lý khóa API của mình qua bảng điều khiển nếu bạn cần tạo lại nó.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Đảm bảo các biến môi trường của bạn được đặt chính xác để tránh làm lộ khóa của bạn trong kiểm soát nguồn. Khóa API được hiển thị ngay lập tức khi đăng ký.

Phản hồi truyền phát

Đối với các ứng dụng yêu cầu tạo token theo thời gian thực, API hỗ trợ Sự kiện gửi qua máy chủ (SSE). Đặt tham số stream thành true trong yêu cầu của bạn. Máy chủ sẽ gửi một loạt các chunk, mỗi chunk chứa một phần delta của phản hồi. Điều này lý tưởng cho các giao diện chat nơi bạn muốn hiển thị văn bản khi nó được tạo. Hành vi truyền phát giống hệt với API truyền phát OpenAI, vì vậy logic truyền phát hiện có nên hoạt động với những thay đổi tối thiểu. Xử lý luồng cho đến khi chunk cuối cùng cho biết phản hồi đã hoàn tất.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Truyền phát không ảnh hưởng đến giá token hoặc giới hạn cửa sổ ngữ cảnh.

Giới hạn, lỗi và ngữ cảnh

API có cửa sổ ngữ cảnh 100.000 token, kết hợp prompt và hoàn thành. Điều này cho phép xử lý tài liệu chuyên sâu hoặc các cuộc hội thoại dài. Giới hạn tốc độ được đặt ở mức 300 yêu cầu mỗi phút trên mỗi khóa. Nếu bạn vượt quá giới hạn này, bạn sẽ nhận được lỗi 429. Lỗi xác thực trả về trạng thái 401, thường do khóa không hợp lệ hoặc đã bị thu hồi. Không đủ tiền dẫn đến lỗi 402. Thân yêu cầu được giới hạn ở 8 MB. Không có gói đăng ký; bạn trả tiền theo mức sử dụng với tín dụng trả trước không bao giờ hết hạn. Bạn có thể nạp tiền bắt đầu từ 20 USD. Tín dụng không bao giờ hết hạn, vì vậy bạn có thể tạm dừng sử dụng vô thời hạn mà không mất số dư.