Cài đặt Ollama API SillyTavern: Kết nối một điểm cuối được lưu trữ

Những gì bạn cần trước khi bắt đầu

Nếu bạn tìm kiếm ollama api sillytavern, bạn có lẽ muốn SillyTavern giao tiếp với một mô hình thông qua địa chỉ kiểu OpenAI thay vì cài đặt Ollama cục bộ. Điều đó hoạt động, vì SillyTavern cho phép bạn thêm bất kỳ điểm cuối nào tương thích OpenAI. Trang này kết nối nó với một điểm cuối được lưu trữ, nghĩa là không cần GPU ở phía bạn.

Bạn cần ba thứ: một bản cài đặt SillyTavern hoạt động, một khóa API và các giá trị điểm cuối. Các giá trị là:

• URL cơ sở: https://api.ollamaapi.com/v1
• ID mô hình: uncensored
• Xác thực: khóa của bạn, được gửi dưới dạng token bearer (SillyTavern làm điều này cho bạn)

Để lấy khóa, hãy đăng ký bằng Google hoặc bằng email và mật khẩu và mở trang khóa API. Người dùng mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột. Mỗi người chỉ được một lần, có hiệu lực trong 7 ngày và không cần thẻ. Khóa dùng thử bị giới hạn ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, điều này đủ cho một cuộc trò chuyện đơn lẻ.

Quy tắc nội dung: mô hình được tinh chỉnh để trả lời mà không có từ chối nội dung cho mục đích người trưởng thành hợp pháp, phù hợp với tiểu thuyết, nhập vai và thiết lập bạn đời cho người lớn. Không có nội dung nào liên quan đến người chưa thành niên được phép, và endpoint có giới hạn cứng về điều này.

Kiểm tra khóa với curl trước

Một thử nghiệm năm giây tiết kiệm rất nhiều việc đoán mò. Nếu lệnh này trả về phản hồi, khóa, URL và ID mô hình đều đúng, và bất kỳ vấn đề nào sau đó đều nằm ở cài đặt SillyTavern.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

Bạn cũng có thể liệt kê các mô hình bằng GET https://api.ollamaapi.com/v1/models bằng tiêu đề tương tự. Mã 401 có nghĩa là khóa sai hoặc bị thiếu. Một phản hồi có văn bản trong choices[0].message.content có nghĩa là bạn đã sẵn sàng cấu hình ứng dụng.

Kết nối SillyTavern từng bước một

Tên menu có thể thay đổi một chút giữa các phiên bản SillyTavern, nhưng đường dẫn thì ổn định. Mở biểu tượng plugin ở đầu, đây là bảng kết nối API.

1. Đặt API thành Chat Completion. Không dùng Text Completion cho endpoint này vì nó chỉ hỗ trợ chat completions.
2. Đặt Nguồn hoàn thành trò chuyện thành Tùy chỉnh (tương thích OpenAI).
3. Trong Endpoint tùy chỉnh (URL cơ sở), nhập https://api.ollamaapi.com/v1. Bỏ bất kỳ đường dẫn đuôi nào như /chat/completions.
4. Dán khóa của bạn vào Custom API Key.
5. Trong ID mô hình, nhập uncensored. Nếu trường cung cấp một danh sách thả xuống được điền bởi tuyến mô hình, hãy chọn cùng một mục.
6. Nhấn Kết nối. Trạng thái màu xanh lá cây với tên mô hình có nghĩa là quá trình bắt tay đã thành công.

Mở bất kỳ thẻ nhân vật nào và gửi một tin nhắn ngắn. Nếu văn bản được truyền phát, bạn đã hoàn tất kết nối. Các phần còn lại bao gồm tinh chỉnh, vì các giá trị mặc định không phải lúc nào cũng phù hợp nhất với một mô hình được lưu trữ có cửa sổ lớn.

Một lời nhắc nhở nếu bạn đến từ Ollama: kết nối Ollama của riêng SillyTavern sử dụng địa chỉ cục bộ và đường dẫn Hoàn thành văn bản. Tuyến đó trỏ đến máy tính của bạn. Ở đây bạn sử dụng tuyến Hoàn thành hội thoại và địa chỉ HTTPS công cộng thay thế, vì vậy hai thiết lập không trộn lẫn.

Các cài đặt đáng để thay đổi

Kích thước cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là 100.000 token, bao gồm prompt và kết quả. SillyTavern cho phép bạn đặt kích thước ngữ cảnh trong bảng điều khiển bộ lấy mẫu, và ứng dụng sẽ loại bỏ các tin nhắn cũ nhất khi cuộc trò chuyện vượt quá giới hạn đó. Giá trị lớn hơn ghi nhớ nhiều hơn của câu chuyện và cũng tốn kém hơn, vì toàn bộ lịch sử được gửi làm đầu vào cho mỗi phản hồi.

Đây là một ví dụ cụ thể. Một lượt hội thoại gửi 8.000 token lịch sử và nhận phản hồi 300 token tốn 8.000 x $0,15 trên 1 triệu = $0,0012 cho đầu vào, cộng 300 x $0,50 trên 1 triệu = $0,00015 cho đầu ra. Đó là $0,00135 mỗi lượt, vì vậy 100 lượt tốn $0,135. Đẩy lịch sử lên 60.000 token và phần đầu vào đơn thuần là $0,009 mỗi lượt, vì vậy 100 lượt tốn $0,90 cộng $0,015 cho đầu ra, hoặc tổng cộng $0,915. Hầu hết các cuộc trò chuyện không cần nhiều như vậy, và tóm tắt các sự kiện cũ thường hoạt động tốt hơn lịch sử thô.

Độ dài phản hồi tối đa

max_tokens là tùy chọn. Đặt độ dài phản hồi từ 300 đến 500 token giúp các câu trả lời gọn gàng và giới hạn chi phí đầu ra. Tăng giá trị này nếu nhân vật có xu hướng bị cắt ngang giữa câu.

Lấy mẫu

Nhiệt độ, top_p, trình tự dừng, hạt số và các hình phạt tần suất và hiện diện được chuyển tiếp đến mô hình. Hãy bắt đầu gần với các giá trị mặc định của bộ cài đặt hội thoại, và thay đổi một giá trị tại một thời điểm. Nếu các phản hồi lặp lại các cụm từ, hãy tăng nhẹ các hình phạt thay vì nhiệt độ.

Truyền phát

Giữ truyền phát bật. Văn bản xuất hiện khi nó được tạo, sử dụng SSE. Việc sử dụng được báo cáo vào cuối luồng. Lưu ý rằng một yêu cầu truyền phát giữ một slot độ đồng thời cho đến khi nó kết thúc, vì vậy việc nhấn tạo lại hai lần nhanh chóng trên một khóa dùng thử (2 đồng thời) có thể tạo ra lỗi.

Khắc phục sự cố

Triệu chứng	Nguyên nhân có thể	Cách khắc phục
401 Không được ủy quyền	Sai hoặc thiếu khóa	Dán lại khóa và kiểm tra khoảng trắng ở hai đầu
404 Không tìm thấy	Đường dẫn sai trong URL cơ sở	Sử dụng chính xác https://api.ollamaapi.com/v1, không có gì sau nó
Không tìm thấy mô hình	ID mô hình sai	Nhập uncensored bằng chữ thường
429 với concurrency	Quá nhiều yêu cầu cùng một lúc	Chờ phản hồi đang chạy kết thúc; tránh các cuộc trò chuyện nhóm trên khóa dùng thử
429 với rate_limited	Vượt quá giới hạn yêu cầu mỗi phút	Giảm tốc độ; một khóa đầy đủ cho phép 300 mỗi phút
429 với Retry-After 5	Quá tải tạm thời	Hãy thử lại sau năm giây
Thông báo CORS của trình duyệt	SillyTavern đang chạy trên thiết bị khác hoặc proxy	Bật đường dẫn yêu cầu phía máy chủ của nó hoặc chạy nó trên một máy

Cuộc trò chuyện nhóm cần một lưu ý. SillyTavern có thể gửi nhiều phản hồi của nhân vật theo trình tự hoặc cùng lúc. Nếu bạn thấy lỗi về giới hạn đồng thời với các nhóm, hãy giảm số lượng nhân vật đang hoạt động hoặc nâng cấp từ khóa dùng thử. Khóa đầy đủ cho phép 8 yêu cầu đồng thời.

Khi một phản hồi trống hoặc bị cắt ngắn, hãy xem cài đặt độ dài phản hồi trước, sau đó là các trình tự dừng. Một chuỗi dừng khớp với một từ phổ biến kết thúc phản hồi sớm mà không có lỗi.

Nạp tiền và giữ chi phí ổn định

Tín dụng dùng thử đủ để bạn thử cài đặt và đánh giá chất lượng văn bản. Với chi phí mỗi lượt từ ví dụ trên, $0,50 trả cho khoảng 370 lượt của một cuộc trò chuyện 8.000 token (0,50 chia cho 0,00135). Sau đó, bạn có thể nạp tiền từ $20, với bất kỳ số nguyên nào lên đến $500. Thẻ (Visa, Mastercard, Apple Pay, Google Pay) và tiền mã hóa (USDT trên TRC20, USDC trên Base) được chấp nhận. Các khoản nạp lớn hơn có thêm ưu đãi: +5% từ $50, +10% từ $100 và +15% từ $200. Tín dụng không bao giờ hết hạn, không có gì tự động gia hạn, và các yêu cầu thất bại hoặc bị từ chối sẽ không bị tính phí. Xem trang giá để có bảng đầy đủ.

Số dư sau mỗi lần gọi xuất hiện trong tiêu đề phản hồi X-Balance-USD, và bạn cũng có thể kiểm tra trên bảng điều khiển. tài liệu giải thích các trường yêu cầu nếu bạn muốn chuyển từ SillyTavern sang các kịch bản của riêng mình sau này. Các prompt không được sử dụng để huấn luyện.

Hướng dẫn khác

• API Ollama so với API OpenAI: Cái nào phù hợp với dự án của bạn
• Ví dụ gọi công cụ API Ollama với SDK OpenAI
• API XAI: Những điều lầm tưởng và sự thật - Lựa chọn không kiểm duyệt