Ollama API SillyTavern 설정: 호스팅 엔드포인트 연결

시작하기 전에 필요한 항목

"ollama api sillytavern"을 검색하셨다면, 로컬 Ollama 설치 대신 OpenAI 스타일 주소로 모델과 대화하고 싶으실 것입니다. 이는 SillyTavern이 모든 OpenAI 호환 엔드포인트를 추가할 수 있기 때문에 가능합니다. 이 페이지는 이를 호스팅 엔드포인트에 연결하는 방법을 설명하며, 이는 사용자 측에 GPU가 필요 없음을 의미합니다.

세 가지가 필요합니다: 작동하는 SillyTavern 설치, API 키, 엔드포인트 값입니다. 값은 다음과 같습니다:

• 베이스 URL: https://api.ollamaapi.com/v1
• 모델 ID: uncensored
• 인증: bearer token으로 전송되는 키 (SillyTavern이 자동으로 처리함)

키를 얻으려면 Google 또는 이메일과 비밀번호로 가입하고 API 키 페이지를 여세요. 신규 사용자는 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 받을 수 있습니다. 이는 1인 1회, 유효 기간 7일이며 카드가 필요하지 않습니다. 체험 키는 동시 요청 2개, 분당 요청 60개로 제한되며, 단일 채팅에는 충분합니다.

콘텐츠 규칙: 이 모델은 합법적인 성인 사용에 맞게 콘텐츠 거부 없이 답변하도록 조정되었으며, 소설, 롤플레이, 성인용 컴패니언 설정에 적합합니다. 미성년자가 등장하는 콘텐츠는 허용되지 않으며, 엔드포인트에는 이에 대한 엄격한 제한이 있습니다.

먼저 curl로 키 테스트하기

5초 테스트는 많은 추측을 줄여줍니다. 이 명령이 응답을 반환하면 키, URL 및 모델 ID가 정확하며, 이후의 문제는 모두 SillyTavern 설정에 있습니다.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}],
    "max_tokens": 40
  }'

동일한 헤더를 사용하여 GET https://api.ollamaapi.com/v1/models로 모델을 나열할 수도 있습니다. 401은 키가 잘못되었거나 누락되었음을 의미합니다. choices[0].message.content에 텍스트가 포함된 응답은 앱 구성을 시작할 준비가 되었음을 의미합니다.

SillyTavern 단계별 연결

메뉴 이름은 SillyTavern 버전에 따라 약간 다를 수 있지만 경로는 동일합니다. 상단의 플러그 아이콘(API 연결 패널)을 엽니다.

1. API를 채팅 완료로 설정하세요. 이 엔드포인트는 채팅 완료만 제공하므로 텍스트 완료를 사용하지 마세요.
2. 채팅 완료 소스를 사용자 지정(OpenAI 호환)로 설정하세요.
3. 커스텀 엔드포인트(베이스 URL)에 https://api.ollamaapi.com/v1를 입력하세요. /chat/completions과 같은 후행 경로는 생략하세요.
4. Custom API Key에 키를 붙여넣습니다.
5. 모델 ID에 uncensored를 입력하세요. 필드에서 모델 경로로 채워진 드롭다운이 표시되면 동일한 항목을 선택하세요.
6. 연결을 누르세요. 모델 이름이 있는 녹색 상태는 핸드셰이크가 성공했음을 의미합니다.

캐릭터 카드를 열고 짧은 메시지를 보내세요. 텍스트가 스트리밍되면 연결이 완료된 것입니다. 나머지 섹션은 튜닝을 다룹니다. 기본값은 큰 컨텍스트 창을 가진 호스팅 모델에 항상 가장 적합한 것은 아닙니다.

Ollama에서 오신 분들을 위한 참고: SillyTavern의 자체 Ollama 연결은 로컬 주소와 텍스트 완료 경로를 사용합니다. 이 경로는 사용자의 컴퓨터를 가리킵니다. 여기서는 채팅 완료 경로와 공개 HTTPS 주소를 사용하므로 두 설정이 혼합되지 않습니다.

변경할 만한 설정

컨텍스트 크기

컨텍스트 창은 프롬프트와 완료를 합쳐 100,000 토큰입니다. SillyTavern은 샘플러 패널에서 컨텍스트 크기를 설정할 수 있으며, 채팅이 이를 초과하면 가장 오래된 메시지를 삭제합니다. 더 큰 값은 스토리의 더 많은 부분을 기억하지만, 모든 응답에 전체 이력이 입력으로 전송되므로 비용도 더 많이 듭니다.

다음은 계산 예시입니다. 8,000 토큰의 이력을 보내고 300 토큰의 응답을 받는 채팅 턴은 입력에 대해 8,000 x $0.15 / 1M = $0.0012, 출력에 대해 300 x $0.50 / 1M = $0.00015가 듭니다. 이는 턴당 $0.00135이며, 100 턴은 $0.135가 듭니다. 이력을 60,000 토큰으로 늘리면 입력 부분만 턴당 $0.009가 되어 100 턴은 $0.90이며 출력 $0.015를 더해 총 $0.915가 듭니다. 대부분의 채팅은 그렇게 많은 양이 필요하지 않으며, 오래된 이벤트의 요약이 원본 이력보다 더 잘 작동합니다.

최대 응답 길이

max_tokens은 선택 사항입니다. 응답 길이를 300~500 토큰으로 설정하면 응답이 깔끔하게 유지되고 출력 비용이 제한됩니다. 캐릭터가 문장 중간에 잘리는 경향이 있다면 높여도 됩니다.

샘플링

Temperature, top_p, stop 시퀀스, seed 및 빈도 및 존재 패널티는 모델로 전달됩니다. 채팅 프리셋의 기본값 근처에서 시작하고 한 번에 하나의 값을 변경하세요. 응답이 구문을 반복한다면 온도를 높이는 대신 패널티를 약간 높여야 합니다.

스트리밍

스트리밍을 켜두세요. 텍스트는 SSE를 사용하여 생성되는 대로 표시됩니다. 사용량은 스트림 끝에 보고됩니다. 스트리밍 요청은 완료될 때까지 동시성 슬롯을 유지하므로, 체험 키(동시 2개)에서 빠르게 두 번 재생성을 누르면 오류가 발생할 수 있습니다.

문제 해결

증상	잠재적 원인	해결 방법
401 Unauthorized	잘못된 키 또는 누락된 키	키를 다시 붙여넣고 양 끝의 공백을 확인하세요
404 Not found	베이스 URL의 잘못된 경로	https://api.ollamaapi.com/v1을 정확히 사용하세요. 그 뒤에는 아무것도 추가하지 마세요.
모델을 찾을 수 없음	잘못된 모델 ID	소문자로 uncensored를 입력하세요
concurrency 429	너무 많은 동시 요청	실행 중인 응답이 끝날 때까지 기다리세요; 체험 키에서는 그룹 채팅을 피하세요
rate_limited과 함께 429	분당 요청 초과	속도를 줄이세요; 전체 키는 분당 300개를 허용합니다
Retry-After 5와 함께 429	일시적 과부하	5초 후 재시도
브라우저 CORS 메시지	다른 장치 또는 프록시에서 실행 중인 SillyTavern	서버 측 요청 경로를 활성화하거나 단일 기기에서 실행하세요.

그룹 채팅에 대한 참고 사항입니다. SillyTavern은 여러 캐릭터 응답을 순차적으로 또는 동시에 보낼 수 있습니다. 그룹에서 동시성 오류가 발생하면 활성 캐릭터 수를 줄이거나 체험 키에서 전체 키로 업그레이드하세요. 전체 키는 동시 요청 8개를 허용합니다.

응답이 비어 있거나 잘린 경우, 먼저 응답 길이 설정을 확인한 다음 정지 시퀀스를 확인하세요. 일반적인 단어와 일치하는 정지 문자열은 오류 없이 응답을 조기에 종료합니다.

크레딧 충전 및 비용 예측

무료 체험 크레딧으로 설정을 테스트하고 생성된 텍스트의 질을 평가할 수 있습니다. 위의 예시에서 언급된 턴당 비용으로 $0.50이면 8,000 토큰의 채팅을 약 370턴 사용할 수 있습니다(0.50을 0.00135로 나눈 값). 이후에는 $20부터 $500까지 정수 단위로 선불 크레딧을 충전할 수 있습니다. 카드(Visa, Mastercard, Apple Pay, Google Pay)와 암호화폐(USDT on TRC20, USDC on Base)가 모두 지원됩니다. 대액 충전 시 보너스가 제공됩니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. 선불 크레딧은 만료되지 않으며 자동으로 갱신되지 않고, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 전체 요금표는 요금제 페이지에서 확인하세요.

각 호출 후 잔액은 X-Balance-USD 응답 헤더에 나타나며 대시보드에서도 확인할 수 있습니다. 문서는 나중에 SillyTavern에서 자체 스크립트로 이동하려는 경우 요청 필드를 설명합니다. 프롬프트는 학습에 사용되지 않습니다.

더 많은 가이드

• Ollama API vs OpenAI API: 프로젝트에 적합한 것은 무엇인가요
• OpenAI SDK를 사용한 Ollama API 함수 호출 예제
• XAI API: 흔한 오해와 사실 - 무검열 대체재