Ollama API vs OpenAI API: Który pasuje do Twojego projektu

Krótka odpowiedź

Pytanie o różnicę między api ollama a api openai sprowadza się głównie do tego, gdzie działa model. W przypadku Ollamy model działa na komputerze, który kontrolujesz, a Twój kod wywołuje localhost. W przypadku OpenAI model działa w centrum danych innej firmy, a Twój kod wywołuje publiczny adres HTTPS z kluczem i rachunkiem na koniec miesiąca.

Wszystko inne wynika z tej jednej różnicy: struktury kosztów, opóźnienia, które możesz dostosować, tego, kto widzi Twoje prompty, które modele możesz wybrać i co się dzieje, gdy wyślesz sto zapytań naraz. Tabela przedstawia fakty, które obowiązują w obu przypadkach.

Temat	Ollama	OpenAI API
Gdzie działa	Twój laptop, stacja robocza lub serwer	Serwery OpenAI
Kto konfiguruje model	Pobierasz i aktualizujesz wagi samodzielnie	OpenAI wybiera i aktualizuje swoje modele
Rozliczenia	Brak opłaty za token w lokalnym środowisku; płacisz za sprzęt i energię	Za token, z konta z rozliczeniami
Format zapytania	Natywne ścieżki oraz warstwa w stylu OpenAI /v1	Oryginalny format OpenAI
Przepustowość	Ograniczone przez twój sprzęt	Ograniczone limitami zapytań konta

Jeśli chcesz pośredniego rozwiązania, endpoint hostowany, który mówi tym samym formatem OpenAI, ale obsługuje model o otwartych wagach, jest omówiony pod koniec tej strony.

Czym tak naprawdę jest każde API

Ollama

Ollama to program, który pobiera modele o otwartych wagach i udostępnia je przez HTTP na Twojej maszynie. Domyślnie nasłuchuje na porcie 11434. Ma własne ścieżki, takie jak /api/chat i /api/generate, a także udostępnia warstwę w stylu OpenAI pod /v1, dzięki czemu istniejący kod klienta OpenAI może wskazywać na niego. W typowej konfiguracji lokalnej nie ma konta ani klucza. Klienci, którzy wymagają pola klucza, otrzymują ciąg zastępczy.

Wybierasz model, kwantyzację i ustawienia kontekstu. Ta wolność jest główną atrakcją, ale też kosztem: jeśli model nie mieści się w Twojej pamięci, będzie wolny lub w ogóle się nie załaduje.

OpenAI API

OpenAI API to usługa hostowana. Tworzysz konto, dodajesz rozliczenia, generujesz klucz i wysyłasz zapytania pod adres OpenAI. Otrzymujesz modele oferowane przez OpenAI, zgodnie z politykami użytkowania OpenAI, z limitami, na które pozwala Twój poziom konta. Pojemność, ulepszenia i czas pracy to ich zadanie, a nie Twoje. Format zapytania, który widzisz w większości poradników, z tablicą messages i tablicą choices w odpowiedzi, pochodzi z tego API.

Dlaczego w ogóle je porównują

Porównanie istnieje, ponieważ oba rozwiązania można osiągnąć za pomocą tego samego kodu klienta. Oficjalne SDK OpenAI pozwalają na nadpisanie adresu bazowego, a warstwa /v1 Ollamy rozumie ukończenia czatu. Dzięki temu skrypt napisany dla jednego rozwiązania można często skierować na drugie za pomocą jednej linii. To wygodne, ale też ukrywa prawdziwe różnice, które omówimy w kolejnych sekcjach.

Ten sam kod klienta, dwa bazowe URL-e

To jest ta część, która sprawia, że przełączanie jest tanie. Poniższy fragment kodu Pythona komunikuje się z lokalnym serwerem Ollama. Tylko base URL, klucz i nazwa modelu są specyficzne dla celu.

Copyfrom openai import OpenAI

# Local Ollama through its OpenAI-style layer
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

reply = client.chat.completions.create(
    model="llama3.2",  # whatever model you pulled locally
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Aby wysłać to samo zapytanie do hostowanego endpointu kompatybilnego z OpenAI, zmieniasz trzy wartości. Oto wersja dla tej strony, z identyfikatorem modelu uncensored.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

To samo zapytanie działa z curl, co jest przydatne do szybkiego testu przed modyfikacją kodu aplikacji.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Jedna uwaga dotyczy każdego przełączania między tymi celami. Kompatybilność obejmuje kształt żądania i odpowiedzi, a nie zachowanie. Różne modele wykonują instrukcje w różny sposób, obsługują wywoływanie funkcji w różny sposób i generują różne formaty. Uruchom swoje własne prompty przez nowy cel, zanim mu zaufasz.

Koszty: sprzęt, który posiadasz, versus tokeny, które kupujesz

Lokalna inferencja wygląda na darmową, ponieważ nie przychodzi faktura. Nie jest darmowa. Płacisz za GPU lub maszynę z dużą pamięcią, za prąd i za godziny spędzone na instalacji sterowników, wyborze kwantyzacji i ponownym uruchomieniu serwera, który wyczerpał pamięć. Jeśli już posiadasz wydajny sprzęt i wysyłasz kilka promptów dziennie, ten koszt w praktyce jest bliski zeru. Jeśli musiałbyś kupić kartę tylko do uruchomienia modelu, który chcesz, rachunek się zmienia.

Ceny w modelu hostowanym mają odmienny kształt: brak opłat wstępnych i opłaty rosnące wraz z użytkowaniem. Na tej stronie cena wynosi $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, z przedpłaconego kredytu bez subskrypcji. W przypadku OpenAI sprawdź ich aktualną stronę z cenami, ponieważ różnią się one w zależności od modelu i zmieniają się w czasie.

Oto jak działają obliczenia dla modelu hostowanego w przypadku realistycznego zadania na tym endpointzie. Załóżmy, że aplikacja wysyła 40 000 zapytań w miesiącu, każde z 1 500 tokenami wejściowymi i 400 tokenami wyjściowymi.

• Wejście: 40 000 x 1 500 = 60 000 000 tokenów, czyli 60M. Po $0,15 za 1M to $9,00.
• Wyjście: 40 000 x 400 = 16 000 000 tokenów, czyli 16M. Po $0,50 za 1M to $8,00.
• Razem: $17,00 za miesiąc.

Możesz porównać tę liczbę z kosztem zakupu, zasilania i utrzymania odpowiedniej maszyny. Przy lekkim lub burstowym ruchu płacenie za token zazwyczaj się opłaca. Przy stałym, dużym ruchu na sprzęcie, który już masz, lokalne rozwiązanie zwykle wygrywa. Zobacz stronę z cenami, aby poznać kwoty doładowań i bonusy.

Modele, zasady dotyczące treści i prywatność

W przypadku Ollama decydujesz, który model o otwartych wagach uruchomić, a nikt nie stoi między Twoim promptem a wagami. Zachowanie treściowe jest tym, co robi ten model. Niektóre modele społecznościowe są nastawione na mniejszą odmowę, inne nie, a Ty możesz je wymieniać swobodnie.

Dostawca hostowany stosuje własne polityki użytkowania i własne filtrowanie. To rozsądna pozycja dla usługi ogólnego przeznaczenia, ale też dlatego niektórzy pisarze, twórcy roleplay i badacze pracujący z dojrzałą fikcją zauważają, że odpowiedzi hostowane są skracane. Przeczytaj politykę dowolnego dostawcy, na którym planujesz polegać, i sprawdź ich aktualne zasady, zamiast zakładać.

Ta strona znajduje się w innym miejscu. Obsługuje jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę i nastawiony na odpowiadanie bez odmów treści dla prawnego użytku dorosłego. To nie jest oficjalne API OpenAI, Meta, Mistral ani żadnego innego dostawcy, ani nie jest routerem między dostawcami. Istnieje jeden ścisły limit: brak treści seksualnych z udziałem nieletnich. Prompty nie są używane do uczenia. Nieudane lub odrzucone zapytania nie są rozliczane.

Jeśli chodzi o prywatność, lokalne Ollama przechowuje prompty na Twojej maszynie, czego nie dorówna żadna usługa hostowana. Jeśli Twoje dane muszą nigdy opuścić budynek, uruchom Ollama lokalnie i przestań porównywać. Jeśli możesz wysyłać tekst do usługi hostowanej, najpierw przeczytaj stronę prywatności dostawcy. Nasza znajduje się pod adresem /privacy/.

Limity, współbieżność i funkcje

Lokalne limity są fizyczne. Jeden GPU obsługuje kilka współbieżnych zapytań, zanim każde z nich zwolni, a długi kontekst szybko zużywa pamięć. Limity hostowane to kwestia polityki. Na tym endpointzie pełny klucz pozwala na 8 współbieżnych zapytań i 300 zapytań na minutę, a klucz próbny pozwala na 2 współbieżne i 60 na minutę. Okno kontekstu wynosi 100 000 tokenów, licząc prompt plus ukończenie, a ciało zapytania może mieć do 8 MB.

Jeśli przekroczysz limit, otrzymasz HTTP 429. Kod błędu to rate_limited dla limitu zapytań na minutę i concurrency dla zbyt dużej liczby zapytań naraz. Odpowiedź 429 z nagłówkiem Retry-After: 5 oznacza tymczasowe przeciążenie, więc poczekaj pięć sekund i ponów próbę. Zapytanie strumieniowe zajmuje slot współbieżności do końca strumieniowania, co ma znaczenie, gdy otwierasz wiele strumieni równolegle.

Zakres funkcji po stronie hostowanej skupia się na czacie. Otrzymujesz strumieniowanie przez SSE z użyciem na końcu, wywoływanie funkcji, tryb JSON oraz przekazywanie temperatury, top_p, stop, seed i kar. Nie ma generowania obrazu, audio ani wideo, nie ma embeddingów ani dostrajania. Jeśli potrzebujesz tych funkcji, zaplanuj ich pozyskanie gdzie indziej. Nasza dokumentacja wymienia dokładne pola zapytania.

Nagłówki odpowiedzi obejmują X-Request-Id i X-Balance-USD, dzięki czemu możesz zalogować zapytanie i sprawdzić swój pozostały kredyt bez dodatkowego wywołania.

Jak wybrać

Wybierz według ograniczenia, które najbardziej boli.

• Prompty muszą pozostać na Twoim sprzęcie. Użyj Ollama lokalnie.
• Już masz wydajny GPU i chcesz eksperymentować. Użyj Ollamy lokalnie, a później przenieś się, jeśli ruch go przekroczy.
• Potrzebujesz modelu wiodącego konkretnego dostawcy lub jego ekosystemu. Użyj API tego dostawcy. Inny dostawca nie jest zamiennikiem dla konkretnego modelu.
• Chcesz hostowanego, płatnego za użycie dostępu do modelu o otwartych wagach bez odmów dla prawnego użycia przez osoby dorosłe i bez konieczności pilnowania sprzętu. Użyj hostowanego endpointa kompatybilnego z OpenAI, takiego jak ten.

Wiele zespołów kończy na korzystaniu z dwóch: Ollama na laptopie do rozwoju, oraz endpointu hostowanego dla wszystkiego, co musi być osiągalne z serwera lub przeglądarki klienta. Ponieważ oba obsługują ten sam format zapytania, przełączenie to zmiana wartości konfiguracyjnej, a nie przepisanie kodu. Jeśli chcesz wypróbować stronę hostowaną, nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API po zalogowaniu się. Nie wymaga karty i jest ważny przez 7 dni. Płatne doładowania zaczynają się od $20 i akceptują kartę lub kryptowaluty.

Więcej przewodników

• Przykład wywoływania funkcji w API Ollama z użyciem SDK OpenAI
• Konfiguracja SillyTavern w API Ollama: Połącz endpoint hostowany
• API XAI: Mity vs Fakty - Alternatywa bez cenzury