Ollama API vs. OpenAI API: Welches passt zu deinem Projekt?

Die kurze Antwort

Die Frage nach der ollama api vs openai api ist meist eine Frage davon, wo das Modell ausgeführt wird. Mit Ollama lebt das Modell auf einem Computer, den du kontrollierst, und dein Code ruft localhost auf. Mit OpenAI lebt das Modell in einem Rechenzentrum eines anderen, und dein Code ruft eine öffentliche HTTPS-Adresse auf, mit einem Schlüssel und einer Rechnung am Ende des Monats.

Alles andere ergibt sich aus diesem einen Unterschied: Kostenstruktur, Latenz, die du anpassen kannst, wer deine Prompts sieht, welche Modelle du auswählen kannst und was passiert, wenn du hundert Anfragen gleichzeitig sendest. Die Tabelle gibt die Fakten, die für beide gelten.

Thema	Ollama	OpenAI-API
Wo es ausgeführt wird	Dein Laptop, deine Workstation oder dein Server	Die Server von OpenAI
Wer das Modell einrichtet	Du lädst die Gewichte selbst herunter und aktualisierst sie	OpenAI wählt seine Modelle aus und aktualisiert sie
Abrechnung	Keine pro Token berechnete Gebühr aus der lokalen Laufzeitumgebung; du zahlst für Hardware und Strom	Pro Token, von einem Konto mit Abrechnung
Anfrageformat	Native Routen plus eine OpenAI-ähnliche /v1-Schicht	Das ursprüngliche OpenAI-Format
Durchsatz	Begrenzt durch deine Hardware	Begrenzt durch Kontingente

Wenn du einen Mittelweg möchtest, wird ein gehosteter Endpunkt, der das gleiche OpenAI-Format spricht, aber ein Open-Weight-Modell bedient, nahe dem Ende dieser Seite behandelt.

Was jede API tatsächlich ist

Ollama

Ollama ist ein Programm, das Open-Weight-Modelle herunterlädt und sie über HTTP auf deiner Maschine bereitstellt. Standardmäßig lauscht es auf Port 11434. Es hat eigene Routen wie /api/chat und /api/generate, und es bietet auch eine OpenAI-ähnliche Schicht unter /v1 an, sodass bestehender OpenAI-Client-Code darauf verweisen kann. Es gibt kein Konto und keinen Schlüssel im üblichen lokalen Setup. Clients, die ein Schlüsselfeld erzwingen, erhalten einen Platzhalterstring.

Du wählst das Modell, die Quantisierung und die Kontexteinstellungen. Diese Freiheit ist der Hauptanziehungspunkt, und sie ist auch der Preis: Wenn das Modell nicht in deinen Speicher passt, ist es langsam oder lädt gar nicht erst.

Die OpenAI-API

Die OpenAI API ist ein gehosteter Dienst. Du erstellst ein Konto, fügst Abrechnung hinzu, generierst einen Schlüssel und sendest Anfragen an die Adresse von OpenAI. Du erhältst die Modelle, die OpenAI anbietet, unter den Nutzungsrichtlinien von OpenAI, mit allen Limits, die deine Kontostufe erlaubt. Kapazität, Upgrades und Uptime sind ihre Aufgabe, nicht deine. Das Anfrageformat, das du in den meisten Tutorials siehst, mit einem messages-Array und einem choices-Array in der Antwort, stammt von dieser API.

Warum man sie überhaupt vergleicht

Der Vergleich existiert, weil beide mit demselben Client-Code erreicht werden können. Die offiziellen OpenAI SDKs ermöglichen es dir, die Base URL zu überschreiben, und die /v1-Schicht von Ollama versteht Chat-Vervollständigungen. Also kann ein für das eine geschriebenes Skript oft in einer Zeile auf das andere umgestellt werden. Das ist praktisch, und es verbirgt auch echte Unterschiede, die die nächsten Abschnitte durchgehen.

Der gleiche Client-Code, zwei Basis-URLs

Dies ist der Teil, der das Wechseln günstig macht. Das folgende Python-Snippet kommuniziert mit einem lokalen Ollama-Server. Nur die Basis-URL, der Schlüssel und der Modellname sind für das Ziel spezifisch.

Copyfrom openai import OpenAI

# Local Ollama through its OpenAI-style layer
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

reply = client.chat.completions.create(
    model="llama3.2",  # whatever model you pulled locally
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Um dieselbe Anfrage an einen gehosteten OpenAI-kompatiblen Endpunkt zu senden, änderst du drei Werte. Hier ist die Version für diese Seite, mit der Modell-ID uncensored.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.com/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a base URL is."}],
)
print(reply.choices[0].message.content)

Dieselbe Anfrage funktioniert mit curl, was praktisch ist für einen schnellen Test, bevor du irgendeinen Anwendungscode berührst.

Copycurl https://api.ollamaapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Eine Warnung gilt für jeden Wechsel zwischen diesen Zielen. Kompatibilität deckt die Anfrage- und Antwortstruktur ab, nicht das Verhalten. Verschiedene Modelle befolgen Anweisungen unterschiedlich, verarbeiten Tool-Aufrufe unterschiedlich und erzeugen unterschiedliche Formatierungen. Führe deine eigenen Prompts über das neue Ziel aus, bevor du ihm vertraust.

Kosten: Hardware, die du besitzt, versus Token, die du kaufst

Lokale Inferenz sieht kostenlos aus, weil keine Rechnung eintrifft. Sie ist nicht kostenlos. Du zahlst für eine GPU oder eine Maschine mit großem Speicher, für Strom und für die Stunden, die du mit der Installation von Treibern, der Auswahl von Quantisierungen und dem Neustart eines Servers verbringst, der aus Speichergründen ausgefallen ist. Wenn du bereits leistungsfähige Hardware besitzt und ein paar Prompts am Tag ausführst, sind diese Kosten in der Praxis nahe null. Wenn du eine Karte kaufen müsstest, nur um das Modell auszuführen, das du möchtest, ändert sich die Rechnung.

Die Hosting-Preise haben eine andere Struktur: keine Vorauszahlung, sondern eine Gebühr, die mit der Nutzung steigt. Auf dieser Seite kostet der Preis $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token, vom Prepaid-Guthaben ohne Abonnement. Für OpenAI prüfe die aktuelle Preisliste, da sie je nach Modell variiert und sich im Laufe der Zeit ändert.

So funktioniert die gehostete Rechnung für einen realistischen Auftrag auf diesem Endpunkt. Nehmen wir an, eine Anwendung sendet 40.000 Anfragen in einem Monat, jede mit 1.500 Input-Token und 400 Output-Token.

• Input: 40.000 x 1.500 = 60.000.000 Token, oder 60M. Bei $0,15 pro 1M sind das $9,00.
• Output: 40.000 x 400 = 16.000.000 Token, oder 16M. Bei $0,50 pro 1M sind das $8,00.
• Gesamt: $17,00 für den Monat.

Du kannst diese Zahl gegen das abgleichen, was eine geeignete Maschine kosten würde, um sie zu kaufen, zu betreiben und zu warten. Bei geringem oder burstigem Verkehr gewinnt normalerweise die Bezahlung pro Token. Bei konstantem starkem Verkehr auf Hardware, die du bereits besitzt, gewinnt normalerweise die lokale Variante. Sieh dir die Preisliste für Aufladungsbeträge und Boni an.

Modelle, Inhaltsregeln und Datenschutz

Mit Ollama entscheidest du selbst, welches Open-Weight-Modell du ausführst, und niemand sitzt zwischen deinem Prompt und den Gewichten. Das Inhaltsverhalten ist genau das, was dieses Modell macht. Einige Community-Modelle sind so eingestellt, dass sie weniger ablehnen, andere nicht, und du kannst sie frei austauschen.

Ein gehosteter Anbieter wendet seine eigenen Nutzungsrichtlinien und seine eigene Filterung an. Das ist eine vernünftige Position für einen Allzweckdienst, und es ist auch der Grund, warum einige Schriftsteller, Roleplay-Entwickler und Forscher, die mit ausgereifter Fiktion arbeiten, feststellen, dass gehostete Antworten abgeschnitten werden. Lies die Richtlinie jedes Anbieters, von dem du abhängig sein möchtest, und prüfe ihre aktuellen Regeln, anstatt Annahmen zu treffen.

Diese Seite befindet sich an einem anderen Ort. Sie bietet ein Open-Weight-Modell an, das von einem unabhängigen Anbieter betrieben und für die Beantwortung ohne Inhaltsfilter für die legale Nutzung durch Erwachsene optimiert ist. Es ist nicht die offizielle API von OpenAI, Meta, Mistral oder einem anderen Anbieter und auch kein Router über Anbieter hinweg. Es gibt eine harte Grenze: keine sexuellen Inhalte mit Minderjährigen. Prompts werden nicht zum Training verwendet. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet.

Bezüglich Datenschutz: Bei lokalem Ollama bleiben die Prompts auf deinem Rechner, was kein gehosteter Dienst erreichen kann. Wenn deine Daten das Gebäude niemals verlassen dürfen, führe es lokal aus und hör auf zu vergleichen. Wenn du Text an einen gehosteten Dienst senden kannst, lies zuerst die Datenschutzseite des Anbieters. Unsere findest du unter /privacy/.

Limits, Parallelität und Funktionen

Lokale Limits sind physisch. Eine GPU bedient einige parallele Anfragen, bevor jede einzelne langsamer wird, und ein langer Kontext verbraucht schnell Speicher. Gehostete Limits sind Richtlinien. Auf diesem Endpunkt erlaubt ein voller Schlüssel 8 parallele Anfragen und 300 Anfragen pro Minute, und ein Test-Schlüssel erlaubt 2 parallele und 60 pro Minute. Das Kontextfenster umfasst 100.000 Token, gezählt aus Prompt plus Vervollständigung, und der Anfragetext kann bis zu 8 MB groß sein.

Wenn du ein Limit überschreitest, erhältst du HTTP 429. Der Fehlercode ist rate_limited für Anfragen pro Minute und concurrency für zu viele Anfragen gleichzeitig. Ein 429 mit einem Retry-After: 5-Header bedeutet temporäre Überlastung, also warte fünf Sekunden und versuche es erneut. Eine gestreamte Anfrage belegt ihren Parallelitäts-Slot, bis das Streaming endet, was relevant ist, wenn du viele Streams parallel öffnest.

Die Funktionsabdeckung auf der gehosteten Seite ist auf Chat fokussiert. Du erhältst Streaming über SSE mit Nutzungsinformationen am Ende, Function Calling, JSON-Modus und die Weitergabe von Temperatur, top_p, Stop, Seed und den Strafen. Es gibt keine Bild-, Audio- oder Videoerzeugung, keine Embeddings und kein Fine-Tuning. Wenn du diese benötigst, plane, sie woanders zu beziehen. Unsere Dokumentation listet die genauen Anfragefelder auf.

Antwort-Header umfassen X-Request-Id und X-Balance-USD, sodass du eine Anfrage protokollieren und dein verbleibendes Guthaben ohne separate Abfrage sehen kannst.

Wie du wählst

Wähle basierend auf der Einschränkung, die am meisten schmerzt.

• Prompts müssen auf deiner Hardware bleiben. Nutze Ollama lokal.
• Du besitzt bereits eine leistungsfähige GPU und möchtest experimentieren. Nutze Ollama lokal, und wechsle später, wenn der Verkehr es übersteigt.
• Du benötigst ein bestimmtes Frontier-Modell eines Anbieters oder dessen Ökosystem. Nutze die API dieses Anbieters. Ein anderer Anbieter ist kein Ersatz für ein bestimmtes Modell.
• Du möchtest gehosteten Pay-as-you-go-Zugang zu einem Open-Weight-Modell ohne Ablehnungen für legale Erwachsenennutzung und ohne Hardware, die du betreuen musst. Nutze einen gehosteten OpenAI-kompatiblen Endpunkt wie diesen.

Viele Teams nutzen am Ende zwei: Ollama auf einem Laptop für die Entwicklung und einen gehosteten Endpunkt für alles, das von einem Server oder dem Browser eines Kunden erreichbar sein muss. Da beide dasselbe Anfrageformat sprechen, ist der Wechsel ein Konfigurationswert, keine Neuschreibung. Wenn du die Hosting-Seite ausprobieren möchtest, können neue Nutzer nach der Anmeldung mit einem Klick auf der API-Schlüssel-Seite $0,50 kostenloses Testguthaben beanspruchen. Es wird keine Karte benötigt und ist 7 Tage gültig. Bezahlte Aufladungen beginnen bei $20 und akzeptieren Karte oder Krypto.

Weitere Anleitungen

• Beispiel für Function Calling in der Ollama API mit dem OpenAI SDK
• Ollama API SillyTavern Einrichtung: Verbinde einen gehosteten Endpunkt
• XAI API: Mythen vs Fakten - Unzensierte Alternative