Lokale Modelle sind Sprachmodelle, die auf eigener Hardware ausgeführt werden: auf dem Arbeitsplatzrechner, einem Server im Betrieb oder im eigenen Rechenzentrum. Die Eingaben gehen nicht an den Dienst eines Anbieters, sondern bleiben im eigenen System. Voraussetzung ist ein Modell, dessen Gewichte zum Herunterladen bereitstehen.
In einfachen Worten
Normalerweise schickt man Fragen an KI-Programme im Internet. Ein lokales Modell läuft dagegen auf dem eigenen Computer oder Server. Die Texte bleiben dann im eigenen Netz. Das hilft beim Datenschutz. Dafür muss man selbst für Technik, Aktualisierung und Sicherheit sorgen. Nicht jedes Modell gibt es zum Herunterladen.
Zusammenfassung
Lokal lässt sich nur ein Modell betreiben, dessen Parameter veröffentlicht sind. Das ist bei Open-Weights-Modellen der Fall, nicht bei Modellen, die nur über die Schnittstelle des Anbieters erreichbar sind. Auf dieser Voraussetzung haben sich Werkzeuge entwickelt, die das Ausführen auf gewöhnlicher Hardware vereinfachen. Datenschutzbehörden nennen den lokalen Betrieb als Möglichkeit, personenbezogene Daten nicht an Dritte zu übermitteln (DSK 2025).
Werkzeuge
llama.cpp. Das Projekt beschreibt sich als Inferenz von Sprachmodellen in C/C++. Ziel ist, Modelle mit wenig Einrichtung auf einer breiten Palette von Hardware auszuführen, lokal wie in der Cloud.
Die Software steht unter der MIT-Lizenz, ist für Apple-Chips optimiert und bietet eine Server-Variante mit OpenAI-kompatibler Schnittstelle. Sie unterstützt ganzzahlige Quantisierung von 1,5 bis 8 Bit und kann Modelle, die größer sind als der Grafikspeicher, auf CPU und GPU verteilen (llama.cpp o. J.).
Ollama. Das Programm läuft unter macOS, Windows und Linux oder als Docker-Image. Mit einem Befehl wie ollama run <Modell> lädt und startet es ein Modell. Es stellt zudem eine REST-Schnittstelle bereit, über die andere Programme das Modell ansprechen (Ollama o. J.). Die Projektseite spricht von Zugriff „lokal oder in der Cloud“. Wer ein Cloud-Angebot nutzt, betreibt kein lokales Modell im Sinne dieses Artikels.
Welche Modelle sich damit betreiben lassen und unter welcher Lizenz sie stehen, bestimmen die Veröffentlichungen der Modellentwickler. Die Schnellstart-Beispiele nennen etwa Qwen (llama.cpp) und Gemma (Ollama); zu Qwen gibt es einen eigenen Artikel unter Qwen.
Voraussetzung Quantisierung
Große Modelle brauchen viel Speicher. Das Verfahren der Quantisierung senkt die Zahlenpräzision der Gewichte und damit den Bedarf; llama.cpp wirbt ausdrücklich mit schnellerer Inferenz und geringerem Speicherverbrauch (llama.cpp o. J.). Qualitätsverluste hängen vom Modell und von der Stufe ab und sind im Einzelfall zu testen.
Datenschutz und Souveränität
Die Konferenz der Datenschutzbehörden (DSK) hält zu Systemen mit Retrieval Augmented Generation fest, dass sie den Einsatz kleinerer und auch lokal betriebener Modelle ermöglichen können. Das erlaube einen Betrieb ohne Übermittlung personenbezogener Daten an Dritte wie Hyperscaler und könne zur digitalen Souveränität beitragen (DSK 2025).
Zugleich begrenzt die DSK den Nutzen: Solche Systeme beseitigten nicht die Probleme eines rechtswidrig trainierten Modells. Verantwortliche müssten Transparenz, Zweckbindung und Betroffenenrechte im gesamten System sicherstellen und die Verarbeitung im Einzelfall bewerten (DSK 2025). Lokal heißt also nicht automatisch datenschutzkonform.
Aufwand und Grenzen
Lokal zu betreiben verlagert Aufgaben in den Betrieb: Hardware beschaffen, Software aktualisieren, Zugriffe absichern, Modelle auswählen und prüfen. Die gelesenen Quellen nennen dafür keine Kosten- oder Leistungsvergleiche; ob ein lokales Modell die Qualität eines großen Anbieter-Modells erreicht, belegen sie nicht.
Grenzen der Belege
Dieser Artikel stützt sich auf die Projektseiten von llama.cpp und Ollama sowie eine Pressemitteilung der DSK. Beide Projektseiten sind Eigendarstellungen und ändern sich laufend; sie tragen kein festes Datum. Benchmarks, Hardwareanforderungen und Sicherheitsbewertungen der Werkzeuge wurden nicht gelesen.
Verwandte Begriffe
- Small Language Models – kleine Modelle, die sich eher lokal betreiben lassen
- Hugging Face – Plattform, von der viele Modelle heruntergeladen werden
- DSGVO – Rahmen für den Umgang mit personenbezogenen Daten
- Open-Source-LLM – Streit um den Begriff bei veröffentlichten Modellen
Quellenangaben
- Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK), 2025. Datenschutzkonferenz veröffentlicht Orientierungshilfe zu KI-Systemen mit Retrieval Augmented Generation (RAG). Pressemitteilung, 17. Oktober 2025. https://www.datenschutz-mv.de/presse/?id=215120&processor=processor.sa.pressemitteilung, abgerufen am 3. November 2026 (die Orientierungshilfe selbst wurde nicht gelesen).
- llama.cpp, o. J. LLM inference in C/C++. README des Projekts ggml-org/llama.cpp. https://github.com/ggml-org/llama.cpp, abgerufen am 3. November 2026.
- Ollama, o. J. Ollama. README des Projekts ollama/ollama. https://github.com/ollama/ollama, abgerufen am 3. November 2026.