Jan AI ist eine Desktop-App, mit der du leistungsstarke KI-Sprachmodelle vollständig lokal auf deinem Rechner ausführst. Keine Cloud, kein Account, keine Telemetrie. Deine Daten verlassen den eigenen Computer nie.
Dieser Guide zeigt dir alles, was du für den Einstieg brauchst: Installation, Modellauswahl, Hardware-Anforderungen, den Unterschied zu Ollama und was du tun kannst, wenn dein Rechner nur wenig RAM hat.
- Jan AI unter jan.ai kostenlos herunterladen
- Installieren und starten (kein Account nötig)
- Im Tab „Models“ ein Modell laden (Empfehlung: Llama 3.1 8B Q4_K_M für 16 GB RAM, Llama 3.2 3B für 8 GB RAM)
- Chatten, komplett offline
Jan AI v0.7.9 – der Startbildschirm nach der Installation
Inhaltsverzeichnis
Was ist Jan AI?
Jan AI ist eine Open-Source-Desktop-Anwendung zum lokalen Ausführen von KI-Sprachmodellen (LLMs). Das Projekt wurde von Nguyen Huy Long und dem Team von Menlo Research gegründet und 2023 erstmals veröffentlicht. Der vollständige Quellcode liegt auf GitHub und steht unter der AGPL-3.0-Lizenz kostenlos zur Verfügung. Die Software läuft auf Windows, macOS und Linux und benötigt weder eine Internetverbindung noch ein Nutzerkonto.
Das Besondere an Jan AI gegenüber cloudbasierten Diensten wie ChatGPT ist die vollständige Datenkontrolle. Alle Berechnungen finden lokal statt. Das macht Jan AI interessant für Nutzer, die vertrauliche Dokumente analysieren, ohne diese auf fremde Server zu laden, und für alle, die eine KI ohne monatliche Kosten dauerhaft nutzen möchten.
Jan AI unterstützt alle gängigen Open-Source-Modelle im GGUF-Format: Llama 3, Mistral, Qwen, DeepSeek, Gemma und viele weitere. Modelle, die nicht im integrierten Hub sind, lassen sich direkt von Hugging Face herunterladen und importieren. Wer möchte, kann auch externe APIs wie OpenAI, Anthropic oder Groq einbinden. Dann laufen die Anfragen aber wieder über die Cloud.
Jan AI herunterladen und installieren
Die Installation ist auf allen drei Plattformen unkompliziert. Lade die aktuelle Version direkt von jan.ai herunter. Auf der Download-Seite wird automatisch die passende Version für dein Betriebssystem vorgeschlagen.
Windows
- Auf jan.ai die .exe-Datei herunterladen
- Installer ausführen und den Anweisungen folgen (kein Administratorzugriff nötig)
- Jan AI über das Startmenü oder den Desktop-Link öffnen
- Im „Model Hub“ ein erstes Modell herunterladen und starten
Der Model Hub in Jan AI zeigt alle verfügbaren Modelle mit Größe und RAM-Bedarf
macOS (inkl. Apple Silicon)
- Auf jan.ai die .dmg-Datei herunterladen
- DMG öffnen und Jan AI in den Programme-Ordner ziehen
- Beim ersten Start unter „Datenschutz und Sicherheit“ bestätigen, falls macOS nachfragt
- Jan AI startet und erkennt automatisch Apple Silicon (M1/M2/M3/M4)
Linux
- Auf jan.ai die .AppImage-Datei herunterladen
- Datei ausführbar machen:
chmod +x jan-*.AppImage - Starten mit
./jan-*.AppImage - Alternativ: .deb-Paket für Debian/Ubuntu-basierte Systeme verfügbar
Welche Hardware braucht Jan AI?
Jan AI läuft auf fast jedem modernen Rechner. Die Geschwindigkeit hängt jedoch stark davon ab, welches Modell du lädst und ob du eine GPU nutzt. Größere Modelle liefern bessere Ergebnisse, brauchen aber deutlich mehr RAM:
Empfohlen: 8 GB
Gut auf älteren Laptops
Beispiel: Llama 3.2 3B, Phi-3 Mini
Empfohlen: 16 GB
Bestes Preis-Leistungs-Verhältnis
Beispiel: Mistral 7B, Llama 3.1 8B
Empfohlen: 32 GB
Nur für leistungsstarke Rechner
Beispiel: Llama 3.1 70B (quantisiert)
CPU oder GPU? Jan AI läuft auf reiner CPU, aber es ist langsam. Bei einem 7B-Modell auf einer normalen CPU kommt man auf etwa 5 bis 15 Token pro Sekunde, was für flüssige Unterhaltungen gerade ausreicht. Mit einer NVIDIA-GPU (CUDA) oder Apple Silicon steigt die Geschwindigkeit auf 30 bis 80 Token pro Sekunde.
| Hardware | Geschwindigkeit (7B Modell) | Empfehlung |
|---|---|---|
| CPU (modern, 8 Kerne) | 5–15 Token/Sek. | Für 3B Modelle okay |
| Apple Silicon (M2+) | 30–60 Token/Sek. | Sehr gut, MLX-Backend |
| NVIDIA GPU (RTX 3060+) | 40–80 Token/Sek. | Beste Performance |
| NVIDIA GPU (RTX 4090) | 80–150 Token/Sek. | Für 70B Modelle geeignet |
Welche Modelle laufen gut in Jan AI?
Jan AI bietet im Model Hub Dutzende Modelle zum direkten Download an. Die Qualität unterscheidet sich jedoch erheblich. Hier sind meine Empfehlungen nach Anwendungsfall:
Jan AI vs. Ollama: Was ist der Unterschied?
Ollama ist das bekannteste Alternativsystem für lokale KI-Modelle. Beide Tools erfüllen denselben Grundzweck, sprechen aber unterschiedliche Zielgruppen an.
| Kriterium | Jan AI | Ollama |
|---|---|---|
| Bedienung | Desktop-App mit grafischer Oberfläche | Terminal / Kommandozeile |
| Einstiegshürde | Sehr niedrig, kein Terminal nötig | Mittel, Terminal-Kenntnisse hilfreich |
| Modell-Installation | Ein-Klick im Model Hub | ollama pull modelname im Terminal |
| Lokale API | Ja, OpenAI-kompatibel | Ja, OpenAI-kompatibel |
| Chat-Interface | Integriert | Nicht enthalten (braucht Open WebUI o.ä.) |
| Modell-Auswahl | Groß (integrierter Hub) | Sehr groß (Ollama Library) |
| RAG / Dokumente | Grundlegend integriert | Nur über externe Tools |
| Ideal für | Einsteiger, tägliche Nutzung | Entwickler, Automatisierung, n8n |
Beide Systeme schließen sich nicht aus. Viele Nutzer verwenden Jan AI für den täglichen Chat und Ollama im Hintergrund als API-Server für automatisierte Prozesse.
Jan AI und DSGVO: Lokal bedeutet sicher
Jan AI ist aus Datenschutzsicht die sauberste verfügbare KI-Option. Da alle Berechnungen lokal ablaufen, verlassen keinerlei Eingaben, Gespräche oder Dokumente den eigenen Rechner.
- Kein Account erforderlich: Jan AI funktioniert ohne Registrierung oder Login
- Keine Telemetrie: Die App sendet standardmäßig keine Nutzungsdaten
- Kein Cloud-Transfer: Alle Modellanfragen bleiben auf dem lokalen Gerät
- Keine Datenverarbeitung durch Dritte: Volle Kontrolle ohne Auftragsverarbeitungsvertrag nötig
- Open Source (AGPL-3.0): Der gesamte Quellcode ist öffentlich einsehbar und prüfbar
Für Unternehmen, die mit sensiblen Kundendaten, Verträgen, PDFs oder internen Dokumenten arbeiten, ist Jan AI daher eine legitime Alternative zu cloudbasierten Diensten. Alle Interaktionen bleiben auf dem eigenen Gerät. Ein formaler Auftragsverarbeitungsvertrag nach Art. 28 DSGVO ist nicht notwendig, da keine Drittpartei die Daten verarbeitet.
Die lokale API in Jan AI nutzen
Jan AI startet automatisch einen lokalen API-Server, der vollständig mit der OpenAI-API kompatibel ist. Das bedeutet: Jedes Tool, das OpenAI unterstützt, kann auch mit Jan AI und einem lokalen Modell verwendet werden.
Der API-Server läuft standardmäßig unter http://localhost:1337/v1. Du kannst ihn direkt über die Einstellungen in Jan AI aktivieren und das Modell wählen.
Jan AI Einstellungen: Lokalen API-Server aktivieren und Port konfigurieren
API per Terminal testen
Ein einfacher curl-Aufruf zum Testen:
curl http://localhost:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-7b",
"messages": [{"role": "user", "content": "Hallo, wie geht es dir?"}]
}'Die API lässt sich zum Beispiel in n8n als HTTP-Request-Node einbinden, um lokale KI in automatisierte Workflows zu integrieren, ohne externe API-Kosten zu verursachen. Dazu einfach als Basis-URL http://localhost:1337/v1 eintragen und die OpenAI-Credential-Vorlage in n8n verwenden.
MCP-Integration und agentische Funktionen
Jan AI unterstützt das Model Context Protocol (MCP). Damit lassen sich Tools und Datenbankzugriffe direkt an das lokale Modell anbinden. Das Ergebnis sind agentische Workflows, die sonst nur von Cloud-Diensten bekannt sind: Das Modell liest Dateien, fragt externe Systeme ab und arbeitet mehrstufige Aufgaben selbstständig durch, vollständig lokal auf dem eigenen Rechner. Wie du MCP in n8n nutzt, erklärt unser n8n MCP-Server Guide.
Dokumente analysieren und eigene Assistenten erstellen
Neben dem Chat bietet Jan AI zwei Funktionen, die besonders für den beruflichen Einsatz interessant sind.
PDFs und Dokumente lokal analysieren
Jan AI enthält eine RAG-Funktion (Retrieval Augmented Generation), mit der du Dokumente und PDFs direkt in Gespräche einbinden kannst. Das Modell liest das Dokument lokal aus und beantwortet Fragen dazu. Alles bleibt auf dem eigenen Rechner. Praktisch für Anwälte, Steuerberater oder alle, die vertrauliche Unterlagen nicht auf externe Server laden wollen.
PDFs lassen sich direkt in Jan AI hochladen und lokal auswerten. Hier eine Bedienungsanleitung für einen Geschirrspüler.
Eigene KI-Assistenten mit Systemprompts anlegen
Jan AI erlaubt es, eigene KI-Assistenten mit individuellen Systemprompts anzulegen. Ähnlich wie „Custom GPTs“ in ChatGPT gibst du dem Assistenten einen Namen, eine Rolle und Verhaltensregeln. Ein Assistent für Codereviews, einer für E-Mail-Entwürfe, ein spezialisierter Übersetzer. Die Assistenten sind lokal gespeichert und lassen sich jederzeit wechseln.
Jan AI auf Android oder iPhone: Geht das?
Nein. Stand Mai 2026 gibt es Jan AI ausschließlich für Desktop-Betriebssysteme: Windows, macOS und Linux. Eine offizielle Android- oder iOS-App existiert nicht, und es gibt keine Roadmap für eine Mobile-Version.
Das ist technisch begründet: Aktuelle Smartphones haben zu wenig RAM und zu schwache NPUs, um 7B-Modelle flüssig auszuführen. Erst ab etwa 8–12 GB Geräte-RAM sind brauchbare Ergebnisse möglich.
Alternativen für Mobile-Geräte:
- MLC Chat (Android/iOS): Läuft kleinere Modelle (1B–3B) direkt auf dem Gerät. Kostenlos, Open Source, begrenzte Qualität.
- Pocketpal AI (Android): Ähnlich wie MLC Chat, unterstützt GGUF-Modelle, etwas flexibler in der Modellauswahl.
- Jan AI über Remote-API: Jan AI auf einem lokalen PC laufen lassen und den API-Server im Heimnetzwerk freigeben. So kann ein Smartphone im WLAN darauf zugreifen.
Häufige Probleme und Lösungen
Jan AI startet nicht oder stürzt sofort ab
Modell-Download bricht immer wieder ab
~/jan/models/ (Mac/Linux) bzw. C:\Users\[Name]\jan\models\ (Windows) das betreffende Modell-Verzeichnis löschen und neu herunterladen.Antworten kommen extrem langsam
API-Server reagiert nicht
Antworten auf Deutsch sind schlecht
- Vollständig kostenlos und Open Source
- Kein Account, keine Telemetrie
- Läuft offline, volle Datenkontrolle
- Einfache GUI für Einsteiger
- Großes Modell-Ökosystem
- OpenAI-kompatibler API-Server
- Apple Silicon sehr gut unterstützt
- Kein Android oder iOS
- RAM-intensiv bei größeren Modellen
- Lokale Modelle langsamer als Cloud-Dienste
- Kein Internetzugriff in der Basisversion
- Weniger Funktionen als Open WebUI
Fazit: Für wen lohnt sich Jan AI?
Mein Fazit
Jan AI ist die beste Wahl für Einsteiger, die eine lokale KI ohne technischen Aufwand einrichten wollen. Die grafische Oberfläche, der integrierte Model Hub und die einfache Installation machen den Einstieg deutlich leichter als bei Ollama oder llama.cpp.
Besonders sinnvoll ist Jan AI für Nutzer mit Apple-Silicon-Macs, weil das MLX-Backend dort sehr gute Performance liefert. Datenschutzbewusste Nutzer und Unternehmen mit sensiblen Daten profitieren von der vollständig lokalen Verarbeitung ohne Cloud-Abhängigkeit.
Wer lokale KI in Entwickler-Workflows oder Tools wie n8n integrieren will, greift eher zu Ollama. Und wer einfach die beste Qualität ohne Hardware-Gedanken will, bleibt besser bei ChatGPT Plus oder Claude.
Weiterführende Artikel: n8n mit Ollama verbinden für lokale KI in automatisierten Workflows, einen KI-Agenten in n8n bauen für autonome Prozesse, ChatGPT Alternativen im Vergleich für einen breiteren Überblick.
Häufige Fragen zu Jan AI
Ist Jan AI wirklich kostenlos?
Ja, vollständig. Jan AI ist Open Source unter der AGPL-3.0-Lizenz und kostenlos nutzbar. Es gibt keine Pro‑Version, kein Abo und keine versteckten Kosten. Optional fallen Kosten an, wenn du externe Cloud‑APIs wie OpenAI oder Anthropic einbindest. Das ist freiwillig und nicht nötig für die lokale Nutzung.
Funktioniert Jan AI auf Deutsch?
Ja. Die App ist auf Englisch, aber empfohlene Modelle (Llama 3.1 8B, Mistral 7B, Qwen2.5 7B) beherrschen Deutsch gut. Einfach auf Deutsch schreiben und das Modell antwortet auf Deutsch. Besonders gutes Deutsch liefert Qwen2.5 7B.
Welches Modell soll ich als Anfänger wählen?
Starte mit Llama 3.2 3B (bei < 8 GB RAM) oder Llama 3.1 8B Q4_K_M (bei 8–16 GB RAM). Beide sind gut auf Deutsch, ressourcenschonend und per Klick im Model Hub herunterladbar.
Kann ich Jan AI DSGVO‑konform im Unternehmen nutzen?
Ja. Wenn du ein lokales Modell verwendest und keine externe Cloud‑API eingebunden wird, spricht aus Datenschutzsicht nichts dagegen. Ein AVV nach Art. 28 DSGVO ist nicht erforderlich, solange keine Daten an Dritte weitergegeben werden.
Was ist der Unterschied zwischen Jan AI und ChatGPT?
ChatGPT läuft cloudbasiert auf OpenAI‑Servern mit aktuellen Modellen und optionalem Internetzugriff. Jan AI läuft lokal mit Open‑Source‑Modellen. ChatGPT ist insgesamt leistungsfähiger; Jan AI bietet dafür Kostenfreiheit, Datenschutz und Offline‑Nutzung.
Gibt es Jan AI für Android oder iPhone?
Nein. Jan AI ist aktuell nur für Windows, macOS und Linux verfügbar. Mobile Alternativen mit lokalen Modellen sind MLC Chat oder Pocketpal AI, dort jedoch mit eingeschränkter Modellqualität.
Wie viel RAM brauche ich für Jan AI?
Für 3B‑Modelle genügen etwa 8 GB RAM. Für 7B‑Modelle empfehle ich 16 GB. Auf Apple‑Silicon‑Macs teilen sich CPU und GPU den Speicher effizient; auf Windows/Linux ist für GPU‑Beschleunigung separater VRAM notwendig.
Ist Jan AI seriös und sicher?
Ja. Jan AI ist ein etabliertes Open‑Source‑Projekt mit großer Nutzerbasis, aktiver GitHub‑Community und offenem Quellcode. Da alles lokal läuft, gibt es keine serverseitige Datensammlung. Wer sichergehen will, kann den Code prüfen.
