Modelle und Benchmarks
Welche lokalen KI-Modelle passen zu Ihrer Aufgabe und Ihrer Hardware?
Hier vergleichen Sie unsere getesteten Modellvarianten nach Aufgabenqualität, Antwortbeginn, Tempo und Speicherbedarf. Wählen Sie zuerst Text, Belegverständnis oder Embeddings. Danach können Sie Ihr VRAM-Budget eingrenzen und einzelne Werte sortieren.
Die erste Ausgabe beruht auf dem NEOs-Prüfstand mit RTX 5090 vom 10. Oktober 2026. Empfehlungen für 8, 12, 16, 24 und 32 GB VRAM sind daraus abgeleitete Schätzungen. Ein fehlender Score bleibt sichtbar; ein Modell gewinnt nicht automatisch in jeder Aufgabe.
Von Ihrer Aufgabe zur passenden Auswahl
Für Dokumentfragen brauchen Sie Suchtreffer und einen angemessenen Umgang mit den Quellen. Für strukturierte Automatisierung zählen Formate und klare Anweisungen. Wer Code verstehen möchte, sollte die Code-Disziplin und den benötigten Kontext betrachten. Die Kategorien unten helfen bei dieser Auswahl.
Die Übersicht ist eine Orientierung für die hier geprüften Aufgaben. Die endgültige Wahl bestätigen wir mit eigenen Dokumenten und einem begrenzten Pilotversuch. Eine Speicherempfehlung ist noch keine Zusage für Qualität, Datenschutz oder Geschwindigkeit im Kundenbetrieb.
Modelle vergleichen
Alle Spaltenüberschriften sind sortierbar. Am Smartphone die Tabelle seitlich bewegen. Ein rotes X betrifft vollständige GPU-Residenz, nicht jede Betriebsform. Die Speicherzeichen sind Schätzungen, keine Qualitätswertung.
Fehler und offene Kandidaten
Qwen3.6 und Gemma4:e2b haben unvollständige Textantworten unter dem 1.024-Token-Limit. GLM-OCR wiederholt Ausgaben. Llama3.2‑Vision scheitert an der Runtime-Architektur. Devstral verfehlt die strenge JSON-Formatprüfung. Die Kategorie bleibt sichtbar, ein fehlender Gesamtscore wird nicht ersetzt.
Schreibantworten: redaktionelle Einordnung
48 unterschiedliche Antworten aus 138 Durchläufen wurden durch unseren KI-Assistenten qualitativ geprüft. Muse Glimmer liefert brauchbare, konkrete Einstiege. Qwen Distill liefert bei der Kundenmail keine sichtbare Antwort innerhalb des Budgets. Einige Antworten anderer Modelle erfinden Ereignisse oder verwechseln lokale Datenhaltung mit Zugriffsschutz. Kein numerischer Schreibscore wurde hinzugefügt; keine unabhängige menschliche Prüfung behauptet.
So lesen Sie die Speicherempfehlung
✅ bedeutet: Die gemessene Residenz mit Sicherheitsreserve passt rechnerisch in die Speicherklasse. ◐ bedeutet: knapp, unvollständig belegt oder durch Kontextabweichung beziehungsweise Offloading unsicher. ❌ bedeutet: Für vollständige GPU-Residenz unter diesen Bedingungen nicht empfohlen; Betrieb mit CPU-Offloading bleibt möglich.
Gewichte, Kontext und Laufzeitverwaltung benötigen gemeinsam Speicher. Wir berücksichtigen 15 Prozent Puffer und 1,5 GiB Reserve für eine grüne Empfehlung; zusätzlich muss der gemessene Gesamtpeak mit 1 GiB Reserve ins Budget passen. Bei mehr Nutzenden oder größeren Kontexten erneut prüfen.
So entstehen die Scores
Text: 70 Prozent Aufgabenqualität, zehn Tempo, fünf Antwortbeginn, zehn Modellresidenz, fünf Vollständigkeit. Belegverständnis: 85 Prozent Qualität, zehn Speicher, fünf Vollständigkeit.
Embeddings: 30 Prozent MRR@10, 25 nDCG@10, 15 Recall@5, zehn Query-Latenz und jeweils fünf für Indexierungstempo, Modellresidenz, Vektorgröße und Vollständigkeit. Keine gemeinsame Rangliste über verschiedene Kategorien.
Nur vollständige gültige Messungen erhalten einen Gesamtscore. Die freien Schreibantworten beurteilen wir qualitativ mit KI-Unterstützung; diese Einschätzung verändert den numerischen Score nicht.
Warum eine Bestenliste allein nicht genügt
Qwen Distill führt den strukturierten Textscore, liefert aber bei der Kundenmail keine sichtbare Antwort innerhalb des Budgets. Muse Glimmer löst alle festen Textaufgaben korrekt, beginnt sichtbar jedoch später. Gemma4:e4b fällt beim Belegverständnis mit geringem Speicherbedarf auf. Qwen3-Embedding findet in unserem Suchsatz mehr relevante Dokumente, braucht dafür deutlich mehr Speicher als die kleineren Kandidaten.
Diese Zielkonflikte gehören zur Auswahl. Die folgenden Modellartikel erklären Architektur, Herkunft und mögliche Aufgaben. Unsere Messungen beziehen sich immer auf die konkrete Variante; ein gleichnamiges Modell in anderer Quantisierung ist nicht automatisch derselbe Kandidat.
Die Modelle im Blog kennenlernen
Für NOVA, Flow und Forge auswählen
NOVA verbindet Unternehmenswissen und Antwortgenerierung. Flow organisiert KI-Agenten und ihre Aufgaben. Forge entwickelt digitale Plattformen. Modellaufgaben liefern Anhaltspunkte für diese Rollen; ein bestandener Benchmark ersetzt keinen vollständigen Produkttest. Atlas ordnet den Einsatz in Strategie und Governance ein.
Testberichte und nächste Kandidaten
Die Kategorie »Modelle und Benchmarks« bündelt unsere Modellporträts, Vergleichsberichte und Ergebnisnachträge. Diese Seite bleibt die zentrale Auswahlhilfe; neue Testberichte erklären die jeweilige Messung und ihre Grenzen.
Modellartikel und Testberichte Ergebnisbericht vom 10. Oktober lesen
Teststand: RTX 5090, Windows, Ollama 0.40.2, NEOs-NOVA-Suite 1.3. Andere GPUs nicht getestet. Drei Wiederholungen pro Aufgabe sind keine drei unabhängigen Aufgabensätze.