Lokale KI im NEOs-Benchmark: 21 Modelle auf der RTX 5090
Executive Summary
Am 10. Oktober 2026 haben wir 21 installierte lokale KI-Modelle und Modellvarianten auf unserem Windows-Prüfstand mit einer RTX 5090 untersucht. Nach knapp 101 Minuten lagen 3.327 gewertete Anfragen vor. 14 Textkandidaten, elf Modelle beim Belegverständnis und alle drei Embedding-Modelle erfüllen die Vollständigkeitsregeln ihrer jeweiligen Rangliste.
Qwen3.8 35B A3B Distill erreicht den höchsten gewichteten Textscore. Muse Glimmer löst sämtliche automatisch bewerteten Textaufgaben korrekt. Für kleine Speicherbudgets und die Wissenssuche ergeben sich andere Kandidaten. Genau deshalb betrachten wir Qualität, Antwortbeginn, Speicherbedarf und Fehler getrennt.
Dies ist die erste Ausgabe unseres eigenen kleinen Aufgabensatzes. Die Werte gelten für die getesteten Varianten und Einstellungen; sie sind kein allgemeiner Intelligenztest. Ergänzend haben wir die freien Schreibantworten redaktionell mit KI-Unterstützung geprüft.
Ein Rechner neben mir. Und eine ziemlich praktische Frage.
Unser Ryzen-PC mit der RTX 5090 steht neben mir. Die Vorbereitung des Benchmarks lief allerdings am MacBook: Paket herunterladen, zum Windows-Rechner übertragen, ausführen und die Ergebnisdateien wieder zurückholen. Nach mehreren Probeläufen war klar: Wenn wir jedes Modell so einzeln prüfen, verbringen wir zu viel Zeit mit dem Transport und zu wenig mit den Antworten.
Also haben wir einen Gesamtlauf vorbereitet. Am 10. Oktober ging er um 08:45 Uhr los; um 10:28 Uhr war die fertige ZIP-Datei da. Die eigentlichen Messungen endeten laut Protokoll um 10:26 Uhr. Der Rechner war früher fertig als das vorsorglich reservierte Zeitfenster.
Aber was haben wir damit gewonnen? Die Frage lautet für mich nicht nur: »Welches Modell landet ganz oben?« Ich möchte wissen, welches Modell eine Aufgabe zuverlässig erledigt, wie lange ich auf die Antwort warte und wie viel Hardware dafür nötig ist. Für NOVA, Flow und Forge ist diese Auswahl ein Teil der technischen Grundlage. Für unsere Kunden ist sie eine Entscheidungshilfe.
So haben wir gemessen
Unser Prüfstand arbeitet unter Windows mit einem AMD Ryzen 9 7950X3D, rund 96 GiB Arbeitsspeicher und einer NVIDIA GeForce RTX 5090 mit 32 GB VRAM. Ollama lief in Version 0.40.2. Der NVIDIA-Treiber war 610.88.
Die Haupttests verwenden 8.192 Kontexttokens; ausgewählte Speicherproben zusätzlich 4.096 und 16.384. Jede vorgesehene Aufgabe wird dreimal ausgeführt. Die Wiederholungen prüfen das Verhalten unter denselben Bedingungen, sie machen aus 42 Textaufgaben keine 126 verschiedenen Probleme.
Die nativen Modellvorlagen, Quantisierungen und Thinking-Einstellungen bleiben dokumentiert. Einige Modelle laufen mit ausgeschaltetem Thinking, andere mit »low« oder ihrer Voreinstellung. Unsere Tabelle macht diese Unterschiede sichtbar.
Was in diesem Test steckt
Die 42 strukturierten Textaufgaben prüfen JSON, Dokumentinformationen, Logik, Codeverständnis, Anweisungen und simulierte Werkzeugwahl. Wir führen dabei weder generierten Code noch echte Werkzeuge aus.
Sechs selbst erzeugte Belege prüfen Bildverständnis. Die Embedding-Prüfung verwendet 60 synthetische Dokumente und 36 Suchanfragen auf Deutsch, Englisch und sprachübergreifend. Drei zusätzliche Schreibaufgaben liefern eine Blogeinleitung, eine Beratung für 12 GB VRAM und eine Kundenmail.
Von 3.327 gewerteten Anfragen waren 3.288 technisch erfolgreich. 39 erreichten das Ausgabelimit. Hinzu kamen 234 nicht gewertete Bereitschaftstests; einer davon scheiterte am Laden von Llama. Der Gesamtlauf endete ohne globalen Abbruch.
Unsere erste Text-Top-10
Der Textscore gewichtet automatische Aufgabenqualität mit 70 Punkten, Decoder-Tempo mit zehn, Antwortbeginn mit fünf, Modellresidenz mit zehn und Vollständigkeit mit fünf. Die Regeln standen vor dem Lauf fest. Die zehn folgenden Kandidaten haben alle 126 vorgesehenen Hauptmessungen technisch vollständig geliefert.
| Platz | Modell | Score / 100 | Aufgabenqualität % | Decoder-Token/s | Modell-VRAM GiB |
|---|---|---|---|---|---|
| 1 | Qwen3.8 35B A3B Distill (Empero, Q4_K_M) | 91,15 | 98,89 | 271,1 | 20,11 |
| 2 | Muse Glimmer 30B | 84,28 | 100,00 | 80,8 | 15,56 |
| 3 | gemma4:e4b | 82,30 | 78,78 | 215,2 | 3,32 |
| 4 | Nemotron 3.5 Lightning | 81,92 | 83,83 | 320,3 | 22,57 |
| 5 | qwen3-coder:30b | 80,76 | 80,28 | 289,4 | 18,04 |
| 6 | gpt-oss:20b | 79,97 | 77,33 | 272,2 | 11,97 |
| 7 | qwen3:30b | 79,78 | 82,67 | 312,1 | 18,04 |
| 8 | gemma4:31b | 79,26 | 90,22 | 70,3 | 19,45 |
| 9 | gemma4:26b | 78,11 | 80,00 | 203,3 | 16,72 |
| 10 | qwen3.8:27b | 78,08 | 86,11 | 78,9 | 15,88 |
Decoder-Token/s beschreibt die Generierungsphase. Ein hoher Wert bedeutet nicht automatisch, dass die sichtbare Antwort früh beginnt oder fachlich richtig ist. Gemessene Modellresidenz ist ebenfalls etwas anderes als die heruntergeladene Dateigröße.
Qwen Distill gewinnt den Score, Muse die Aufgabenqualität
Die getestete Community-Variante Qwen3.8 35B A3B Distill von Empero in Q4_K_M erreicht 91,15 von 100 Punkten und 98,89 Prozent automatische Aufgabenqualität. Der Median der Decoder-Rate liegt bei rund 271 Token/s; die erste sichtbare Ausgabe beginnt im Mittel nach rund 0,89 Sekunden.
Muse Glimmer erreicht als einziger vollständig bewerteter Textkandidat 100 Prozent auf unserem strukturierten Aufgabensatz. Sein gewichteter Score liegt mit 84,28 niedriger: rund 81 Decoder-Token/s und ein mittlerer sichtbarer Antwortbeginn von 2,58 Sekunden wirken sich auf die übrigen Scoreteile aus.
Diese Werte beschreiben unterschiedliche Stärken. Ein Team, das eine kleine Ergebnisdatei korrekt weiterverarbeiten muss, kann Aufgabenqualität anders gewichten als eine interaktive Anwendung. Wir ändern deshalb nicht nachträglich den Score, sondern zeigen seine Bestandteile.
Die Gegenprobe: Was passiert beim freien Schreiben?
Wir haben alle 48 unterschiedlichen Schreibantworten anhand von Aufgabenerfüllung, fachlicher Angemessenheit, Ton, Beispielen und unbelegten Zusagen gelesen. Die 138 Durchläufe enthalten wortgleiche Wiederholungen. Diese redaktionelle Einschätzung durch unseren KI-Assistenten ist keine unabhängige menschliche Bewertung und kein zusätzlicher numerischer Benchmark-Score.
Muse Glimmer beginnt mit einer konkreten Situation: Drei Preislisten liegen im SharePoint, im alten Wiki und in einer E‑Mail. Welche gilt? Dieses Beispiel ist als Vorstellung eingeführt, verständlich und nah an einer tatsächlichen Wissensaufgabe. Der Text braucht weiterhin Redaktion.
Qwen Distill dagegen verbraucht bei der Kundenmail in allen drei Versuchen die 1.024 Ausgabetokens für seine Denkphase. Es erscheint keine sichtbare Mail. Der höchste strukturierte Textscore ist deshalb keine Zusage, dass dieses Modell unter demselben Budget jede Schreibaufgabe erledigt.
Gute Sprache kann falsche Beratung verdecken
Einige freie Antworten verwechseln lokale Datenhaltung mit Zugriffsschutz. Das ist für ein Unternehmenssystem ein entscheidender Unterschied: Ein Dokument kann auf dem eigenen Server liegen und trotzdem für die falsche Person abrufbar sein. Berechtigungen müssen beim Bereitstellen und Abrufen des Wissens berücksichtigt werden.
Andere Antworten erklären Speicherbedarf zu pauschal oder erfinden eine Vorgeschichte. Devstral, GPT-OSS und Qwen3-Coder-Next liefern in der Blogaufgabe angebliche Ereignisse, die im Auftrag nicht enthalten waren. Solche Szenen übernehmen wir nicht als Tatsachen in einen Kundentext.
Von 48 unterschiedlichen Antworten liegen nach unserer einfachen Zählung 23 im geforderten Wortbereich. Diese Zählung umfasst auch Überschriften und Anreden; knappe Grenzfälle sind ein redaktioneller Hinweis. Keine sichtbare Antwort, erfundene Erledigung und fachliche Fehler wiegen schwerer als zwei zusätzliche Wörter.
Beim Belegverständnis fällt ein kleines Modell auf
Gemma4:e4b erreicht 100 von 100 Punkten in der Bildkategorie. Mehrere größere Modelle erkennen ebenfalls alle abgefragten Angaben korrekt; der geringe Speicherbedarf verschafft E4B hier einen Vorteil im gewichteten Score.
Gemma4:12b kommt auf 98,64 Punkte. Das ist für diesen kleinen Belegsatz ein gutes Ergebnis, aber kein Beweis für die zuverlässige Verarbeitung beliebiger Rechnungen, Scans oder Handschriften. Die sechs synthetischen Belege sind sauber lesbar; schwierigere Praxisdokumente müssen wir gesondert prüfen.
GLM-OCR liest Angaben zunächst, wiederholt die Ausgabe aber bis zum Limit. Nach drei aufeinanderfolgenden Fehlern bleibt diese Kategorie offen. Llama3.2‑Vision lässt sich in dieser Laufzeit wegen der Modellarchitektur nicht laden. Beide erhalten keinen erfundenen Ranglisten-Score.
Embeddings: Trefferqualität hat einen Speicherpreis
Qwen3-Embedding:8b führt die Embedding-Liste mit 87,47 Punkten an. MRR@10 liegt bei 0,963, Recall@5 bei 0,972. In diesem Satz findet das Modell relevante Dokumente häufiger weit oben als die beiden kleineren Kandidaten.
Im Gegenzug messen wir rund 11,32 GiB Modell-VRAM. Nomic-Embed-Text benötigt rund 0,30 GiB und erreicht 79,00 Punkte; mxbai-embed-large liegt bei rund 0,58 GiB und 75,19 Punkten. Qwen erzeugt außerdem 4.096 Dimensionen pro Vektor, Nomic 768 und mxbai 1.024. Das beeinflusst den Speicherbedarf eines späteren Index.
MRR beschreibt den Rang des ersten relevanten Treffers. Recall@5 beschreibt, welcher Anteil relevanter Dokumente unter den ersten fünf Treffern auftaucht. Unsere 60 Dokumente sind eine begrenzte synthetische Sammlung, kein allgemeiner Retrieval-Benchmark.
Die drei Embedding-Kandidaten
| Platz | Modell | Score / 100 | MRR@10 | Recall@5 | Modell-VRAM GiB |
|---|---|---|---|---|---|
| 1 | qwen3-embedding:8b | 87,47 | 0,963 | 0,972 | 11,32 |
| 2 | nomic-embed-text:latest | 79,00 | 0,725 | 0,708 | 0,30 |
| 3 | mxbai-embed-large:latest | 75,19 | 0,682 | 0,694 | 0,58 |
Die Gewichtung berücksichtigt Trefferqualität, Suchlatenz, Indexierungstempo, Modellresidenz, Vektorgröße und Vollständigkeit. Embedding-Scores vergleichen wir nur untereinander.
Wie viel Grafikspeicher brauche ich?
Unsere Übersicht bietet die fünf gewünschten Speicherklassen: 8, 12, 16, 24 und 32 GB VRAM. Ein grünes Häkchen bedeutet, dass die beobachtete Residenz mit den festgelegten Reserven ins Budget passt. Der neutrale Kreis signalisiert Unsicherheit oder ein knappes Budget. Ein rotes X bedeutet: Für vollständige GPU-Residenz unter diesen Bedingungen nicht empfohlen. CPU-Offloading kann trotzdem einen Betrieb ermöglichen.
Die Einstufungen sind Schätzungen aus der RTX-5090-Messung, keine Tests auf fünf verschiedenen Grafikkarten. Auch die auf der RTX 5090 gemessene Geschwindigkeit lässt sich nicht auf eine 8‑GB-Karte übertragen. Kontext, Quantisierung, parallele Nutzung und weitere GPU-Anwendungen verändern den Bedarf.
Qwen3-Coder-Next zeigt den Unterschied besonders deutlich: Rund 48,97 GiB Gesamtresidenz stehen etwa 28,93 GiB im Grafikspeicher gegenüber. Ein erheblicher Modellanteil liegt außerhalb der GPU. Die Antwort kommt trotzdem; sie erfüllt nur nicht das Ziel vollständiger GPU-Residenz auf unserer 32-GB-Karte.
Was wir mit Fehlern machen
Qwen3.6 und Gemma4:e2b liefern in mehreren Textaufgaben zu lange Ausgaben. Unter dem festgelegten Budget von 1.024 Tokens bleiben diese Fälle unvollständig; deshalb erhalten die beiden keinen Text-Gesamtscore. Bei Qwen3.6 gibt es dagegen vollständige Ergebnisse im Belegtest. Ein Fehler in einer Kategorie ist kein Urteil über alle Fähigkeiten.
Devstral liefert technisch vollständige Antworten, setzt JSON aber in Markdown-Codeblöcke. Unsere Aufgaben verlangen unmittelbar parsebares JSON. Damit verfehlt es die Formatprüfung; zusätzlich gibt es inhaltlich falsche Werte. Das schlechte Ergebnis beschreibt dieses Protokoll und diese Aufgaben, nicht eine allgemeine Unfähigkeit des Modells.
Nachträglich Antworten kürzen, Codeblöcke entfernen oder Limits nur für den gewünschten Sieger erhöhen würde unsere Vergleichsgrundlage ändern. Ein neuer Test darf andere Einstellungen untersuchen, wird dann aber als eigener Vergleich ausgewiesen.
Von der Modellliste zum Unternehmensablauf
Für NOVA betrachten wir Wissenssuche, Quellkontrolle und die passende Antwortgenerierung zusammen. Gute Embeddings helfen beim Finden; ein gutes Sprachmodell muss mit den gefundenen Informationen angemessen umgehen. Rollen und Dokumentrechte gehören zum Gesamtsystem.
Bei Flow sind nachvollziehbare Anweisungen und Werkzeugentscheidungen relevant. Unser Test simuliert Werkzeugwahl, er bestätigt noch keinen vollständigen Multiagentenablauf. Bei Forge bietet das Codeverständnis einen Anhaltspunkt; echte Entwicklung, ausführbare Änderungen und Projektprüfungen gehen darüber hinaus. Atlas hilft, die Auswahl anhand einer Unternehmensaufgabe und ihrer Grenzen einzuordnen.
Die dauerhafte Seite »Modelle und Benchmarks« verbindet diese Messwerte mit den einzelnen Modellartikeln. Was dort als Hardwareempfehlung oder Einsatzfeld steht, soll nachvollziehbar bleiben. Der nächste Kandidat kann unter derselben Aufgabenbank hinzukommen, ohne dass wir jedes Mal die ganze Liste neu erfinden.
Welches Modell sollen wir als Nächstes prüfen?
Für die erste Ausgabe haben wir mit unserem vorhandenen Inventar gearbeitet. Die vollständige Übersicht zeigt auch unvollständige und nicht ladbare Kandidaten. Beim nächsten Durchgang möchten wir gezielt die Aufgaben vertiefen, die im Unternehmensalltag tatsächlich gebraucht werden.
Welches lokale Modell fehlt Ihnen? Und wofür möchten Sie es einsetzen: für interne Dokumente, nachvollziehbare Agentenentscheidungen, Programmieraufgaben oder etwas ganz anderes? Genau mit einer solchen Aufgabe beginnt ein brauchbarer Vergleich.
Modelle und Benchmarks ansehen Eine lokale KI-Aufgabe besprechen
Messgrundlage und Autor
NEOs-NOVA-Suite 1.3, Gesamtlauf vom 10. Oktober 2026; unveränderte Score-Gewichte aus dem vorab festgelegten Protokoll. Die redaktionelle Schreibprüfung wurde am 13. Oktober durch unseren KI-Assistenten vorgenommen und getrennt dokumentiert. Illustrationen zeigen NOVA am Prüfstand und sind keine Messfotos.
Prof. Dr. Alexander Lutz, Gründer der NEOs und Professor für Big Data und Künstliche Intelligenz, ordnet die technischen Ergebnisse für die Auswahl lokaler KI-Anwendungen ein.
Die NEOs – KI-generiert