Modelle und Benchmarks

Welche lokalen KI-Modelle passen zu Ihrer Aufgabe und Ihrer Hardware?

Hier vergleichen Sie unsere getesteten Modellvarianten nach AufgabenqualitÀt, Antwortbeginn, Tempo und Speicherbedarf. WÀhlen Sie zuerst Text, BelegverstÀndnis oder Embeddings. Danach können Sie Ihr VRAM-Budget eingrenzen und einzelne Werte sortieren.

Die erste Ausgabe beruht auf dem NEOs-PrĂŒfstand mit RTX 5090 vom 10. Oktober 2026. Empfehlungen fĂŒr 8, 12, 16, 24 und 32 GB VRAM sind daraus abgeleitete SchĂ€tzungen. Ein fehlender Score bleibt sichtbar; ein Modell gewinnt nicht automatisch in jeder Aufgabe.

KI-generiert

NOVA vergleicht zwei Modellkomponenten am PrĂŒfstand mit einer Grafikkarte

Von Ihrer Aufgabe zur passenden Auswahl

FĂŒr Dokumentfragen brauchen Sie Suchtreffer und einen angemessenen Umgang mit den Quellen. FĂŒr strukturierte Automatisierung zĂ€hlen Formate und klare Anweisungen. Wer Code verstehen möchte, sollte die Code-Disziplin und den benötigten Kontext betrachten. Die Kategorien unten helfen bei dieser Auswahl.

Die Übersicht ist eine Orientierung fĂŒr die hier geprĂŒften Aufgaben. Die endgĂŒltige Wahl bestĂ€tigen wir mit eigenen Dokumenten und einem begrenzten Pilotversuch. Eine Speicherempfehlung ist noch keine Zusage fĂŒr QualitĂ€t, Datenschutz oder Geschwindigkeit im Kundenbetrieb.

Modelle vergleichen

Alle SpaltenĂŒberschriften sind sortierbar. Am Smartphone die Tabelle seitlich bewegen. Ein rotes X betrifft vollstĂ€ndige GPU-Residenz, nicht jede Betriebsform. Die Speicherzeichen sind SchĂ€tzungen, keine QualitĂ€tswertung.

Auf RTX 5090 gemessen. Kleinere GPUs nicht getestet. Tempo und QualitĂ€t gelten fĂŒr die dokumentierte Variante und Einstellung. Belegtest: sechs synthetische Belege. Embeddings: 60 Dokumente und 36 Anfragen.
Fehler und offene Kandidaten

Qwen3.6 und Gemma4:e2b haben unvollstĂ€ndige Textantworten unter dem 1.024-Token-Limit. GLM-OCR wiederholt Ausgaben. Llama3.2-Vision scheitert an der Runtime-Architektur. Devstral verfehlt die strenge JSON-FormatprĂŒfung. Die Kategorie bleibt sichtbar, ein fehlender Gesamtscore wird nicht ersetzt.

Schreibantworten: redaktionelle Einordnung

48 unterschiedliche Antworten aus 138 DurchlĂ€ufen wurden durch unseren KI-Assistenten qualitativ geprĂŒft. Muse Glimmer liefert brauchbare, konkrete Einstiege. Qwen Distill liefert bei der Kundenmail keine sichtbare Antwort innerhalb des Budgets. Einige Antworten anderer Modelle erfinden Ereignisse oder verwechseln lokale Datenhaltung mit Zugriffsschutz. Kein numerischer Schreibscore wurde hinzugefĂŒgt; keine unabhĂ€ngige menschliche PrĂŒfung behauptet.

So lesen Sie die Speicherempfehlung

✅ bedeutet: Die gemessene Residenz mit Sicherheitsreserve passt rechnerisch in die Speicherklasse. ◐ bedeutet: knapp, unvollstĂ€ndig belegt oder durch Kontextabweichung beziehungsweise Offloading unsicher. ❌ bedeutet: FĂŒr vollstĂ€ndige GPU-Residenz unter diesen Bedingungen nicht empfohlen; Betrieb mit CPU-Offloading bleibt möglich.

Gewichte, Kontext und Laufzeitverwaltung benötigen gemeinsam Speicher. Wir berĂŒcksichtigen 15 Prozent Puffer und 1,5 GiB Reserve fĂŒr eine grĂŒne Empfehlung; zusĂ€tzlich muss der gemessene Gesamtpeak mit 1 GiB Reserve ins Budget passen. Bei mehr Nutzenden oder grĂ¶ĂŸeren Kontexten erneut prĂŒfen.

So entstehen die Scores

Text: 70 Prozent AufgabenqualitĂ€t, zehn Tempo, fĂŒnf Antwortbeginn, zehn Modellresidenz, fĂŒnf VollstĂ€ndigkeit. BelegverstĂ€ndnis: 85 Prozent QualitĂ€t, zehn Speicher, fĂŒnf VollstĂ€ndigkeit.

Embeddings: 30 Prozent MRR@10, 25 nDCG@10, 15 Recall@5, zehn Query-Latenz und jeweils fĂŒnf fĂŒr Indexierungstempo, Modellresidenz, VektorgrĂ¶ĂŸe und VollstĂ€ndigkeit. Keine gemeinsame Rangliste ĂŒber verschiedene Kategorien.

Nur vollstĂ€ndige gĂŒltige Messungen erhalten einen Gesamtscore. Die freien Schreibantworten beurteilen wir qualitativ mit KI-UnterstĂŒtzung; diese EinschĂ€tzung verĂ€ndert den numerischen Score nicht.

Warum eine Bestenliste allein nicht genĂŒgt

Qwen Distill fĂŒhrt den strukturierten Textscore, liefert aber bei der Kundenmail keine sichtbare Antwort innerhalb des Budgets. Muse Glimmer löst alle festen Textaufgaben korrekt, beginnt sichtbar jedoch spĂ€ter. Gemma4:e4b fĂ€llt beim BelegverstĂ€ndnis mit geringem Speicherbedarf auf. Qwen3-Embedding findet in unserem Suchsatz mehr relevante Dokumente, braucht dafĂŒr deutlich mehr Speicher als die kleineren Kandidaten.

Diese Zielkonflikte gehören zur Auswahl. Die folgenden Modellartikel erklÀren Architektur, Herkunft und mögliche Aufgaben. Unsere Messungen beziehen sich immer auf die konkrete Variante; ein gleichnamiges Modell in anderer Quantisierung ist nicht automatisch derselbe Kandidat.

FĂŒr NOVA, Flow und Forge auswĂ€hlen

NOVA verbindet Unternehmenswissen und Antwortgenerierung. Flow organisiert KI-Agenten und ihre Aufgaben. Forge entwickelt digitale Plattformen. Modellaufgaben liefern Anhaltspunkte fĂŒr diese Rollen; ein bestandener Benchmark ersetzt keinen vollstĂ€ndigen Produkttest. Atlas ordnet den Einsatz in Strategie und Governance ein.

Meine lokale KI-Aufgabe besprechen

Testberichte und nÀchste Kandidaten

Die Kategorie »Modelle und Benchmarks« bĂŒndelt unsere ModellportrĂ€ts, Vergleichsberichte und ErgebnisnachtrĂ€ge. Diese Seite bleibt die zentrale Auswahlhilfe; neue Testberichte erklĂ€ren die jeweilige Messung und ihre Grenzen.

Modellartikel und Testberichte Ergebnisbericht vom 10. Oktober lesen

Teststand: RTX 5090, Windows, Ollama 0.40.2, NEOs-NOVA-Suite 1.3. Andere GPUs nicht getestet. Drei Wiederholungen pro Aufgabe sind keine drei unabhÀngigen AufgabensÀtze.