NOVA lernt dazu: Familienzuwachs mit Gemma 4 12B
Executive Summary
Gemma 4 12B ergänzt die Gemma-Familie zwischen den kleinen Edge-Modellen und den größeren Varianten für Workstations. Für NOVA eröffnet diese Zwischengröße eine weitere Möglichkeit, lokale KI an die Aufgabe und die vorhandene Hardware anzupassen.
Im Mittelpunkt steht eine praktische Frage: Wie viel Modell brauchen wir wirklich? Ein interner Wissensassistent muss andere Anforderungen erfüllen als ein anspruchsvoller Coding-Agent. Ein kompakteres Modell kann den Einstieg erleichtern, wenn seine Antworten im jeweiligen Anwendungsfall überzeugen.
Gemma 4 12B ist auf unserer lokalen NOVA-Instanz bereits heruntergeladen. Welche Antwortqualität und Geschwindigkeit wir damit erreichen, prüfen wir anhand konkreter Aufgaben. Der Familienzuwachs erweitert unsere Auswahl; eine pauschale Leistungszusage für jede Hardware ergibt sich daraus nicht.
Die Lücke ist geschlossen
Es ist noch gar nicht so lange her, da haben wir an dieser Stelle darüber berichtet, wie unsere NOVA die Gemma-4-Familie kennenlernt. Nun schauen wir uns den Familienzuwachs genauer an: Gemma 4 12B, von Google am 3. Juni 2026 vorgestellt, besetzt den Platz zwischen E4B und dem größeren 26B-Modell.
Warum ist das relevant? Wer lokale KI einsetzen möchte, steht schnell vor einer Frage: Muss es wirklich immer das größte Modell sein?
Kleine Modelle lassen sich mit weniger Ressourcen betreiben. Bei anspruchsvolleren Aufgaben können ihre Grenzen aber früher sichtbar werden. Größere Modelle benötigen mehr Speicher und passen nicht automatisch zu jedem Arbeitsplatz oder Budget. Genau dazwischen liegt der Gedanke hinter Gemma 4 12B: mehr Spielraum für komplexere Aufgaben, ohne gleich das größte Modell der Familie einsetzen zu müssen.
Starke Leistung – lokal und leistbar?
Mit rund zwölf Milliarden Parametern ist Gemma 4 12B ein dichtes Modell. Google sieht es für lokale Anwendungen auf Consumer-Geräten vor und nennt für den Einstieg eine Speicherklasse von 16 GB VRAM beziehungsweise gemeinsam genutztem Speicher.
Die quantisierte Ollama-Ausgabe liegt derzeit bei ungefähr 8 GB Downloadgröße. Das ist deutlich handlicher als viele größere Modelle. Aber Vorsicht: Die Größe der Modelldatei ist nicht der gesamte Speicherbedarf im Betrieb.
Hinzu kommen unter anderem der Speicher für den Gesprächskontext und die Laufzeitumgebung. Auch mehrere gleichzeitige Anfragen können die Anforderungen verändern. Deshalb wäre die Aussage »Läuft ab 12 GB immer flüssig« zu einfach. Wir wollen wissen, wie es mit den tatsächlichen Unterlagen und Aufgaben funktioniert.
Auf unserer Windows-Instanz mit einer RTX 5090 und 32 GB VRAM ist Gemma 4 12B bereits in der Modellliste vorhanden. Ein eigener Geschwindigkeitsvergleich folgt; aus dem erfolgreichen Download machen wir noch keinen Benchmark.
Was bringt das im Unternehmensalltag?
Stellen wir uns einen internen Assistenten vor, der eine Frage zu einem Produkt beantworten soll. Die relevanten Informationen liegen bereits in den eigenen Dokumenten. Braucht dieser Assistent dafür ein besonders großes Modell – oder vor allem die richtigen Fundstellen und eine verständliche Antwort?
Genau hier setzt NOVA mit Unternehmenswissen an. Das Modell verarbeitet die ausgewählten Informationen. Welche Unterlagen es erhält und ob seine Antwort durch Quellen gedeckt ist, bleibt Teil des Gesamtsystems.
Für uns ist Gemma 4 12B deshalb ein Kandidat für lokale Wissensassistenten, Textanalysen und Aufgaben mit Werkzeuganbindung. Welche Rolle es übernimmt, entscheidet sich an der Qualität mit Ihren Daten. Bei einer schwierigen Entwicklungsaufgabe kann ein anderes Modell weiterhin die passendere Wahl sein.
Die zugrunde liegende Google-Ausgabe kann neben Text auch visuelle und Audio-Eingaben verarbeiten. Welche dieser Möglichkeiten NOVA konkret anbietet, hängt jedoch von der eingebundenen Laufzeit und den freigeschalteten Funktionen ab. Die Modellfähigkeit allein ist noch keine fertige Anwendung.
Mehr Flexibilität für echte Projekte
Der Familienzuwachs ist für unsere Arbeit vor allem deshalb nützlich, weil wir genauer auswählen können. Ein Modell muss zur Aufgabe passen. Und die Hardware muss zu dem passen, was im Alltag tatsächlich gebraucht wird.
Ein lokaler Betrieb kann ermöglichen, Dokumente innerhalb der eigenen Infrastruktur zu verarbeiten. Dafür betrachten wir auch Zugriffsrechte, angeschlossene Dienste und die Datenwege. Datenschutz entsteht durch die gesamte Einrichtung, nicht allein durch den Modellnamen.
Gemma 4 12B erweitert damit den Werkzeugkasten von NOVA. Unser Ziel bleibt dasselbe: eine KI-Lösung, die mit Ihrem Wissen arbeitet und sich sinnvoll in Ihre Abläufe einfügt.
Sie möchten herausfinden, welche lokale KI zu Ihrem Unternehmen passt? Wir besprechen mit Ihnen die Aufgabe und die vorhandene Infrastruktur.
Welche lokale KI passt zu Ihrem Unternehmen?
Autor
Prof. Dr. Alexander Lutz, Professor für Big Data und KI an der FOM München, Doktor der Humangenetik und Anthropologie, ehemaliger Onlinespiele-Designer und natürlich Gründer und Inhaber der Agentur Die NEOs. Neben den Themen der künstlichen Intelligenz und deren Einsatzmöglichkeiten in der Praxis konzentriert sich Alexander auf die Kundenkommunikation. Neue Problemfelder oder technische Innovationen bereitet er so auf, dass der Nutzen für unsere Kunden deutlich wird. Er schläft zeitverantwortlich und agiert schnell, sein Motto: »Tue es, oder tue es nicht. Es gibt kein Versuchen.«
