Model­le und Bench­marks · Mess­lauf 1.–2. Novem­ber 2026

Elf Embed­ding-Model­le im NOVA-Test: War­um der bes­te Such­hel­fer nicht immer der größ­te ist


Exe­cu­ti­ve Summary

Embed­ding­Gem­ma 300M erreicht in unse­rem erwei­ter­ten Such­test die höchs­ten Wer­te bei deut­schen Kurz­tex­ten, beim direk­ten Sprach­wech­sel zwi­schen Deutsch und Eng­lisch und bei der Suche in Doku­ment­ab­schnit­ten. Qwen3-Embed­ding 4B liegt dage­gen im getrenn­ten Ganz­do­ku­ment-Test vor­ne: In allen zwölf Län­gen- und Posi­ti­ons­blö­cken steht die rich­ti­ge Doku­ment­fas­sung an ers­ter Stelle.

Elf lokal aus­ge­führ­te Model­le, drei Wie­der­ho­lun­gen und 528 Block­ergeb­nis­se bil­den die Grund­la­ge. Die Daten sind syn­the­tisch und kon­trol­liert. Unse­re Ergeb­nis­se hel­fen bei der Aus­wahl für ähn­li­che Auf­ga­ben; sie erklä­ren kein Modell zum uni­ver­sel­len Sieger.


KI-generierte Illustration: NOVA im schwarzen Tanktop am Arbeitstisch mit Computerprüfstand, Dokumenten und Vektordiagrammen.
KI-generiert

NOVA am Embed­ding-Prüf­stand nach dem Nacht­lauf. KI-gene­rier­te Illus­tra­ti­on, kein Messfoto.


Der Rech­ner lief über Nacht. Die eigent­li­che Fra­ge blieb dieselbe.

In unse­rem ers­ten Ver­gleich von 21 loka­len KI-Model­len ging es um Text­auf­ga­ben, Bele­ge und eine klei­ne Such­prü­fung. Drei Embedder soll­ten damals 60 Doku­men­te mit 36 Such­an­fra­gen erschlie­ßen. Für einen ers­ten Ein­druck war das brauch­bar. Für die Aus­wahl der Such­kom­po­nen­te in NOVA woll­te ich genau­er hinsehen.

Denn was hilft das bes­te Ant­wort­mo­dell, wenn es die fal­sche Pas­sa­ge vor­ge­legt bekommt? Bevor NOVA eine Ant­wort for­mu­liert, muss die Suche die pas­sen­de Infor­ma­ti­on fin­den. Ein Embed­ding-Modell über­setzt dafür Tex­te und Fra­gen in Zah­len­vek­to­ren. Unser Test endet bei der Rang­fol­ge der Fund­stel­len. Er bewer­tet kei­ne for­mu­lier­te Antwort.

Dies­mal lief der Ryzen vom 1. auf den 2. Novem­ber. Die Test­schlei­fe mit Lade­zei­ten und vor­ge­se­he­nen Pau­sen dau­er­te rund 16 Stun­den und 18 Minu­ten; der abschlie­ßen­de Berichts­export kam hin­zu. Das Ergeb­nis ist umfang­rei­cher als eine neue Bes­ten­lis­te: Es zeigt, wie stark die Wahl des Such­ver­fah­rens die Modell­wahl verändert.


Was wir dies­mal genau­er wis­sen wollten

Im deut­schen Teil tre­ten sinn­glei­che For­mu­lie­run­gen, zusam­men­ge­setz­te Wör­ter, Ver­nei­nun­gen, Zah­len, Namen und Tipp­feh­ler auf. 180 Fra­gen ste­hen 600 Pas­sa­gen gegen­über. Im Sprach­test suchen wir in bei­de Rich­tun­gen zwi­schen Deutsch und Eng­lisch. Dazu kom­men ein­spra­chi­ge Such­auf­ga­ben und gemisch­te Bestän­de: ins­ge­samt 360 Fäl­le in sechs gleich gro­ßen Gruppen.

Für lan­ge Doku­men­te gibt es zwei getrenn­te Ver­su­che. Im ers­ten tei­len wir 120 Doku­men­te mit 2.000 bis 12.000 Wör­tern in 9.750 Abschnit­te auf. Jeder Abschnitt ent­hält bis zu 120 Wör­ter, benach­bar­te Abschnit­te über­lap­pen sich um 40 Wör­ter. 120 Fra­gen prü­fen, ob die rele­van­te Pas­sa­ge wie­der­ge­fun­den wird.

Im zwei­ten Ver­such bleibt jedes Doku­ment als Gan­zes erhal­ten. Vier Län­gen von 300 bis 6.000 Wör­tern und drei Posi­tio­nen der ent­schei­den­den Infor­ma­ti­on erge­ben zwölf Blö­cke. Zu jeder gül­ti­gen Fas­sung gibt es einen ähn­lich for­mu­lier­ten, aus­drück­lich ver­al­te­ten Gegen­kan­di­da­ten. Die­ser Ver­such prüft die Unter­schei­dung gan­zer Doku­ment­fas­sun­gen. Er ver­wen­det ande­re Tex­te als der Abschnittstest und ist des­halb kein direk­ter Beweis, dass eine der bei­den Stra­te­gien grund­sätz­lich bes­ser wäre.

Mit dem bis­he­ri­gen Kern erge­ben sich 1.056 vor­ge­se­he­ne Such­fäl­le je Modell und Run­de. Alle elf Model­le haben ihre Funk­ti­ons­prü­fung bestan­den. Sämt­li­che 528 Block­ergeb­nis­se sind vor­han­den; 207 doku­men­tie­ren eine Kon­text­über­schrei­tung. Dort gibt es kei­nen Qua­li­täts­wert und auch kei­ne ersatz­wei­se Null.


Die ers­te Über­ra­schung: Ein klei­nes Modell fin­det die rich­ti­gen Passagen

Die fol­gen­de Tabel­le zeigt nDCG@10. Der Wert berück­sich­tigt, ob rele­van­te Tref­fer weit vor­ne ste­hen; 1,000 ist die idea­le Rei­hen­fol­ge. Ein Wert von 0,986 bedeu­tet nicht, dass 98,6 Pro­zent belie­bi­ger Kun­den­fra­gen rich­tig beant­wor­tet wer­den. DE → EN bezeich­net eine deut­sche Fra­ge in einem eng­li­schen Kan­di­da­ten­be­stand, EN → DE die Gegenrichtung.

11 Model­le
Modell Deutsch DE → EN EN → DE Lan­ge Doku­men­te als Abschnitte
Embed­ding­Gem­ma 300M 0,986 1,000 0,988 0,895
Nomic Embed Text v2 MoE 0,936 0,705 0,938 0,753
Snow­fla­ke Arc­tic Embed 2 0,934 0,822 0,938 0,692
BGE-M3 0,924 0,840 0,764 0,756
Jina Embed­dings v2 DE 0,824 0,755 0,754 0,750
Qwen3 Embed­ding 8B 0,814 0,769 0,834 0,567
Mul­ti­l­in­gu­al E5 Lar­ge Instruct 0,779 0,926 0,982 0,661
Qwen3 Embed­ding 4B 0,721 0,844 0,797 0,719
Qwen3 Embed­ding 0,6B 0,705 0,899 0,729 0,674
mxbai Embed Large 0,645 0,551 0,589 0,360
Nomic Embed Text v1 0,600 0,506 0,648 0,643

Glei­che Such­fäl­le inner­halb jeder Spal­te, drei voll­stän­di­ge Wie­der­ho­lun­gen. Höher ist bes­ser. Die Sprach­rich­tun­gen ent­hal­ten je 60 Fäl­le; die Deutsch- und Abschnittstests 180 bezie­hungs­wei­se 120. Der Her­kunfts­fil­ter beschreibt Ent­wick­lungs­zu­ord­nung, kei­ne Eigen­tums- oder Souveränitätsgarantie.

Embed­ding­Gem­ma liegt im Deutsch­test bei 0,986. Die rich­ti­ge Pas­sa­ge steht bei 173 der 180 Fra­gen an ers­ter Stel­le; inner­halb der ers­ten fünf Tref­fer wird sie bei allen gefun­den. Bei fünf der sechs deut­schen Teil­grup­pen erreicht das Modell die idea­le Rang­fol­ge. Zah­len und Fris­ten blei­ben auch hier die schwie­ri­ge­re Disziplin.

Nomic v2 MoE, Snow­fla­ke Arc­tic Embed 2 und BGE-M3 fol­gen. Der Abstand zwi­schen Nomic und Snow­fla­ke ist im Deutsch­test so klein, dass unser gepaar­ter Unsi­cher­heits­ver­gleich kei­ne kla­re Rei­hen­fol­ge trägt. Die drei Nach­kom­ma­stel­len sol­len Unter­schie­de sicht­bar machen, kei­ne Gewiss­heit vortäuschen.

nDCG-Werte aller elf Modelle für deutsche Passagen und lange Dokumente als Abschnitte, jeweils mit Unsicherheitsintervallen
95-Pro­zent-Inter­val­le aus einem Clus­ter-Boot­strap über 30 The­men­fa­mi­li­en. Die drei Wie­der­ho­lun­gen wer­den vor­her zusam­men­ge­fasst. Die Inter­val­le beschrei­ben Unsi­cher­heit inner­halb unse­res kon­trol­lier­ten Datensatzes.


Deutsch und Eng­lisch: Eine ein­zi­ge Sprach­zahl wür­de etwas verdecken

Embed­ding­Gem­ma erreicht bei deut­schen Fra­gen an eng­li­sche Tex­te 1,000 und in der Gegen­rich­tung 0,988. E5 Lar­ge Ins­truct fällt als wei­te­rer Kan­di­dat auf: 0,926 und 0,982 sind deut­lich stär­ker als sein Ergeb­nis im deut­schen Gegenkandidatentest.

Aber E5 ver­liert im gemisch­ten deutsch-eng­li­schen Kan­di­da­ten­be­stand: Dort lie­gen die Wer­te bei 0,495 für deut­sche und 0,662 für eng­li­sche Fra­gen. In die­sen Grup­pen dür­fen pas­sen­de Fas­sun­gen bei­der Spra­chen gefun­den wer­den. Eine fes­te Ziel­spra­che erleich­tert dem Modell unse­re Auf­ga­be offen­bar stär­ker als der gemein­sa­me Bestand.

Auch die Rich­tung zählt. Nomic v2 MoE erreicht 0,705 für DE → EN und 0,938 für EN → DE. Das Eti­kett »mehr­spra­chig« ersetzt des­halb kei­nen Test mit den Spra­chen und Bestän­den, die im Unter­neh­men tat­säch­lich vorkommen.


Gan­ze Doku­men­te erzäh­len eine ande­re Geschichte

Qwen3-Embed­ding 4B fin­det in unse­rem Ganz­do­ku­ment-Test für alle 360 Fäl­le die gül­ti­ge Fas­sung auf Rang eins, in jeder der drei Run­den. Das gilt für 300, 1.000, 3.000 und 6.000 Wör­ter und jeweils für Infor­ma­tio­nen am Anfang, in der Mit­te und am Ende. Die Vari­an­ten mit 0,6B und 8B ver­ar­bei­ten eben­falls alle vor­ge­se­he­nen Län­gen, ord­nen aber nicht jede Fas­sung ide­al ein.

Ergebnisse für ganze Dokumente mit 300, 1000, 3000 und 6000 Wörtern: Qwen3 4B erreicht in jeder Länge nDCG 1,000; mehrere andere Modelle erreichen die Kontextgrenze
Mit­tel­wert über die drei Posi­tio­nen inner­halb der­sel­ben Län­ge. »Län­gen­li­mit« heißt: Der Block ließ sich mit unse­ren Tex­ten und Ein­stel­lun­gen nicht voll­stän­dig ohne Abschnei­den ver­ar­bei­ten. Wör­ter sind kei­ne Tokens; dar­aus folgt kei­ne all­ge­mei­ne Wort­gren­ze des Modells.

Embed­ding­Gem­ma kommt bei den voll­stän­di­gen 300-Wör­ter-Doku­men­ten im Mit­tel nur auf 0,779. Bei 1.000 Wör­tern sind es 0,873; die län­ge­ren Blö­cke pas­sen nicht in die getes­te­te Kon­fi­gu­ra­ti­on. Das wider­spricht dem guten Abschnitts­er­geb­nis nicht. Ein kom­pak­ter Such­vek­tor für eine Pas­sa­ge muss etwas ande­res leis­ten als ein Vek­tor für ein lan­ges Doku­ment mit einer klei­nen ent­schei­den­den Statusangabe.

Ein Bei­spiel macht das greif­bar: Das syn­the­ti­sche Hand­buch »Aster, Aus­ga­be 99« ent­hält eine gül­ti­ge Wie­der­her­stel­lungs­frist von 24 Stun­den und einen ver­wor­fe­nen Ent­wurf mit sechs Stun­den. Die Fra­ge ver­langt aus­drück­lich die aktu­el­le Regel. Embed­ding­Gem­ma setzt im 300-Wör­ter-Block mit der Regel am Anfang den alten Ent­wurf vor die gül­ti­ge Fas­sung. Qwen3 4B ord­net das­sel­be Paar rich­tig ein.

Die prak­ti­sche Fol­ge­rung reicht über die Modell­wahl hin­aus: Gül­tig­keit und Ver­si­ons­stand soll­ten nach Mög­lich­keit als Meta­da­ten geführt und bei der Suche berück­sich­tigt wer­den. Ein seman­tisch ähn­li­cher Ent­wurf bleibt seman­tisch ähn­lich, auch wenn er nicht mehr gel­ten darf. Einen sol­chen Meta­da­ten­fil­ter haben wir hier nicht mitgemessen.


Für die Suche in Abschnit­ten ist Embed­ding­Gem­ma wie­der vorne

Über die 9.750 Abschnit­te erreicht Embed­ding­Gem­ma 0,895 nDCG@10. BGE-M3, Nomic v2 MoE und Jina v2 DE lie­gen mit rund 0,756, 0,753 und 0,750 dicht bei­ein­an­der. Aus die­sen klei­nen Abstän­den allein wür­de ich kei­ne fes­te Rang­fol­ge für eine Kun­den­in­stal­la­ti­on ableiten.

Bewer­ten wir das rich­ti­ge Ursprungs­do­ku­ment statt der exak­ten Pas­sa­ge, steigt Embed­ding­Gem­ma auf 0,922. Bei Nomic v1 unter­schei­den sich die­se Ebe­nen beson­ders: 0,643 für die Pas­sa­ge ste­hen 0,885 für das Ursprungs­do­ku­ment gegen­über. Das Modell fin­det also oft das rich­ti­ge Doku­ment, aber nicht den am bes­ten pas­sen­den Abschnitt. Für eine prä­zi­se Quel­len­an­ga­be ist die­ser Unter­schied erheblich.


Tem­po und Spei­cher gehö­ren dane­ben, nicht in den­sel­ben Punktetopf

Im deut­schen Kurz­text­block benö­tigt Jina v2 DE für eine Fra­ge im Medi­an rund 16,4 Mil­li­se­kun­den, Embed­ding­Gem­ma 19,9 Mil­li­se­kun­den. Beim Ein­le­sen der­sel­ben Pas­sa­gen mit acht Tex­ten je Anfra­ge ver­ar­bei­tet Nomic v2 MoE durch­schnitt­lich rund 125 Pas­sa­gen pro Sekun­de; Embed­ding­Gem­ma rund 89. Das sind Wer­te unse­res loka­len Prüf­stands, kei­ne Lauf­zeit­zu­sa­gen für ande­re Rechner.

Gemes­sen wird die jewei­li­ge HTTP-Anfra­ge an Oll­ama. Die absicht­li­che Pau­se von 300 Mil­li­se­kun­den vor neu­en Anfra­gen, Iden­ti­täts­prü­fun­gen und die anschlie­ßen­de Vek­tor­su­che sind dar­in nicht ent­hal­ten. Der gesam­te Test­durch­lauf dau­ert ent­spre­chend län­ger. Auch das Inde­xie­rungs­tem­po ist an Text­län­ge und Batch­grö­ße gebunden.

Die Vek­tor­di­men­si­on wirkt sich unab­hän­gig von der Modell­grö­ße auf den Such­in­dex aus. Eine Mil­li­on Vek­to­ren mit 768 Floa­t32-Wer­ten benö­ti­gen rech­ne­risch rund 2,86 GiB Nutz­da­ten. Mit 4.096 Dimen­sio­nen sind es 15,26 GiB. Tex­te, Meta­da­ten und Index­struk­tu­ren kom­men hin­zu. Unser Test nutzt nati­ve Dimen­sio­nen; eine redu­zier­te Aus­ga­be haben wir nicht verglichen.


Euro­päi­scher Ursprung ist eine ande­re Fra­ge als loka­le Ausführung

Jina v2 DE ist im Test der Kan­di­dat mit deut­schem Ent­wick­lungs­ur­sprung. Die Modell­kar­te weist Apa­che 2.0 aus. Jina AI gehört seit Okto­ber 2025 zu Ela­s­tic. Für eine Her­kunfts­ta­bel­le müs­sen wir des­halb Ent­wick­lungs­ur­sprung, heu­ti­ge Unter­neh­mens­zu­ge­hö­rig­keit, Basis­mo­dell und Lizenz getrennt erfas­sen. Ein ein­zi­ges Fähn­chen wäre zu grob. Quel­len: Jina v2 DE: Modell­kar­te und Apache‑2.0‑Lizenz; Jina AI: Zuge­hö­rig­keit zu Ela­s­tic.

Alle elf getes­te­ten Model­le lau­fen hier lokal über Oll­ama. Dar­aus folgt weder eine euro­päi­sche Eigen­tü­mer­struk­tur noch eine Aus­sa­ge über die kom­plet­te NOVA-Daten­ver­ar­bei­tung. Bei Embed­ding­Gem­ma gel­ten die eige­nen Gem­ma-Nut­zungs­be­din­gun­gen; es ist nicht pau­schal mit einer Apa­che- oder MIT-Ver­öf­fent­li­chung gleich­zu­set­zen. Embed­ding­Gem­ma: Modell­kar­te, Prä­fi­xe und Gem­ma-Nut­zungs­be­din­gun­gen.

Mis­tral Embed erhielt in die­sem loka­len Ver­gleich kei­nen Mess­wert. Die offi­zi­el­le Doku­men­ta­ti­on beschreibt das API-Ange­bot; eine für die­sen Lauf bestä­tig­te loka­le Oll­ama-Gewichts­ver­öf­fent­li­chung lag uns nicht vor. Die geprüf­te deep­set-Kon­ver­tie­rung blieb wegen ihres doku­men­tier­ten Lade­feh­lers eben­falls drau­ßen. Bei­des ist eine Lücke in der Kan­di­da­ten­aus­wahl, kein Beleg für schlech­te Such­qua­li­tät. Mis­tral Embed: offi­zi­el­le Modell­be­schrei­bung und API-Ange­bot.


Wel­che Model­le wür­de ich für NOVA als Nächs­tes einsetzen?

Für die Suche in kur­zen deut­schen oder deutsch-eng­li­schen Abschnit­ten wäre Embed­ding­Gem­ma mein ers­ter Kan­di­dat für einen Test mit ech­ten Unter­neh­mens­fra­gen. Die Qua­li­tät die­ses Daten­sat­zes, die kom­pak­te Modell­da­tei und 768 Dimen­sio­nen pas­sen gut zu die­sem Ein­satz. Die Lizenz und die tat­säch­lich unter­stütz­ten Ein­ga­be­län­gen gehö­ren zur Aus­wahl dazu.

Wenn gan­ze län­ge­re Doku­men­te als ein­zel­ne Vek­to­ren erschlos­sen wer­den sol­len, wür­de ich Qwen3-Embed­ding 4B zuerst prü­fen. Sein Ergeb­nis recht­fer­tigt die­sen nächs­ten Ver­such, kei­ne pau­scha­le Garan­tie für belie­bi­ge Hand­bü­cher. Sei­ne höhe­re Latenz und grö­ße­re Vek­to­ren ste­hen im sel­ben Ver­gleich mit auf dem Tisch.

Bei einer Vor­ga­be für euro­päi­sche Ent­wick­lungs­her­kunft bleibt Jina v2 DE ein kon­kret gemes­se­ner Kan­di­dat. Wo Apa­che 2.0 und schnel­les Ein­le­sen kur­zer Abschnit­te aus­schlag­ge­bend sind, ist Nomic v2 MoE inter­es­sant. Snow­fla­ke Arc­tic Embed 2 und BGE-M3 soll­ten als Ver­gleich­s­kan­di­da­ten erhal­ten blei­ben; E5 ins­be­son­de­re für fes­te deutsch-eng­li­sche Suchrichtungen.


Was unser Test offenlässt

Die Fra­gen stam­men aus kon­trol­lier­ten syn­the­ti­schen The­men­fa­mi­li­en. Vie­le Fäl­le tei­len sich Sprach­mus­ter. Sie bil­den weder die Brei­te rea­ler Unter­neh­men noch ein unab­hän­gi­ges MTEB-Ergeb­nis ab. Die drei Wie­der­ho­lun­gen bestä­ti­gen hier sta­bi­le nDCG-Wer­te der vier gemein­sa­men Berei­che; sie erzeu­gen kei­ne neu­en fach­lich unab­hän­gi­gen Testfragen.

Wir haben kon­kre­te Oll­ama-Pake­te mit ihren doku­men­tier­ten Quan­ti­sie­run­gen unter­sucht. Die Qwen-Vari­an­ten lie­gen bei­spiels­wei­se nicht alle in der­sel­ben Quan­ti­sie­rung vor. Ein grö­ße­res Modell kann durch ande­re Prä­zi­si­on, Prä­fi­xe oder eine ande­re Run­time anders abschnei­den. Unse­re Funk­ti­ons­prü­fung bestä­tigt kor­rek­te Dimen­sio­nen, Wie­der­hol­bar­keit und eine ein­fa­che Such­auf­ga­be; sie beweist kei­ne voll­stän­di­ge Gleich­wer­tig­keit mit der ursprüng­li­chen Herstellerimplementierung.

Die Suche nutzt aus­schließ­lich dich­te Vek­to­ren und exak­te Kosi­nus­ähn­lich­keit. Hybrid­su­che, Rer­an­ker, OCR, Ant­wort­ge­ne­rie­rung und Berech­ti­gungs­prü­fung feh­len in die­sem Ver­such. Gera­de bei BGE-M3 ist das nur ein Teil der ver­füg­ba­ren Metho­den. Im nächs­ten Pra­xis­schritt brau­chen wir ech­te Fra­gen, ver­läss­li­che Doku­ment­ver­sio­nen und geprüf­te Fund­stel­len. Erst damit lässt sich ent­schei­den, wel­cher Such­hel­fer in der jewei­li­gen NOVA-Instal­la­ti­on blei­ben soll.

Im ers­ten Bench­mark war die Embed­ding-Prü­fung ein klei­ner Teil eines gro­ßen Modell­ver­gleichs. Jetzt ist sicht­bar, war­um sie einen eige­nen Test ver­dient: Die rich­ti­ge Ent­schei­dung beginnt mit der Fra­ge, wel­che Art von Fund­stel­le wir eigent­lich brauchen.

Mess­grund­la­ge und tech­ni­sche Vertiefung

Eige­ne Mes­sun­gen mit NEOs-Embed­ding-Suite 2.1, Lauf vom 1.–2. Novem­ber 2026. Tabel­len und Gra­fi­ken stam­men aus dem voll­stän­di­gen Rück­ga­be­pa­ket. Metho­dik, Modell­va­ri­an­ten, Kon­text­kon­fi­gu­ra­ti­on und voll­stän­di­ge Detail­ta­bel­len doku­men­tie­ren die Auswertung.

Her­stel­ler­an­ga­ben sind von den eige­nen Mess­wer­ten getrennt: Qwen3 Embed­ding: Modell­kar­te und Apache‑2.0‑Lizenz · Nomic v2 MoE: Modell­kar­te, Prä­fi­xe und 512-Token-Kon­text · Snow­fla­ke Arc­tic Embed 2: Modell­kar­te · BGE-M3: Modell­kar­te und MIT-Lizenz · E5 Lar­ge Ins­truct: Modell­kar­te und MIT-Lizenz.


Metho­dik, Modell­va­ri­an­ten und voll­stän­di­ge Detail­ta­bel­len anzeigen

Mess­lauf 1.–2. Novem­ber 2026. Alle fol­gen­den Ergeb­nis­wer­te stam­men aus dem Rück­ga­be­pa­ket des Ryzen-Prüf­stands; Quel­len­an­ga­ben zu Model­len wur­den am 2. Novem­ber geprüft.

Voll­stän­dig­keit und Gren­zen der Prüfung

Elf erfolg­rei­che Vor­prü­fun­gen, 528 ein­deu­ti­ge Modell-/Block-/Run­den­kom­bi­na­tio­nen. 321 Blö­cke voll­stän­dig, 207 mit erwar­te­ter Kon­text­über­schrei­tung. 86.076 erfolg­rei­che gespei­cher­te Anfra­gen, 207 mit Kon­text­über­schrei­tung, kei­ne sons­ti­gen fina­len Anfra­ge­sta­tus. Erfolg­rei­che Haupt-Query-Mes­sun­gen: 28.638; wei­te­re 22 Query-Auf­ru­fe stam­men aus den Vor­prü­fun­gen. Jeder erfolg­rei­che Vek­tor­auf­ruf mel­det die erwar­te­te Dimension.

Beginn 1. Novem­ber 16:06:13 Uhr MEZ, Ende der Test­schlei­fe 2. Novem­ber 08:24:09 Uhr MEZ, Abschluss des Star­ters mit Rück­ga­be 09:04:56 Uhr MEZ. Die Test­schlei­fe umfasst Pau­sen, Laden, Prü­fen, Embed­ding und Suche. Der abschlie­ßen­de Berichts­export dau­ert zusätz­lich rund 41 Minuten.

Die Rück­ga­be ent­hält Rang­lis­ten und Anfra­ge­kenn­zah­len, kei­ne Floa­t32-Vek­tor­da­tei­en. Rang­me­tri­ken las­sen sich dar­aus nach­rech­nen; eine unab­hän­gi­ge Prü­fung der tat­säch­li­chen Vek­to­ren, Poo­ling-Pari­tät oder GPU-Ker­nel erfolgt nicht. Alle 28.638 Haupt-Rang­lis­ten wur­den zusätz­lich mit einer sepa­ra­ten Python-Imple­men­tie­rung bewer­tet. Die 3.050 ver­gli­che­nen nDCG‑, MRR‑, Recall- und Eltern-Doku­ment-Kenn­zah­len stim­men bis auf Run­dungs­res­te über­ein (maxi­ma­le Abwei­chung 2,6 × 10⁻¹⁵). Die nDCG-Wer­te sind über die drei Run­den in die­sen Berei­chen gleich.

Auf­ga­ben und Suchverfahren

Block Doku­men­te / Abschnitte Fra­gen je Runde Ange­for­der­ter Kon­text / Batch
lega­cy 60 36 2048 Tokens / 8
de 600 180 2048 Tokens / 8
cross 600 360 2048 Tokens / 8
long-chunks 9750 120 2048 Tokens / 8
who­le-300-Anfang 60 30 2048 Tokens / 1
who­le-300-Ende 60 30 2048 Tokens / 1
who­le-300-Mit­te 60 30 2048 Tokens / 1
who­le-1000-Anfang 60 30 4096 Tokens / 1
who­le-1000-Ende 60 30 4096 Tokens / 1
who­le-1000-Mit­te 60 30 4096 Tokens / 1
who­le-3000-Anfang 60 30 16384 Tokens / 1
who­le-3000-Ende 60 30 16384 Tokens / 1
who­le-3000-Mit­te 60 30 16384 Tokens / 1
who­le-6000-Anfang 60 30 32768 Tokens / 1
who­le-6000-Ende 60 30 32768 Tokens / 1
who­le-6000-Mit­te 60 30 32768 Tokens / 1

Der ange­for­der­te Kon­text wird durch die modell­be­zo­ge­ne Kon­fi­gu­ra­ti­on begrenzt. Ein­ga­ben wer­den mit truncate=false ver­ar­bei­tet. Eine Kon­text­über­schrei­tung eines Kan­di­da­ten stoppt den betref­fen­den Block; kei­ne Rang­lis­te aus ver­klei­ner­tem Kor­pus. Gemein­sa­me kur­ze Blö­cke, voll­stän­di­ge Doku­men­te und Eltern-Doku­ment­wer­tung wer­den getrennt aus­ge­wie­sen. Kei­ne ANN-Nähe­rung, aus­schließ­lich exak­te Kosi­nus-Suche und Top 10; kei­ne Rer­an­ker und kei­ne Hybridwertung.

Getes­te­te Modellvarianten

Oll­ama-Modell­ken­nung Quan­ti­sie­rung Dimen­sio­nen Modell­da­tei GB Digest-Prä­fix Lizenz laut Modellkarte
nomic-embed-text:latest F16 768 0,274 0a109f422b47 Apache‑2.0
mxbai-embed-large:latest F16 1024 0,670 468836162de7 Apache‑2.0
qwen3-embedding:8b Q4_K_M 4096 4,677 64b933495768 Apache‑2.0
qwen3-embedding:0.6b Q8_0 1024 0,639 ac6da0dfba84 Apache‑2.0
qwen3-embedding:4b Q4_K_M 2560 2,497 df5bd2e3c74c Apache‑2.0
bge-m3:latest F16 1024 1,158 790764642607 MIT
jina/jina-embeddings-v2-base-de:latest F16 768 0,323 f9b10d7e24af Apache‑2.0
blaifa/multilingual-e5-large-instruct:Q8_0 Q8_0 1024 0,603 6bc3b519b1c2 MIT
nomic-embed-text-v2-moe:latest F16 768 0,958 ff9c2f10ef5e Apache‑2.0
snowflake-arctic-embed2:latest F16 1024 1,160 5de93a84837d Apache‑2.0
embeddinggemma:300m BF16 768 0,622 85462619ee72 Gem­ma terms

GB = 10⁹ Bytes, GiB = 2³⁰ Bytes. Modell­grö­ße ist kein Arbeits­spei­cher­be­darf. Her­kunfts­fel­der wur­den nicht neu aus Natio­na­li­täts­na­men abge­lei­tet: Jina deut­scher Ursprung, heu­te Ela­s­tic; Qwen/Alibaba und BAAI Chi­na; Google, Nomic und Snow­fla­ke USA; E5 und Mixed­bread inter­na­tio­nal zuge­ord­net. Die­se Ent­wick­ler­zu­ord­nung ist kei­ne Aus­sa­ge zur Her­kunft sämt­li­cher Basis­mo­del­le, Trai­nings­da­ten oder Konzernkontrolle.

Prä­fi­xe und Modellkontext

Modell Query-Prä­fix Doku­ment-Prä­fix Kon­fi­gu­rier­tes Maximum
Nomic Embed Text v1 search_query: search_document: 8192
mxbai Embed Large Represent this sentence for searching relevant passages: (leer) 512
Qwen3 Embed­ding 8B Instruct: Given a web search query, retrieve relevant passages that answer the query
Query: 		(leer) 32768
Qwen3 Embed­ding 0,6B Instruct: Given a web search query, retrieve relevant passages that answer the query
Query: 		(leer) 32768
Qwen3 Embed­ding 4B Instruct: Given a web search query, retrieve relevant passages that answer the query
Query: 		(leer) 32768
BGE-M3 (leer) (leer) 8192
Jina Embed­dings v2 DE (leer) (leer) 8192
Mul­ti­l­in­gu­al E5 Lar­ge Instruct Instruct: Given a web search query, retrieve relevant passages that answer the query
Query: 		(leer) 512
Nomic Embed Text v2 MoE search_query: search_document: 512
Snow­fla­ke Arc­tic Embed 2 query: (leer) 8192
Embed­ding­Gem­ma 300M task: search result | query: title: none | text: 2048

Deutsch nach Teilgruppe

Modell Para­phra­se Kom­po­si­ta Ver­nei­nung Zah­len Namen Tipp­feh­ler
Embed­ding­Gem­ma 300M 1,000 1,000 1,000 0,914 1,000 1,000
Nomic Embed Text v2 MoE 1,000 0,988 1,000 0,631 1,000 1,000
Snow­fla­ke Arc­tic Embed 2 1,000 0,975 1,000 0,631 1,000 1,000
BGE-M3 0,840 0,951 1,000 0,828 0,926 1,000
Jina Embed­dings v2 DE 0,631 0,975 1,000 0,633 0,705 1,000
Qwen3 Embed­ding 8B 0,643 0,631 1,000 0,624 1,000 0,988
Mul­ti­l­in­gu­al E5 Lar­ge Instruct 0,988 0,631 0,631 0,631 0,926 0,865
Qwen3 Embed­ding 4B 0,631 0,668 0,963 0,631 0,631 0,803
Qwen3 Embed­ding 0,6B 0,742 0,548 0,742 0,603 0,631 0,963
mxbai Embed Large 0,388 0,586 0,903 0,560 0,811 0,623
Nomic Embed Text v1 0,320 0,562 0,988 0,521 0,319 0,892

Sprach­wech­sel und gemisch­te Bestände

Modell DE → EN EN → DE DE → MIX EN → MIX Direk­ter Sprach­wech­sel, Mittel
Embed­ding­Gem­ma 300M 1,000 0,988 0,921 0,941 0,994
Mul­ti­l­in­gu­al E5 Lar­ge Instruct 0,926 0,982 0,495 0,662 0,954
Snow­fla­ke Arc­tic Embed 2 0,822 0,938 0,833 0,858 0,880
Nomic Embed Text v2 MoE 0,705 0,938 0,890 0,704 0,822
Qwen3 Embed­ding 4B 0,844 0,797 0,733 0,819 0,820
Qwen3 Embed­ding 0,6B 0,899 0,729 0,727 0,802 0,814
BGE-M3 0,840 0,764 0,901 0,844 0,802
Qwen3 Embed­ding 8B 0,769 0,834 0,755 0,763 0,802
Jina Embed­dings v2 DE 0,755 0,754 0,785 0,742 0,754
Nomic Embed Text v1 0,506 0,648 0,432 0,572 0,577
mxbai Embed Large 0,551 0,589 0,386 0,530 0,570

Je Rich­tung 60 Fäl­le, im Mit­tel der direk­ten Rich­tun­gen gleich gewich­tet. Der voll­stän­di­ge Cross-Block ent­hält zusätz­lich DE-DE und EN-EN; sein Gesamt­wert ist des­halb kein rei­ner Sprach­wech­sel­wert. In MIX gel­ten deut­sche und eng­li­sche Fas­sun­gen als mög­li­che rele­van­te Tref­fer; der durch­schnitt­li­che Recall hat dort einen ande­ren Nen­ner als in der fes­ten Zielsprache.

Res­sour­cen im deut­schen Kurztextblock

Modell Query Medi­an ms Query p95* ms Passagen/s bei Batch 8 Max. gemel­de­te VRAM-Resi­denz GiB 1 Mio. Floa­t32-Vek­to­ren GiB
Nomic Embed Text v1 15,8 20,1 124,2 0,313 2,86
Jina Embed­dings v2 DE 16,4 21,3 110,2 0,313 2,86
Embed­ding­Gem­ma 300M 19,9 24,9 89,5 0,639 2,86
Nomic Embed Text v2 MoE 20,4 29,0 125,1 0,549 2,86
Mul­ti­l­in­gu­al E5 Lar­ge Instruct 22,7 30,2 79,8 0,318 3,81
Qwen3 Embed­ding 0,6B 23,6 33,3 84,7 0,918 3,81
BGE-M3 24,9 34,6 74,5 0,642 3,81
Qwen3 Embed­ding 8B 25,0 83,9 52,8 5,045 15,26
Snow­fla­ke Arc­tic Embed 2 25,5 34,7 75,7 0,642 3,81
mxbai Embed Large 33,5 35,1 77,8 0,582 3,81
Qwen3 Embed­ding 4B 48,1 80,2 62,4 2,910 9,54

*p95 ist das 95. Per­zen­til der pro Fra­ge über drei Run­den ermit­tel­ten Medi­an­zei­ten. Es ist kein Ser­vice-p95 über sämt­li­che Ein­zel­auf­ru­fe. Query-Wall­time umfasst die HTTP-Anfra­ge, nicht die vor­ge­schal­te­te 300-ms-Pau­se, Modell­prü­fun­gen oder Vek­tor­su­che. Passagen/s ist das arith­me­ti­sche Mit­tel erfolg­rei­cher Batch-Durch­sät­ze der­sel­ben Text­samm­lung. GPU-Resi­denz stammt aus Oll­ama /api/ps und ist weder ein all­ge­mei­nes Hard­ware­mi­ni­mum noch die Gesamt­be­le­gung ande­rer Pro­zes­se. Kei­ne Über­tra­gung auf CPU‑, Lap­top- oder Mehrbenutzerbetrieb.

Unsi­cher­heit und mög­li­che Rangfolgen

nDCG@10 ver­wen­det den Gain 2^Relevanzgrad − 1 und log­arith­mi­schen Posi­ti­ons­ab­schlag. MRR@10 wer­tet den ers­ten rele­van­ten Tref­fer, Recall@k den Anteil gefun­de­ner rele­van­ter Kan­di­da­ten. In vie­len kur­zen Fäl­len gibt es genau einen posi­ti­ven Kan­di­da­ten. In den Absatz­tests lässt sich Doku­ment­qua­li­tät sepa­rat nach maxi­ma­ler Abschnitts­ähn­lich­keit und Eltern-ID zusam­men­fas­sen. nDCG ist kei­ne Antwortgenauigkeit.

Wie­der­ho­lun­gen wer­den pro Fra­ge vor der Aus­wer­tung zusam­men­ge­fasst. 1.000 Boot­strap-Stich­pro­ben wer­den über The­men­fa­mi­li­en gezo­gen, Seed 20261015; die gemein­sa­men erwei­ter­ten Blö­cke haben je 30 Fami­li­en, der alte Kern zwölf. Gepaar­te Modell­ver­glei­che ver­wen­den die­sel­ben Fra­gen und Fami­li­en. Die Inter­val­le sind explo­ra­tiv, ohne Kor­rek­tur für alle mög­li­chen Mehr­fach­ver­glei­che. Gemein­sa­me Text­scha­blo­nen und feh­len­de unab­hän­gi­ge mensch­li­che Rele­vanz­prü­fung kön­nen sys­te­ma­ti­sche Ver­zer­run­gen erzeu­gen, die die­se Inter­val­le nicht abbilden.

Ver­gleich Block Dif­fe­renz nDCG 95%-Intervall
Nomic Embed Text v2 MoE minus Snow­fla­ke Arc­tic Embed 2 de 0,0021 -0,0041 bis 0,0103
BGE-M3 minus Jina Embed­dings v2 DE long-chunks 0,0059 -0,0422 bis 0,0491
Embed­ding­Gem­ma 300M minus Mul­ti­l­in­gu­al E5 Lar­ge Instruct cross 0,0400 0,0154 bis 0,0707

Gesamt­do­ku­men­te: alle Posi­tio­nen getrennt

Modell 300 / Anfang 300 / Mitte 300 / Ende 1000 / Anfang 1000 / Mitte 1000 / Ende 3000 / Anfang 3000 / Mitte 3000 / Ende 6000 / Anfang 6000 / Mitte 6000 / Ende
Nomic Embed Text v1 1,000 0,967 0,942 — — — — — — — — —
mxbai Embed Large — — — — — — — — — — — —
Qwen3 Embed­ding 8B 0,924 0,877 0,895 0,912 0,899 0,885 0,975 0,934 0,954 1,000 0,965 0,961
Qwen3 Embed­ding 0,6B 0,656 1,000 1,000 0,988 0,938 1,000 0,975 0,951 1,000 1,000 0,926 1,000
Qwen3 Embed­ding 4B 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000
BGE-M3 0,951 0,988 0,877 0,951 0,914 0,877 — — — — — —
Jina Embed­dings v2 DE 1,000 0,951 0,766 1,000 1,000 0,963 — — — — — —
Mul­ti­l­in­gu­al E5 Lar­ge Instruct — — — — — — — — — — — —
Nomic Embed Text v2 MoE — — — — — — — — — — — —
Snow­fla­ke Arc­tic Embed 2 1,000 0,951 0,963 0,988 0,963 1,000 — — — — — —
Embed­ding­Gem­ma 300M 0,643 0,877 0,815 0,729 0,926 0,963 — — — — — —

Jeder Posi­ti­ons­block ent­hält 60 Kan­di­da­ten­do­ku­men­te und 30 Fra­gen. Eine gül­ti­ge Fas­sung ist rele­vant, der ver­wor­fe­ne Ent­wurf nicht. Wie­der­hol­ter Füll­text und fes­te Signal­wör­ter begren­zen die Schwie­rig­keit die­ses kon­trol­lier­ten Ver­suchs. Gan­ze Doku­men­te und Abschnitts­kor­pus sind unter­schied­li­che Auf­ga­ben; ihre Scores dür­fen nicht als direk­te Wirk­sam­keits­mes­sung der­sel­ben Chun­king-Ent­schei­dung gegen­ein­an­der gerech­net werden.

Pri­mär­quel­len

Embed­ding­Gem­ma: Modell­kar­te, Prä­fi­xe und Gem­ma-Nut­zungs­be­din­gun­gen
Qwen3 Embed­ding: Modell­kar­te und Apache‑2.0‑Lizenz
Jina v2 DE: Modell­kar­te und Apache‑2.0‑Lizenz
Jina AI: Zuge­hö­rig­keit zu Ela­s­tic
Nomic v2 MoE: Modell­kar­te, Prä­fi­xe und 512-Token-Kon­text
Snow­fla­ke Arc­tic Embed 2: Modell­kar­te
BGE-M3: Modell­kar­te und MIT-Lizenz
E5 Lar­ge Ins­truct: Modell­kar­te und MIT-Lizenz
Mis­tral Embed: offi­zi­el­le Modell­be­schrei­bung und API-Angebot

Wei­te­re getes­te­te Kar­ten: Nomic v1.5 · mxbai Embed Lar­ge · Qwen 0,6B · Qwen 8B. Maß­geb­lich blei­ben die im Lauf pro­to­kol­lier­ten loka­len Digests.


Professor Doktor Alexander Lutz

Autor

Prof. Dr. Alex­an­der Lutz, Pro­fes­sor für Big Data und KI an der FOM Mün­chen, Dok­tor der Human­ge­ne­tik und Anthro­po­lo­gie, ehe­ma­li­ger Online­spie­le-Desi­gner und natür­lich Grün­der und Inha­ber der Agen­tur Die NEOs. Neben den The­men der künst­li­chen Intel­li­genz und deren Ein­satz­mög­lich­kei­ten in der Pra­xis kon­zen­triert sich Alex­an­der auf die Kun­den­kom­mu­ni­ka­ti­on. Neue Pro­blem­fel­der oder tech­ni­sche Inno­va­tio­nen berei­tet er so auf, dass der Nut­zen für unse­re Kun­den deut­lich wird. Er schläft zeit­ver­ant­wort­lich und agiert schnell, sein Mot­to: “Tue es, oder tue es nicht. Es gibt kein Ver­su­chen.”

Node.js-Sicherheitslücken 2026: Was bei mitt­wald pas­siert ist und wer noch...KI-generierte Illustration: NOVA setzt an einem Server ein cyanfarbenes Sicherheitsmodul mit Schildsymbol ein.