Beim Vektorisieren übersetzt ein Embedding-Modell Texte in Zahlenfolgen. Diese Vektoren machen die inhaltliche Nähe von Texten vergleichbar. Verwandte Bedeutungen können so gefunden werden, auch wenn andere Wörter verwendet werden.
Akkuschrauber, Akku-Bohrhammer, Akku-Stichsäge und Akku-Nagler gehören zu den Akku-Werkzeugen. Duschkopf, Waschbecken, Abflusssieb und Toilette beschreiben die Badeinrichtung. Holzdielen, Fliesen, Linoleum und Laminat gehören zu den Bodenbelägen.
Stellen Sie sich diese Begriffe als Punkte auf einer Karte vor: Begriffe mit ähnlicher Bedeutung liegen näher beieinander. So werden Gruppen erkennbar, obwohl die Wörter unterschiedlich geschrieben sind.
Diese Karte ist eine Vereinfachung. Echte Embeddings haben viele Dimensionen; die Lage hängt vom Modell und vom Textzusammenhang ab. Fliesen können beispielsweise sowohl bei Bodenbelägen als auch bei einer Badsanierung eine Rolle spielen.
Verwandte Begriffe bilden Nachbarschaften im Bedeutungsraum. Die Grafik vereinfacht dieses Prinzip auf zwei Dimensionen.
Sie möchten Urlaub einreichen, kennen aber den Namen des Formulars nicht. Statt nach »Urlaubsantrag« zu suchen, schreiben Sie:
»Wie kann ich eine Abwesenheit beantragen?«
Die semantische Suche kann darin den Bezug zu Urlaub und Freistellung erkennen. Ein Dokument mit dem Titel »Urlaubsantrag« kann deshalb als passender Treffer erscheinen, obwohl Ihre Frage dieses Wort gar nicht enthält. Entscheidend ist der Inhalt des Dokuments, nicht nur sein Dateiname.
Sie müssen also nicht immer den exakten Dokumentnamen oder dieselbe Formulierung verwenden. NOVA sucht auch nach inhaltlich passenden Textstellen. »Abwesenheit« kann allerdings ebenso eine Dienstreise oder eine andere Freistellung meinen. Je konkreter Ihre Frage ist, desto besser lässt sich die Suche eingrenzen.
Beim Einlesen gewinnt NOVA Text aus der Datei und teilt ihn in Abschnitte. Das Embedding-Modell berechnet dafür Vektoren. Der Suchindex hält sie zusammen mit den Texten und Metadaten bereit.
Wenn Sie eine Frage stellen, wird auch diese für denselben Suchraum aufbereitet. Die Suche ermittelt passende Abschnitte aus dem freigegebenen Wissen. Erst danach formuliert das Chatmodell daraus eine Antwort. Diese Verbindung aus Suche und Antwortgenerierung heißt RAG.
Eine ähnliche Bedeutung ist noch kein Beweis für einen richtigen Treffer. Die genannte Quelle zeigt Ihnen, ob tatsächlich der passende Antrag oder die gesuchte Regel gefunden wurde.
Prüfen Sie zuerst die Textgewinnung. Bei einem gescannten PDF muss die Texterkennung brauchbare Inhalte liefern. Wiederholte Kopfzeilen, vertauschte Spalten oder Tabellen ohne verständlichen Zusammenhang können die Suche erschweren.
Verwenden Sie möglichst eindeutige Dateinamen und halten Sie den Dokumentstand fest. Wenn alte und neue Fassungen gleichzeitig in einer Sammlung liegen, sollte klar sein, welche davon gilt.
Die Aufteilung in Abschnitte wird auch Chunking genannt. Ein Abschnitt sollte genügend Zusammenhang enthalten, um eine Frage beantworten zu können. Zu kleine Ausschnitte verlieren leicht die Überschrift oder eine wichtige Einschränkung. Sehr große Abschnitte enthalten dagegen oft viel, was zur Frage nichts beiträgt.
Eine Überlappung zwischen benachbarten Abschnitten kann helfen, Informationen an einer Abschnittsgrenze zu erhalten. Stimmen Sie Größe und Überlappung anhand Ihrer Unterlagen ab.
Das maximale Kontextfenster des Embedding-Modells ist eine Obergrenze. Es ist keine Empfehlung, jeden Abschnitt bis zu dieser Grenze zu füllen.
Die Illustration zeigt das Prinzip der Aufteilung: Eine Überschrift bleibt mit dem zugehörigen Absatz verbunden. So gehen beim Vorbereiten für die Suche wichtige Zusammenhänge nicht verloren.