Hybride Suche: Was ist hybride Suche?

Hybride Suche kombiniert zwei Suchverfahren: die klassische Suche nach Stichwörtern und die Suche nach Bedeutung über Embeddings. So findet eine KI sowohl exakte Begriffe als auch sinngemäß passende Stellen.

Wenn ein Kunde Ihren Chatbot fragt „Wie lange hält der Akku vom Modell X200?“, muss die Suche zwei Dinge leisten. Sie muss verstehen, dass „hält“ hier Laufzeit meint. Und sie muss genau das Modell X200 finden, nicht das X210. Keines der beiden Verfahren schafft beides gleich gut. Zusammen klappt es meist.

Woher der Begriff stammt

Die Stichwortsuche ist Jahrzehnte alt. Ein verbreitetes Verfahren heißt BM25. Es bewertet, wie oft ein Suchbegriff in einem Text vorkommt und wie selten er insgesamt ist. Seltene Begriffe wie Produktnummern zählen dadurch stark.

Mit Embeddings kam die Suche nach Bedeutung dazu. Sie findet auch Texte, die andere Wörter verwenden, aber dasselbe meinen. In KI-Anwendungen galt sie lange als die modernere Lösung. In der Praxis zeigte sich aber, dass sie bei exakten Angaben schwächelt. Die Kombination beider Verfahren nennt man hybride Suche.

Was hybride Suche genau tut

Bei jeder Anfrage laufen zwei Suchen gleichzeitig:

Die Stichwortsuche findet Abschnitte, in denen die Wörter der Frage vorkommen.
Die Bedeutungssuche findet Abschnitte, deren Inhalt der Frage ähnelt, auch mit anderen Worten.

Danach werden beide Ergebnislisten zusammengeführt. Die Datenbank Weaviate beschreibt es so: Die hybride Suche verschmilzt die Ergebnisse einer Vektorsuche und einer Stichwortsuche. Eine Gewichtung legt fest, wie stark welches Verfahren zählt.

Anthropic hat die Wirkung 2024 gemessen. Die Kombination aus Bedeutungssuche und BM25 senkte den Anteil der Fälle, in denen die richtige Stelle nicht gefunden wurde, um 49 Prozent, jeweils mit einer zusätzlichen Aufbereitung der Abschnitte.

Abgrenzung zu ähnlichen Begriffen

Volltextsuche: Die normale Suchfunktion vieler Programme sucht nur nach Stichwörtern. Sie findet „Rechnung“, aber nicht „Beleg“, wenn nur das eine Wort im Text steht.

Vektordatenbank: Sie speichert Embeddings und ermöglicht die Bedeutungssuche. Viele Vektordatenbanken können inzwischen auch die Stichwortsuche und damit hybride Suche.

Reranking: Reranking sortiert die Ergebnisse nach der Suche noch einmal genauer. Hybride Suche verbessert die Suche selbst. Beide Schritte lassen sich kombinieren.

Was das für Ihr Unternehmen bedeutet

Hybride Suche lohnt sich fast immer, wenn Ihre Dokumente viele exakte Angaben enthalten. Das gilt für Produktkataloge, technische Unterlagen, Ersatzteillisten, Preislisten oder Verträge mit Paragrafen und Nummern.

Ein Zeichen, dass sie fehlt: Ihr Chatbot versteht allgemeine Fragen gut, findet aber bei konkreten Nummern oder Namen die falsche Stelle oder gar nichts. Dann liegt das Problem meist in der Suche, nicht im Sprachmodell selbst.

Wie wir die Suche in Chatbots für Firmenwissen aufbauen, zeigen wir auf der Seite zu KI-Chatbots.

Grenzen dessen, was man sicher weiß

Die richtige Gewichtung zwischen beiden Verfahren lässt sich nicht allgemein angeben. Sie hängt von Ihren Dokumenten und von der Art der Fragen ab. Die Messwerte von Anthropic stammen aus eigenen Tests mit bestimmten Datensätzen und gelten nicht automatisch für Ihre Daten.

Auch bei deutschen Texten gibt es Besonderheiten. Lange zusammengesetzte Wörter wie „Garantieverlängerung“ machen der Stichwortsuche zu schaffen, wenn der Nutzer „Verlängerung der Garantie“ schreibt. Ob die eingesetzte Suche damit gut umgeht, sollten Sie testen.

Häufig gestellte Fragen

Wann reicht die Suche nach Bedeutung allein nicht aus?

Vor allem bei exakten Angaben wie Artikelnummern, Fehlercodes, Namen oder Abkürzungen. Die Bedeutungssuche findet ähnliche Inhalte, kann aber eine Nummer wie „A-4711“ mit „A-4712“ verwechseln. Die Stichwortsuche findet genau die richtige.

Ist hybride Suche teurer?

Kaum. Die Stichwortsuche ist schnell und braucht wenig Rechenleistung. Der Mehraufwand liegt vor allem in der Einrichtung, weil zwei Suchindizes gepflegt werden müssen. Viele Datenbanken bieten beides inzwischen eingebaut an.

Wie werden die Ergebnisse der beiden Suchen zusammengeführt?

Meist über eine Gewichtung. Bei der Datenbank Weaviate legt ein Wert namens Alpha fest, wie stark die Bedeutungssuche gegenüber der Stichwortsuche zählt. Welche Gewichtung passt, zeigt sich im Test mit echten Fragen.

Hybride Suche