
Im KI-Projekt «RAG für ZAS» hat das SWA zusammen mit einem Team der ZHAW eine KI-Suche implementiert. RAG steht für Retrieval-Augmented Gene-ration und ZAS für die digitalen Zeitungs ausschnitte des SWA.
Bei RAG wird ein breit trainiertes Sprachmodell verwendet, welches mit einer eigenen Wissensbasis kombiniert wird. Damit soll die Qualität der Antworten verbessert werden. In unserem Fall wurde ein Sprachmodell mit einer Selektion digitaler Zeitungsausschnitte des SWA verbunden. So konnte man Fragen in Umgangssprache an die Zeitungsartikel stellen und erhielt ausformulierte Antworten zurück. Zudem präsentiert das System Zeitungsartikel, welche die Antwort belegen.
Unsere Auswahl bestand aus ca. 10'000 Artikeln zur Fluggesellschaft Swissair. Diesem Set von Zeitungsartikeln wurden Fragen gestellt und es wurde geprüft, ob die Antworten korrekt sind. Die Fragen wiesen unterschiedliche Schwierigkeits-grade auf: von einfachen Fragen über Fragen mit Bedingungen oder Vergleichsfragen bis zu Fragen mit falschen Voraussetzungen etc. Wir stellten Fragen wie: Aus welchen Fluggesellschaften entstand die Swissair? Wann war das Swissair Grounding? Wann feiert die Swissair ihr dreihundertjähriges Bestehen? Die letzte Frage geht von einer falschen Voraussetzung aus, denn die Swissair wurde im Alter von 71 Jahren liquidiert. Für eine KI ist die Antwort nicht einfach. Sie muss die Jahre der Gründung und der Liquidation kennen, dann das Alter errechnen und realisieren, dass dies kleiner ist als 300 Jahre. Wenn sie dies nicht kann, muss sie mindestens fähig sein, mitzuteilen, dass sie die Frage nicht beantworten kann. Wir stellten fest, dass die Antwortgenauigkeit mit den verwendeten Sprachmodellen bei gegen 70% liegt. Es ging uns bei dem Projekt nicht darum, eine neue Suchmöglichkeit zur Verfügung zu stellen. Sondern darum, unsere KI-Kompetenz zu steigern, die Grenzen solcher Systeme auszuloten und zu lernen, was für unsere Nutzer*innen gewinnbringende Anwendungen sein könnten.