Forschungsprojekte des Lehrstuhls Dialog Systems and Machine Learning
DYMO - Dynamic Dialogue Modelling
Ein ERC Starting Grant verliehen durch das European Research Council
Die Dialogsysteme, die derzeit sowohl im akademischen Bereich als auch in der Industrie eingesetzt werden, sind in der Regel für einen festen Geltungsbereich konzipiert und erfordern bei jeder Änderung der Domäne einen neuen Datensatz. End-to-End-Methoden, die versuchen dieses Problem direkt mit Open-Domain-Chat-Bots zu lösen, sind weit davon entfernt, wettbewerbsfähige Ergebnisse bei zielorientierten Aufgaben zu erreichen. Das Ziel dieses Projekts ist es, die größten Hindernisse auf dem Weg zu intelligenten Konversationssystemen anzugehen, die sich dynamisch erweitern können und die Probleme der Arbeit mit dynamischem Wissen, dynamischen Strategien, reichhaltigen Benutzermodellen und anspruchsvollen Qualitätsmaßstäben umfassen.
- Dauer: 01.09.2019 - 31.01.2026
- Wert: 1.5 Mio. Euro
- Personen: Prof. Dr. Milica Gasic, Dr. Christian Geishauser, Dr. Hsien-Chin Lin, Dr. Benjamin Ruppik und Renato Vukovic
Trustworthy Integration of Large Language Models in Human-Computer Interactive Systems
Lamarr Fellow Network Ramp up - Ein Projekt gefördert durch das Ministerium für Kultur und Wissenschaft des Landes NRW
Große Sprachmodelle erzielen beeindruckende Ergebnisse in der gesamten Bandbreite der Computerlinguistik. Ihr Erfolg basiert auf einer innovativen Kombination dreier Mechanismen: einem Transformer-Netzwerk, prompt-basiertem Lernen und verstärkendem Lernen durch menschliches Feedback. So beeindruckend die Fähigkeiten dieser Sprachmodelle sind, so vielfältig sind auch die Probleme, die sie mit sich bringen.
Große Sprachmodelle müssen auf riesige Datensätze trainiert werden. Der Zugriff auf die Modelle ist kosten- und zeitintensiv. Ihre Ausgaben umfassen irreführende Inhalte ohne ersichtlichen Bezug auf die Trainingsdaten. Es gibt keine Anhaltspunkte für die Verlässlichkeit der Ausgaben. Den Modellen fehlt die Fähigkeit, externes Wissen nahtlos in ihre Ausgaben einzuarbeiten.
Große Sprachmodelle sind demnach kein Ersatz für herkömmliche Mensch-Computer-Schnittstellen. Sie haben aber das Potenzial, die Qualität und Benutzerfreundlichkeit derartigen Schnittstellen auf eine ganz neue Ebene zu heben. Die zentrale Frage, die wir im Rahmen dieses Projekts verwalten möchten, lautet: Wie und wo ist es zielführend und verantwortbar, große Sprachmodelle in ein interaktives Mensch-Computer-Dialogsystem zu integrieren? Das Projekt liegt somit an der Schnittstelle von auf den Menschen ausgerichteter künstlicher Intelligenz, vertrauenswürdiger künstlicher Intelligenz und linguistischer Datenverarbeitung.
- Dauer: 01.04.2024 – 31.03.2028
- Wert: 599.222,14 Euro
- Personen: Prof. Dr. Milica Gasic, Dr. Carel van Niekerk und Dr. Hsien-Chin Lin
Curriculum-lernen in natürlichsprachlicher Generierung
Ein Projekt gefördert durch die Deutsche Forschungsgemeinschaft (DFG)
Neueste Natural-Language-Generation-Modelle (NLG) lösen die Aufgabe der Spracherzeugung durch Vorhersagen des nächsten Tokens: Gegeben ist eine Folge von Token, z.B. Wörtern, was ist das wahrscheinlichste nächste Token? Die einfache Problemformulierung, in Verbindung mit einer großen Menge an unbeschrifteten Daten, die für das Training zur Verfügung stehen, ermöglichen es, große und leistungsfähige Systeme zu bilden, was zum heutigen KI-Boom geführt hat. Die Ergebnisse sind beeindruckend in Bezug auf die Natürlichkeit und Grammatikalität der generierten Ausgaben, was zur breiten Adoption für Anwendungen für die breite Öffentlichkeit geführt hat. Die große Menge an Wissen, die von neuronalen Sprachmodellen erlernt wird, hat jedoch ihren Preis: Dieser äußert sich in Form von Halluzinationen, d. h. der Generierung von Ausgaben, die auf der Grundlage von Wissen aus der realen Welt unwahr oder in Anbetracht der Intention des Nutzers unpassend sind. Es ist besonders schwierig festzustellen, woher dieses Problem stammt, da NLG-Modelle auf riesigen Datensätzen trainiert werden. Die Erkennung und Minderung von Halluzinationen wird ein immer wichtigeres und dringlicheres Thema im Bereich der natürlichen Sprachverarbeitung (NLP), da Sprachmodelle von Millionen von Nutzern weltweit verwendet werden und diese sich auf sie verlassen.
Ziel dieses Projekts ist es, die Ursprünge von Halluzinationen besser zu verstehen und schließlich deren Ausmaß und Schweregrad in der Ausgabe von NLG-Modellen zu verringern.
- Laufzeit: 01.08.2025 – 31.07.2028
- Wert: 361.852 Euro
- Personen: Prof. Dr. Milica Gasic, TBA
Towards Intelligent Dialogue Systems
Ein Sofja Kovalevskaja-Preis der Alexander von Humboldt-Stiftung
Ein Mensch kann ein Buch lesen und augenblicklich darüber sprechen, was er oder sie gelesen hat. Maschinen hingegen sind sehr gut darin, große Mengen an Informationen zu speichern, aber nicht so gut darin, diese Informationen auf eine natürliche und menschenähnliche Weise mit Menschen zu teilen. Die Frage, die wir zu beantworten versuchen, ist wie wir das Wissen von Dialogsystemen mit nicht-dialogischen, unstrukturierten Daten anreichern können, und was die geeignete Dialogsystemarchitektur und die Funktionen sind, die dafür erforderlich sind.
- Dauer: 01.12.2018 – 31.01.2025
- Wert: 1.65 Mio. Euro
- Personen: Prof. Dr. Milica Gasic, Dr. Michael Heck, Dr. Nurul Lubis, Dr. Carel van Niekerk, Dr. Benjamin Ruppik und Shutong Feng