(c) AdobeStock/bruno

Kein blindes Vertrauen in KI-basierte Entscheidungen

Können Unternehmen Künstlicher Intelligenz vertrauen? Forscher:innen am Softwaretechnik-Institut paluno der Universität Duisburg-Essen haben KI-Systeme entwickelt, die beim operativen Management von Geschäftsprozessen unterstützen. Das Besondere: Neben genauen Prognosen und Vorschlägen für Prozessanpassungen liefern die Systeme Erklärungen für ihre Ergebnisse.

Die Fähigkeit, in kürzester Zeit Zusammenhänge in großen Datenmengen zu identifizieren, macht Künstliche Intelligenz zu einem wertvollen Werkzeug zur Entscheidungsfindung. Das gilt auch für die beiden KI-Systeme, die das Team um die Professoren Andreas Metzger und Klaus Pohl für das Geschäftsprozessmanagement (BPM) entwickelt hat. Das eine System erlaubt sehr genaue Vorhersagen über den Verlauf von Geschäftsprozessen. Es kann beispielsweise in der Logistik helfen, drohende Verspätungen von Transportmitteln frühzeitig zu erkennen. Ein zweites KI-System erteilt Empfehlungen, ob und wann ein laufender Geschäftsprozess angepasst werden sollte. Wenn z.B. Störungen im Bahnverkehr vorhergesagt werden, kann das System zeigen, wann es kostengünstiger ist, den Transport von Bahnwaggons auf LKW umzudisponieren.

Doch die hohe Leistungsfähigkeit der KI für solche Arten der Entscheidungsunterstützung hat ihren Preis: Das Wissen, das die KI-Systeme durch maschinelles Lernen aufbauen, steckt tief in Abertausenden Verknüpfungen von künstlichen Neuronen eines neuronalen Netzes. Anwender:innen können daher nicht ohne Weiteres nachvollziehen, was die Systeme gelernt haben und ob die gelernten Verknüpfungen überhaupt sinnvoll sind. „Den Vorhersagen und Empfehlungen von KI-Systemen sollte man daher nicht blind vertrauen“, sagt Prof. Metzger. „Wir forschen daran, wie sich die KI-Systeme so gestalten lassen, dass sie ohne Einschränkungen in der Leitungsfähigkeit verständliche Erklärungen ihrer Ergebnisse liefern“.

Zwischenmenschliche Kommunikation als Vorbild

Das paluno-Team hat dazu Techniken entwickelt, die einen Einblick in das interne Verhalten der KI-Systeme ermöglichen. Die Entwicklung dieser Techniken knüpft an kognitionswissenschaftliche Erkenntnisse über menschliche Erklär- und Verstehensprozesse an. Berücksichtigt wurde zum einen die Tatsache, dass sich Menschen für kontrafaktische Zusammenhänge interessieren. Die computergenerierten Erklärungen geben dementsprechend an, welche anderen Eingaben in die KI zu einem anderen Ergebnis geführt hätten. Zum anderen sind die Erklärungen selektiv und fokussieren sich auf relevante Ereignisse im Lernprozess des KI-Systems.

Da sich Erklärungen häufig im Dialog entwickeln, arbeitet das Team aktuell an interaktiven Schnittstellen zwischen Mensch und KI-System. Konkret soll ein Chatbot ähnlich wie ChatGPT entwickelt werden, der Nutzer:innen Frage und Antwort steht, um die interne Funktionsweise der KI-Systeme verständlich zu machen.

Forschungsprojekte

Die Forschungsarbeiten erfolgten im Wesentlichen im Rahmen des kürzlich abgeschlossenen EU-Projektes DataPorts. Die entwickelten KI-Systeme wurden auf Basis einer Datenplattform entwickelt, welche Daten von Seehäfen geeignet integriert und aufbereitet. Die aktuellen Forschungsarbeiten erfolgen im aktuellen EU-Projekt DYNABIC. Hier werden KI-basierte Lösungen entwickelt, um Betreibern kritischer Infrastrukturen eine Entscheidungsunterstützung für die proaktive Anpassung aufgrund von Cyber-Attacken zu liefern.

Publikationen

A. Metzger, T. Kley, and A. Palm, “Triggering proactive business process adaptations via online reinforcement learning,” in 18th Int’l Conference on Business Process Management (BPM 2020), Sevilla, Spain (virtual), Springer, 2020.

T. Huang, A. Metzger, and K. Pohl, “Counterfactual Explanations for Predictive Business Process Monitoring,” in 18th European Mediterranean & Middle Eastern Conference on Information Systems (EMCIS 2021), December 8-9, 2021, Online, Springer LNBIP 437, pp. 399-413

F. Feit, A. Metzger, K. Pohl, „Explaining Online Reinforcement Learning Decisions of Self-Adaptive Systems“, in 3rd Int’l Conference on Autonomic Computing and Self-Organizing Systems (ACSOS 2022), IEEE, 2022, pp. 51-60

Kontakt

NameKontakt

Software Systems Engineering (SSE)

apl. Prof. Dr.-Ing. Andreas Metzger
+49 201 18-34650

Presse- und Öffentlichkeitsarbeit

Birgit Kremer
+49 201 18-34655

This project has received funding from the European Union research and innovation programme under grant agreements no. 871493 (DataPorts) and no. 101070455 (DYNABIC).