Technologien der Künstlichen Intelligenz (KI) werden erwachsen. Besonders im Bereich des Maschinellen Lernens (ML) werden große Fortschritte erzielt und ML-Komponenten kommen zunehmend in softwareintensiven Systemen zum Einsatz. Damit gewinnen die Systeme die Fähigkeit, aus Fehlverhalten zu lernen, Prognosen für zukünftige Ereignisse zu erstellen und sich an Veränderungen ihrer Umgebung anzupassen. Viele Anwendungen in Logistik, Verkehr, Produktion oder Medizin können – ein verantwortliches Engineering vorausgesetzt – davon profitieren. Wir haben mit Klaus Pohl über das wechselseitige Verhältnis von Software Engineering und KI gesprochen.

paluno: Welche Aspekte der KI interessieren Sie und Ihre Forschergruppe besonders?

Pohl: Unser Forschungsschwerpunkt ist das Engineering von softwareintensiven Systemen. Software ist heutzutage fast immer der Treiber für Innovationen.In Bezug auf KI interessiert uns insbesondere, wie Ansätze des Maschinellen Lernens eingesetzt werden können, um die Entwicklung und den Betrieb softwareintensiver Systeme zu verbessern und Innovationen zu ermöglichen.

Wir haben beispielsweise untersucht, wie mit Hilfe von ML-Algorithmen die Entwicklung von selbstadaptiven Systemen verbessert werden kann. Diese Systeme können sich, zum Teil vollständig automatisiert, an wechselnde Umgebungssituationen anpassen. Zum Zeitpunkt der Entwicklung ist es allerdings für die Ingenieure unmöglich, alle zukünftigen Umgebungssituationen vorherzusehen. Daher setzen wir auf Maschinelle Lernverfahren. Damit können die Systeme aus aufgetretenen Umgebungssituationen lernen, welche Art der Anpassung in welcher Situation am besten funktioniert. Das heißt, die Adaptionslogik des Systems entwickelt sich kontinuierlich während ihrer Ausführung weiter. In dem EU-Projekt ENACT untersuchen wir beispielsweise den Einsatz von Algorithmen des Bestärkenden Lernens für selbstadaptive IoT-Systeme.

Gibt es weitere Beispiele für den Einsatz von Maschinellen Lernverfahren, an denen Sie forschen?

KI-Komponenten werden häufig für die Prognose von zukünftigen Prozessverläufen beziehungsweise zukünftigen Ereignissen angewendet. Im EU-Projekt DataPorts entwickeln wir mit unseren Partnern eine Datenplattform für europäische Seehäfen. Hier werden beispielsweise mit Hilfe von geeigneten Verfahren des Maschinellen Lernens präzise, vorausschauende Handlungsempfehlungen für Disponenten berechnet. Ein Disponent erhält etwa – basierend auf der Erfahrung der Systeme – präzise Prognosen, ob es bei einem Hochseecontainer zu Verzögerungen im Logistikprozess kommt und ob ein Eingriff in den laufenden Prozess sinnvoll ist. Mit Hilfe der Prognosen kann er proaktiv auf mögliche Verzögerungen reagieren und diese gegebenenfalls vermeiden.

Mit welchem ML-Ansatz erzielen Sie eine hohe Präzision der Prognosen?

Unser Team nutzt hierzu Ensemble-Deep-Learning-Verfahren. Bei diesem ML-Ansatz werden die Prognosen verschiedener neuronaler Netze kombiniert. Dies ermöglicht eine sehr hohe Prognosegenauigkeit, da sich Stärken der neuronalen Netze ergänzen und Schwächen einzelner Netze neutralisieren lassen. Die Ensembles liefern zudem gute Schätzungen über die Genauigkeit der Prognosen und bieten hiermit eine Entscheidungsunterstützung für den Disponenten.

Endanwender müssen verstehen können, wie die Algorithmen zu ihren Entscheidungen gekommen sind.

Prof. Dr. Klaus Pohl

Gibt es Aspekte des Maschinellen Lernens, die Sie kritisch sehen?

Der „Black-Box“-Charakter vieler Verfahren birgt ein großes Problem. Experten, aber auch Endanwender müssen verstehen können, wie die Algorithmen zu ihren Entscheidungen gekommen sind. Betrachten wir das Beispiel Hafen: Der Disponent muss wissen, welche Faktoren ausschlaggebend für bestimmte Prognosen waren, bevor er auf diese reagiert. Wenn es zu Lieferverzögerungen kommt, weil die KI-Komponenten fehlerhaften Prognosen geliefert haben, kann das für ein Unternehmen gravierende Folgen haben – sprich, sehr teuer werden. Die Nachvollziehbarkeit von KI-Ergebnissen ist heute oft nicht gegeben. Wenn wir das einfach hinnehmen, laufen wir Gefahr, uns auf nicht belastbare Antworten zu verlassen.

Welche Fehler könnten durch intransparente ML-Verfahren passieren?

Eine Lernkomponente kann durchaus falsche Schlüsse aus Trainingsdaten ziehen - beispielsweise durch Berücksichtigung von nicht relevanten Eigenschaften der Trainingsdaten für eine Klassifikation von Objekten. Dieses Phänomen wurde in den letzten Jahren häufig nachgewiesen: Vermeintlich fortschrittliche Objekterkennungsverfahren haben zum Beispiel in Bildern enthaltene Objekte vorwiegend anhand des Hintergrunds klassifiziert. Ein Algorithmus, der Bilder der Kategorie „Schiff“ zuordnet, weil viel Wasser im Bild zu sehen ist und Bilder als „Zug“ klassifiziert, weil Schienen vorhanden sind, kann nicht wirklich Schiffe von Zügen unterscheiden. Das Verfahren ist einfach statistisch erfolgreich, löst aber nicht die eigentliche Klassifikationsaufgabe. Solche Fehler dürfen, da wo es gefährlich oder teuer werden kann, nicht passieren.

Wenn wir bei den Prognosemodellen bleiben. Wie kann man für den Anwender nachvollziehbar machen, auf welchen Zusammenhängen die Prognosemodelle basieren?

Hier gibt es grundsätzlich zwei Möglichkeiten: Entweder werden die Prognosemodelle selbst so transparent gestaltet, dass Endanwender verstehen können, wie die Prognoseergebnisse zustande kommen. Diese Modelle müssen sehr einfach bleiben, um verständlich zu sein und können daher keine beliebig komplexen Zusammenhänge in den Daten abbilden. Dieser Ansatz ist zur Zeit fast immer mit einer geringeren Prognosegenauigkeit verbunden. Ein einfaches Modell wäre zum Beispiel ein lineares Regressionsmodell, das den Zusammenhang der Eingabedaten zu den Prognosen als lineare Funktion repräsentiert. Damit lassen sich aber keine Wechselwirkungen zwischen den Eingabedaten repräsentieren und somit keine komplexeren Zusammenhänge darstellen. Aktuell gilt fast immer: je besser die Prognoseergebnisse, desto weniger transparent sind die Prognosemodelle und -algorithmen.

Die andere Möglichkeit: Es werden zusätzlich zu den eigentlichen Prognosemodellen einfachere Modelle für die Erklärung der Prognosen verwendet. Die eigentlichen Prognoseergebnisse werden nach wie vor aus den komplexeren, besseren Prognosemodellen gewonnen. Die Erklärungen der Prognoseergebnisse für den Endanwender erfolgt aber unter Verwendung der einfacheren Modelle, beispielsweise indem die Ergebnisse sowie deren Haupteinflussfaktoren vereinfacht und verständlich visualisiert werden.

Das [...] Wissen über das Engineering und den Betrieb der Systeme müssen wir geeignet für softwareintensive Systeme mit KI-Komponenten erweitern.

Prof. Dr. Klaus Pohl

Welchen Beitrag kann die Softwaretechnik außerdem leisten, um KI-basierte Softwaresysteme sicherer und robuster zu machen?

Wir müssen sicherstellen, dass KI-basierte softwareintensive Systeme – wie alle anderen Systeme – jederzeit bestimmte Qualitätsanforderungen erfüllen. Dazu müssen wir die Systeme einschließlich der Lernverfahren als Ganzes betrachten. Nur so können wir ungewollte Effekte erkennen und gewährleisten, dass Anforderungen, trotz automatisierten Lernens, zu jeder Zeit erfüllt bleiben. Dies kann beispielsweise durch geeignete Kapselung der Lern-Komponenten erfolgen, unterstützt von der Überprüfung möglicher Anpassungsauswirkungen während der Systemausführung – und zwar, bevor die Anpassung durchgeführt wird.

Bei paluno erforschen und validieren wir seit vielen Jahren Entwicklungsmethoden und Technologien für komplexe softwareintensive Systeme und Systemfamilien. Das hierdurch gewonnene Wissen über das Engineering und den Betrieb der Systeme müssen wir geeignet für softwareintensive Systeme mit KI-Komponenten erweitern. Denn nur als Teil eines sicheren, zuverlässigen Softwaresystems kann Maschinelles Lernen sein volles Potential entfalten.