In der Praxis basiert die Eigenfertigungssteuerung häufig auf Expertenwissen, Heuristiken oder Modellen aus dem Bereich Operations-Research. WGP-Forschende aus Hannover wollen das auf Basis von Reinforcement Learning im Rahmen des Lieferkettenmodells HaLiMo ändern.
Dezember 2024 – Die digitale Transformation und der damit zusammenhängende Zugriff auf immer größere Datenmengen kann die Effizienz in der Produktion deutlich steigern, die Qualität verbessern und Kosten reduzieren. Mithilfe von Künstlicher Intelligenz (KI) werden diese Ziele bereits in diversen Unternehmensbereichen erreicht. Dennoch werden KI-Lösungen weiterhin intensiv erforscht, beispielsweise für die Produktionsplanung und -steuerung (PPS).
Das Hannoveraner Lieferkettenmodell (HaLiMo) aus dem WGP-Institut für Fabrikanlagen und Logistik (IFA) strukturiert die Aufgaben und Prozesse der Produktionsplanung und -steuerung anhand ihres zeitlichen und logischen Ablaufs (vgl. Abbildung 1). In dessen Rahmen lassen sich verschiedene Anwendungsbereiche von KI-Lösungen identifizieren, im Folgenden geht es um Steuerung einer Eigenfertigung. Im Fokus steht dabei der Einsatz eines Reinforcement-Learning-Agenten (RL-Agent), der die Aufgaben der Auftragserzeugung, -freigabe und Reihenfolgebildung im Produktionsprozess übernimmt.
Abb. 1: Hannoveraner Lieferkettenmodell (www.halimo.education) | Quelle: IFA Hannover
Ein RL-Agent reduziert die Komplexität
Im Zuge der Eigenfertigungssteuerung werden Produktionsaufträge eingelastet und während des Produktionsprozesses gesteuert. Das primäre Ziel besteht in der Abarbeitung der Aufträge gemäß dem vorliegenden Produktionsplan. Da hierfür störungsbedingte Änderungen berücksichtigt werden müssen, wird die Steuerung schnell zu einer komplexen operativen Aufgabe.
Um diese zu lösen, müssen die Aufträge nach einer einheitlichen Logik freigegeben und in eine sinnvolle Reihenfolge gebracht werden. In der Praxis etablierte Verfahren basieren vielfach auf Expertenwissen, Heuristiken oder Modellen aus dem Bereich Operations-Research. KI stellt darüber hinaus eine Vielzahl von Methoden bereit, um der beschriebenen Komplexität entgegenzuwirken. Dabei handelt es sich u. a. um eine Methode aus dem Bereich des maschinellen Lernens, bei der ein intelligenter Agent durch Interaktionen gemäß dem Trial-and-Error-Prinzip lernt, sequentielle Entscheidungen zu treffen. Mithilfe des Q-Learnings, einer Methode aus dem Bereich RL, kann der Agent unter Berücksichtigung diverser Restriktionen zu einer ganzheitlichen Eigenfertigungssteuerung trainiert werden. Die Ergebnisse erster Analysen stützen die These, dass neuartige Ansätze in der Lage sind, Anforderungen besser zu erfüllen als etablierte Standards. Damit einhergehend dürfte auch die logistische Leistungsfähigkeit der Steuerung verbessert werden.
Anwendungsbeispiel Modellhubschrauber
Die IFA-Lernfabrik ist eine vielseitige und innovative Lernumgebung, die sowohl in der Forschung als auch in der Ausbildung von Studierenden, Fach- und Führungskräften eingesetzt wird. Es wird ein Modellhubschrauber aus Metall in realen Produktions- und Montageprozessen produziert. In der Vorfertigung werden die Bauteile des Hubschraubers hergestellt. In der Hubschraubermontage werden die verschiedenen Komponenten dann zum fertigen Produkt zusammengefügt. Diese Zusammenhänge werden zur Realisierung des RL-Agenten in einer Simulation abgebildet, indem u.a. die Materialflüsse durch die Arbeitspläne, die Arbeitssysteme sowie die Produkte selbst abgebildet werden (Environment). Anschließend wird der RL-Agent implementiert, wobei im Falle des Q-Learnings bei jedem Durchlauf der Simulation eine Q-Tabelle erstellt bzw. angepasst wird. Diese Tabelle ermöglicht es dem Agenten, seine strategischen Entscheidungen (Action) kontinuierlich anzupassen. In der Q-Tabelle speichert der Agent für jeden Zustand (State) der Simulation die Belohnung oder Bestrafung (Reward), die er für jede getroffene Entscheidung erhält. Durch wiederholte Durchläufe der Simulation lernt der Agent, welche Entscheidungen in welchen Zuständen unter Berücksichtigung der jeweiligen Belohnungen und Bestrafungen optimal sind und verfeinert seine Strategie entsprechend. Dieser Zusammenhang ist in Abbildung 2 schematisch dargestellt.
Abb. 2: Reinforcement Learning – Eine schematische Darstellung | Quelle: IFA Hannover
Lernprozess entspricht Entstdigitalem Schatten
Nachdem der Lernprozess des Agenten abgeschlossen ist, was durch eine Abflachung der Lernkurve sichtbar wird, kann das Wissen des Agenten in Form der Q-Tabelle auf den realen Prozess in der IFA-Lernfabrik angewendet werden. Auf diese Weise wurde ein digitaler Schatten der IFA-Lernfabrik geschaffen. Folglich lässt sich festhalten, dass sich der digitale Schatten aus dem Zusammenspiel des Agenten und der simulierten Umgebung ergibt. In Konsequenz lässt sich folgern, dass der gesamte Lernprozess als die Entstehung des digitalen Schattens bezeichnet werden kann. Die Erkenntnisse aus der Entwicklung des RL-Agenten für die IFA-Lernfabrik sollen im nächsten Schritt auf die Innovation des Sonderforschungsbereichs Tailored Forming (SFB 1153) adaptiert und angewendet werden, indem das Environment (Produkte, Maschinen, Arbeitspläne etc.) angepasst und durch ein neues Training des Agenten ein neuer Q-Table für den spezifischen Anwendungsfall erzeugt wird. Anfang des kommenden Jahres, spätestens aber zu Beginn des zweiten Quartals 2025, so Projektleiter Jonas Schneider, stehe dann die neue KI-gestützte Tailored-Forming-Technologie Unternehmen zur Verfügung.
Förderer
Bayerisches Deutsche Forschungsgemeinschaft (DFG) – SFB 1153 – 252662854
Ansprechpartner
Institut für Fabrikanalagen und Logistik (IFA)
Leibniz Universität Hannover
Prof. Peter Nyhuis
Stellvertretende Geschäftsführung
Tel.: +49 511 762 3390
E-Mail: nyhuis@ifa.uni-hannover.de
Prof. Matthias Schmidt
Geschäftsführende Leitung
Tel.: +49 511 762 13402
E-Mail: schmidt@ifa.uni-hannover.de
Downloads:
IFA-Lernfabrik (http://www.ifa-lernfabrik.de/) | Quelle: IFA Hannover
Hannoveraner Lieferkettenmodell (www.halimo.education) | Quelle: IFA Hannover
Reinforcement Learning – Eine schematische Darstellung | Quelle: IFA Hannover
Weiterbildung in PPS im Zeitalter von Industrie 4.0
Mehr Informationen zu PPS
Mehr Informationen zu KI