Projektbeschreibung

Das Projekt ROBOTWIN (Digital Twin of a Mobile Service Robot for Construction Sites) beschäftigt sich mit der Entwicklung eines Ansatzes, der es auch Personen ohne spezielle Robotikkenntnisse ermöglicht, mobile Roboter für Aufgaben auf Baustellen zu programmieren. Mithilfe eines fotorealistischen digitalen Zwillings und natürlichsprachlicher Interaktion sollen Arbeitsabläufe intuitiv spezifiziert und mithilfe KI-basierter Verfahren auf realen Robotern ausgeführt werden können. Ziel ist es, den Einsatz von Robotern auf dynamischen und unstrukturierten Baustellen flexibler und zugänglicher zu gestalten.

Eine zentrale Herausforderung besteht darin, natürlichsprachliche Anweisungen zuverlässig in ausführbare und physisch realisierbare Roboterpläne zu übersetzen. Gleichzeitig müssen die Roboter anspruchsvolle Aufgaben wie Maler- und Schleifarbeiten autonom und mit hoher Ausführungsqualität bewältigen. Dabei müssen beispielsweise beim Streichen Hindernisse wie Rahmen und Steckdosen berücksichtigt und ein gleichmäßiger Farbauftrag ohne Tropfen gewährleistet werden. Hinzu kommt die Herausforderung, die in der Simulation entwickelten Verfahren auf reale Baustellen zu übertragen, wo wechselnde Umgebungsbedingungen und unvorhergesehene Hindernisse die zuverlässige Ausführung erschweren.

ROBOTWIN verfolgt hierzu einen KI-basierten Ansatz zur Aufgaben- und Bewegungsplanung (Task and Motion Planning). Vision-Language-Action-Modelle (VLA) sollen natürlichsprachliche Anweisungen interpretieren und in ausführbare Roboterpläne überführen. Für die zuverlässige Ausführung einzelner Arbeitsschritte werden VLA-Modelle, Reinforcement Learning (RL) oder hybride Ansätze untersucht. Der Fokus liegt dabei nicht nur auf der erfolgreichen Durchführung der Aufgaben, sondern auch auf der Erreichung einer hohen Ausführungsqualität unter Berücksichtigung aufgabenspezifischer Anforderungen und Einschränkungen.

Ein weiterer Schwerpunkt ist die Übertragung der entwickelten Verfahren von der Simulation auf den realen Roboter (Sim-to-Real Transfer). Die entwickelten Methoden sollen auch unter den dynamischen und unstrukturierten Bedingungen realer Baustellen robust funktionieren. Während der digitale Zwilling und die semantische Repräsentation der Umgebung im Projekt durch die beteiligten Partner bearbeitet werden, konzentriert sich der Beitrag des KIT auf die KI-basierte Planung, die zuverlässige Ausführung der Bauaufgaben und die Überbrückung der Sim-to-Real-Lücke.

Damit soll ROBOTWIN den Zugang zu KI-gestützter Robotik im Bauwesen erleichtern und eine flexible, intuitive Programmierung mobiler Roboter für anspruchsvolle Baustellenaufgaben ermöglichen.