Die Vorlesung Robotic Intelligence: Perception and Scene Understanding kombiniert moderne KI-basierte Methoden zur maschinellen Wahrnehmung mit den technischen Fähigkeiten, die für deren reale Anwendung in der Robotik erforderlich sind. Sie deckt die gesamte Wahrnehmungskette ab, von der Erfassung und Kalibrierung von Sensordaten bis hin zur Interpretation von Szenen und der Integration in Robotersysteme, wie z.B. mobile Laufroboter.
Die Studierenden werden zunächst die Grundlagen in maschinellem Lernen und Bildverarbeitung lernen, die z.B. die Bildklassifikation, Objekterkennung, Tracking und Segmentierung von Objekten in 2D und 3D abdeckt. Anschließend werden fortgeschrittene Deep-Learning-Architekturen betrachtet, darunter Vision Transformers, multimodale Wahrnehmungssysteme und End-To-End multimodale ML-Ansätze. Ein besonderer Schwerpunkt liegt auf Techniken zur Integration von Bildverarbeitung, Tiefenwahrnehmung und anderen Wahrnehmungsmodalitäten, die eine robuste Wahrnehmung in anspruchsvollen realen Umgebungen ermöglichen.
Ein wichtiger Teil des Kurses ist die praktische Gruppenarbeit im Machine Intelligence and Robotics Lab (MaiRo), in dem die Studierenden praktische Aufgaben mit echten Sensoren und Robotern lösen und dabei sowohl technische Kompetenzen als auch Team-Fähigkeiten zum Lösen komplexen Wahrnehmungsaufgaben für mobile Systeme entwickeln.

Die Themen umfassen:

• Grundlagen des maschinellen Lernens und der Bildverarbeitung für die Robotik
• Vision Transformer und aktuelle, komplexe Deep-Learning-Architekturen
• Objekterkennung, -verfolgung und -segmentierung (2D und 3D)
• Instanz-, semantische und panoptische Segmentierung
• Multimodale Erfassung, Fusion und End-to-End multimodale ML-Ansätze
• World Models und ihre Bedeutung und Anwendung in der Robotik
• Sensor-Modellierung, Kalibrierung und Integration in das Gesamtsystem

Am Ende des Kurses sind Studierenden in der Lage, intelligente robotische Systeme zur Wahrnehmung zu entwerfen, zu implementieren und zu integrieren, die es mobilen Systemen ermöglichen, komplexe, dynamische Umgebungen zu verstehen und darin möglichst autonom zu agieren.

Time and place see ILIAS