Projektbeschreibung

Das Projekt SNACE (Neuromorphic Sensing with Active Efficient Coding for Edge Computing) beschäftigt sich mit der Entwicklung adaptiver neuromorpher Sensorsysteme, die ihre Sensorik und Datenverarbeitung dynamisch an die jeweiligen Umgebungsbedingungen und Aufgaben anpassen. Ziel ist eine robuste, latenzarme und energieeffiziente Umgebungswahrnehmung auf ressourcenbeschränkten Edge-Systemen.

Eine zentrale Herausforderung besteht darin, zuverlässige Wahrnehmung trotz begrenzter Rechenressourcen, verrauschter und wechselnder Sensorsignale sowie fest eingestellter Sensorparameter zu ermöglichen. Insbesondere bei der multimodalen Wahrnehmung müssen unterschiedliche Informationsquellen effizient kombiniert und Zielkonflikte zwischen Wahrnehmungsleistung, Rechenaufwand und Energieverbrauch berücksichtigt werden.

SNACE verfolgt hierzu den Ansatz des Active Efficient Coding, bei dem die Sensorik und Verarbeitung adaptiv an die aktuelle Wahrnehmungsaufgabe angepasst werden. Dafür werden verschiedene neuromorphe Modalitäten kombiniert, darunter eine Event-Kamera, ein neuromorpher Hörsensor (Cochlea) und taktile Sensorik. Die multimodale Wahrnehmung und Entscheidungsfindung basiert auf Spiking Neural Networks (SNNs).

Die entwickelten Methoden werden auf dem vierbeinigen Roboter ANYmal D integriert und evaluiert. Als Anwendungsfall dient die adaptive Klassifikation von Untergründen, bei der die Kombination verschiedener sensorischer Informationsquellen eine effiziente und zuverlässige Wahrnehmung wechselnder Terrains ermöglichen soll.