Elektronische Augen und Künstliche Intelligenz (KI) ermöglichen bereits heute automatische Türwächter und Wohnräume, die über das Wohl ihrer Bewohner*innen wachen. Dabei kann die Privatsphäre der Menschen gewahrt werden, indem die Videodaten direkt im Sensor verarbeitet werden (sogenannte „eingebettete KI“). Vor allem komplexe Anwendungen mit konventioneller KI haben jedoch einen Bedarf an Rechenleistung, der in eingebetteten Hardware-Lösungen einen zu hohen Stromverbrauch, Probleme mit der Abwärme und hohe Herstellungskosten verursacht. Eine Echtzeitverarbeitung in Anwendungen zur Erkennung von Aktivitäten mit zeitlichem Kontext ist daher in vielen Fällen mit eingebetteter KI nicht möglich.

Als Anwendung wird ein System betrachtet, welches kritische Situationen wie etwa Bewegungslosigkeit, Inaktivität und Stürze in Wohnräumen erkennt und im Notfall mit einer Alarmnachricht an Pflegekräfte oder Angehörige reagieren kann. Der Projektpartner Inferics bietet hierfür mit PatronuSens aktuell eine Lösung basierend auf klassischen Kameras an. Im Projekt sollen als Lösungsansatz anstatt klassischer Kameras sogenannte Event-basierte Kameras verwendet werden, welche nur Änderungen über die Zeit als kontinuierlichen Datenstrom ausgeben. Durch dieses Funktionsprinzip entsteht eine inhärente Filterung des beobachteten Bereichs, wobei “Uninteressantes” ignoriert wird und nur Bildbereiche mit Aktivität ausgegeben werden. Abseits des Umstands, dass solche Event-Kameras alleine schon weniger Energie benötigen als ihre klassischen Gegenstücke, wird durch diese Filterung auch die Menge an Daten reduziert, die ein nachfolgender KI-Algorithmus verarbeiten muss. Das Ziel dieses Vorhabens ist es, zu untersuchen, wie solche Event-basierten Kameras in ein bestehendes Bildverarbeitungssystem integriert werden können, welche Systemkomponenten hierfür angepasst werden müssen und welche Vorteile ihr Einsatz tatsächlich bringt.

Das FZI forscht im Rahmen des Projekts insbesondere an gepulsten neuronalen Netzen (eng. Spiking Neural Networks, SNN) und deren Einsatz in realen Anwendungsszenarien. Zu diesem Zweck werden aktuelle Fortschritte in Neuromorphic Computing untersucht, die derzeit verfügbaren eventbasierten Kameras evaluiert und neuromorphe KI-Algorithmen entwickelt.