Forschungsprojekte

HELIA
„Erklärt, programmiert, gemacht!“ – Helfender Roboter im Klinikalltag
Start: 10.2025
Ende: 09.2028

Hoher Zeitdruck, komplexe Versorgungsaufgaben und zunehmender Personalmangel prägen den Klinikalltag medizinischer Fachpersonen. Genau hier setzt HELIA an: Ein intelligenter Roboter soll das Klinikpersonal künftig bei der Erstanamnese, der Aufnahmeuntersuchung und in der Patientenversorgung unterstützen. Mithilfe des neu entwickelten „Erklärt-Programmiert-Gemacht!“-Systems verbindet das Projekt Sprachverarbeitung, Robotik und medizinische Versorgung. Der Roboter lässt sich allein durch gesprochene Anweisungen flexibel einsetzen – ganz ohne technisches Vorwissen. So können Abläufe wie der Patiententransport oder andere Routineaufgaben effizient digitalisiert und das Personal spürbar entlastet werden. Perspektivisch eröffnet die Technologie neue Einsatzmöglichkeiten in Krankenhäusern, der häuslichen Pflege und im Rettungsdienst.
Das Robotersystem HELIA unterstützt bedarfsorientiert die Patientenversorgung im klinischen Alltag, indem es vom medizinischen Fachpersonal selbst in natürlicher Sprache programmiert wird. Der Roboter erstellt einen semantischen 3D-Szenengraphen der Umgebung (VLM) und nutzt eine Kombination aus aktuellen Foundation Models (LLMs), um aus den sprachlichen Eingaben automatisch sogenannte Template-Programme zu generieren (No-Code-Ansatz). Die LLMs müssen jedoch zuvor nachtrainiert werden, um die Semantik der Umgebung, die medizinische Fachsprache, die Sensordaten sowie die verfügbaren Fähigkeiten des Roboters berücksichtigen zu können [„Erklärt“]. Die Template-Programme werden gespeichert und können von allen Personen im Alltag einfach wiederverwendet werden [„Programmiert“]. Durch natürlichsprachliche Anweisungen und unter Berücksichtigung der Sensordaten kann der Roboter dann live und somit auch in hektischen, dynamischen Umgebungen selbstständig Aufgaben übernehmen. Das HELIA-System kann diese dann situationsangepasst autonom ausführen und somit das Team in der Klinik effektiv unterstützen und entlasten [„Gemacht!“].
Rolle des FZI
Das FZI Forschungszentrum Informatik übernimmt im Projekt HELIA eine zentrale Rolle als Forschungs- und Entwicklungspartner für die intelligenten Kerntechnologien des robotischen Assistenzsystems. Seine Hauptverantwortung liegt in der Konzeption, Entwicklung und Integration KI-basierter Verfahren, die eine intuitive, sichere und praxistaugliche Nutzung des Roboters im klinischen Alltag ermöglichen.

Ein Schwerpunkt des FZI ist die KI-gestützte Bild- und Sensorverarbeitung. Hier werden Algorithmen zur automatischen Erkennung und Segmentierung von Körperregionen sowie relevanter Hautstellen entwickelt. Dazu wählt und integriert das FZI geeignete Kamera- und Sensorsysteme, trainiert entsprechende Machine-Learning-Modelle und stellt deren zuverlässige Einbindung in die robotische Plattform sicher.

Darüber hinaus verantwortet das FZI die natürliche Sprachverarbeitung im Projekt. Es entwickelt ein System zur Verarbeitung natürlichsprachlicher Eingaben, das die Informationen erkennt und korrekt interpretiert. In diesem Kontext werden große Sprachmodelle (LLMs) recherchiert, trainiert, getestet und für den medizinischen Einsatz optimiert. Ziel ist es, Spracheingaben des Fachpersonals in ausführbare Roboterprogramme zu übersetzen und damit einen No-Code-Programmieransatz zu realisieren. Ergänzend entwickelt das FZI ein interaktives Dialogsystem, das Unsicherheiten erkennt und durch gezielte Rückfragen auflöst.

Im Bereich Systemintegration und Robotik entwickelt das FZI Schnittstellen zwischen Robotersystem, Backend und Sensorik und achtet dabei auf eine modulare, skalierbare und sichere Architektur. Zusätzlich unterstützt es das Datenmanagement, die Speicherung von Programmen sowie die Interoperabilität mit bestehenden medizinischen IT-Systemen.

Neben den technischen Aufgaben ist das FZI auch in Usability-Evaluation, Nutzertests, ethische Reflexion, Projektkommunikation und Wissenstransfer eingebunden. Es analysiert Testergebnisse, leitet Optimierungspotenziale ab und bringt seine Expertise zu Datenschutz, Fairness und Akzeptanz von KI-Systemen ein. Damit trägt das FZI maßgeblich dazu bei, dass HELIA technisch leistungsfähig, nutzerorientiert und verantwortungsvoll im klinischen Umfeld eingesetzt werden kann.

Ansprechperson
Mitarbeiter
Bereich: Embedded Systems and Sensors Engineering
Hauptsitz Karlsruhe

Forschungsschwerpunkt
Applied Artificial Intelligence

Das Hauptaugenmerk des FZI in diesem Forschungsschwerpunkt liegt auf der praxisnahen Erforschung der Schlüsseltechnologie Künstliche Intelligenz (KI). Innovative KI-Lösungen werden entwickelt und für unserer Partner und Kunden in Anwendungsbereiche wie Mobilität, Robotik, Gesundheitstechnik, Logistik, Produktion sowie Ver- und Entsorgung transferiert.

Förderhinweis:
Das Projekt HELIA wird vom Bundesministerium für Forschung, Technologie und Raumfahrt gefördert.

Go to Top