Forschungsprojekte
ITERATION
Individual Training obsERvation and AdapTION
Start: 12.2020
Ende: 08.2022
ITERATION verfolgt das Ziel, ein preiswertes, KI‑gestütztes Analyse‑Tool für Fitness‑ und Tanzübungen zu realisieren, das ausschließlich auf einer handelsüblichen Webcam und einem kompakten Edge‑Rechner (Nvidia Jetson Nano) basiert. Nach einer ersten Evaluierung verschiedener Pose‑Erkennungs‑Algorithmen (trt_pose, MoveNet, BlazePose) fiel die Wahl auf BlazePose, weil dieser bis zu 33 Gelenkpunkte in 3D aus einem 2D‑Bild rekonstruieren kann und damit wichtige Orientierungspunkte für Hände, Füße und den gesamten Körper liefert .
Der Software‑Stack umfasst Linux, TensorFlow, PyTorch und OpenCV. In einer zweistufigen Detektor‑Tracker‑Pipeline lokalisiert BlazePose zunächst die Region‑of‑Interest (ROI) der Person und schätzt anschließend die Gelenkpunkte. Auf Basis der Gelenkwinkel wird für jede Wiederholung die Range‑of‑Motion (RoM) berechnet; eine konstante RoM führt zu einem hohen Winkelscore, während starke Schwankungen auf Überlastung hinweisen. Analog wird die Kadenz (Zeit pro Wiederholung) bewertet, und die Position auf der FitterYOU‑Matte wird durch Abgleich der erkannten Hand‑ bzw. Fuß‑Koordinaten mit den markierten Zonen ermittelt. Jeder Subscore liefert einen Wert von 0–100, deren Mittelwert bildet den Gesamtscore, der in eine Ampel‑Anzeige (Rot < 75, Gelb < 90, Grün ≥ 90) übersetzt wird .
Für die Evaluation wurden 22 Probanden (7 Frauen, 15 Männer) an vier Teststationen über zwei Tagen beobachtet. Die Testpersonen führten jeweils 8 Wiederholungen der vier ausgewählten Übungen aus, wobei das System die Videoanalyse in etwa einer Sekunde nach Übungsende abschloss und sofort das Ampel‑Feedback anzeigte . Die Rohdaten lieferten neben den Pose‑Metriken auch Vitalparameter: Durch rPPG‑Analyse des Gesichts‑ROIs wurden die Herzfrequenz und HRV (AVNN, SDNN, RMSSD, LF/ HF‑Power etc.) ermittelt. Die Herzfrequenz korrelierte perfekt (r = 1) mit einem EKG‑Referenzsensor, während Low‑Frequency‑HRV‑Parameter ebenfalls hohe Korrelationen (p = 0,82–0,98) zeigten. Das Projekt demonstriert, dass eine Kombination aus KI‑Pose‑Erkennung, Echtzeit‑Feedback und kontaktloser HRV‑Messung ein praktikables, skalierbares System für die digitale Fitness‑Analyse liefert.
Der Software‑Stack umfasst Linux, TensorFlow, PyTorch und OpenCV. In einer zweistufigen Detektor‑Tracker‑Pipeline lokalisiert BlazePose zunächst die Region‑of‑Interest (ROI) der Person und schätzt anschließend die Gelenkpunkte. Auf Basis der Gelenkwinkel wird für jede Wiederholung die Range‑of‑Motion (RoM) berechnet; eine konstante RoM führt zu einem hohen Winkelscore, während starke Schwankungen auf Überlastung hinweisen. Analog wird die Kadenz (Zeit pro Wiederholung) bewertet, und die Position auf der FitterYOU‑Matte wird durch Abgleich der erkannten Hand‑ bzw. Fuß‑Koordinaten mit den markierten Zonen ermittelt. Jeder Subscore liefert einen Wert von 0–100, deren Mittelwert bildet den Gesamtscore, der in eine Ampel‑Anzeige (Rot < 75, Gelb < 90, Grün ≥ 90) übersetzt wird .
Für die Evaluation wurden 22 Probanden (7 Frauen, 15 Männer) an vier Teststationen über zwei Tagen beobachtet. Die Testpersonen führten jeweils 8 Wiederholungen der vier ausgewählten Übungen aus, wobei das System die Videoanalyse in etwa einer Sekunde nach Übungsende abschloss und sofort das Ampel‑Feedback anzeigte . Die Rohdaten lieferten neben den Pose‑Metriken auch Vitalparameter: Durch rPPG‑Analyse des Gesichts‑ROIs wurden die Herzfrequenz und HRV (AVNN, SDNN, RMSSD, LF/ HF‑Power etc.) ermittelt. Die Herzfrequenz korrelierte perfekt (r = 1) mit einem EKG‑Referenzsensor, während Low‑Frequency‑HRV‑Parameter ebenfalls hohe Korrelationen (p = 0,82–0,98) zeigten. Das Projekt demonstriert, dass eine Kombination aus KI‑Pose‑Erkennung, Echtzeit‑Feedback und kontaktloser HRV‑Messung ein praktikables, skalierbares System für die digitale Fitness‑Analyse liefert.
Rolle des FZI
Das FZI Forschungszentrum Informatik war von Projektbeginn an der zentrale Forschungspartner. Es wählte die Hardware‑Plattform (Nvidia Jetson Nano + Webcam) und richtete das Linux‑Betriebssystem samt aller notwendigen Bibliotheken (TensorFlow, PyTorch, OpenCV) ein . Das FZI führte die systematische Evaluation von Pose‑Erkennungs‑Algorithmen durch, traf die endgültige Entscheidung für BlazePose und implementierte die zweistufige Detektor‑Tracker‑Pipeline. Darüber hinaus entwickelte das FZI die Erweiterung zur Berechnung der Gelenkwinkel, integrierte die drei Subscore‑Module (Winkel, Kadenz, Matte‑Position) und realisierte das Ampel‑Feedback‑System.
Im Rahmen der Evaluation bereitstellte das FZI die beiden Teststationen, programmierte die Video‑Aufnahme‑ und Analyse‑Pipeline (≈ 1 s Verarbeitungszeit) und überwachte den gesamten Testablauf. Zudem implementierte das Institut die rPPG‑basierte Herz‑ und HRV‑Messung, optimierte den Face‑Alignment‑Algorithmus für 35–40 fps und führte die statistische Auswertung der Vitalparameter durch . Schließlich integrierte das FZI alle Teilkomponenten zu einer modularen Python‑Architektur, die eine einfache Anbindung an die bestehende FitterYOU‑App ermöglicht. Damit stellte das FZI die technische Basis, das algorithmische Know‑how und die Evaluationsinfrastruktur bereit, die das ITERATION‑System zu einem funktionsfähigen Prototypen machten.
Im Rahmen der Evaluation bereitstellte das FZI die beiden Teststationen, programmierte die Video‑Aufnahme‑ und Analyse‑Pipeline (≈ 1 s Verarbeitungszeit) und überwachte den gesamten Testablauf. Zudem implementierte das Institut die rPPG‑basierte Herz‑ und HRV‑Messung, optimierte den Face‑Alignment‑Algorithmus für 35–40 fps und führte die statistische Auswertung der Vitalparameter durch . Schließlich integrierte das FZI alle Teilkomponenten zu einer modularen Python‑Architektur, die eine einfache Anbindung an die bestehende FitterYOU‑App ermöglicht. Damit stellte das FZI die technische Basis, das algorithmische Know‑how und die Evaluationsinfrastruktur bereit, die das ITERATION‑System zu einem funktionsfähigen Prototypen machten.
Ansprechperson
Mitarbeiter
Bereich: Embedded Systems and Sensors Engineering
Hauptsitz Karlsruhe
Forschungsschwerpunkt
Applied Artificial Intelligence
Das Hauptaugenmerk des FZI in diesem Forschungsschwerpunkt liegt auf der praxisnahen Erforschung der Schlüsseltechnologie Künstliche Intelligenz (KI). Innovative KI-Lösungen werden entwickelt und für unserer Partner und Kunden in Anwendungsbereiche wie Mobilität, Robotik, Gesundheitstechnik, Logistik, Produktion sowie Ver- und Entsorgung transferiert.
Förderhinweis:
Das Projekt ITERATION wird vom Bundesministerium für Wirtschaft und Energie gefördert.
Projektpartner: