Wichtige Details

Verbesserte Schätzung der Körperhaltung und Fehlererkennung durch 64%.

Kunde

Der Kunde ist ein US-amerikanisches Startup-Unternehmen, das sich auf die Erkennung menschlicher Aktivitäten und Bewegungsanalysen spezialisiert hat.
Sie haben eine mobile Gesundheits-App entwickelt, um die Bewegungen des menschlichen Körpers während des Trainings und der Physiotherapie zu erfassen und zu bewerten. Die App ist mit Tracking-Tools ausgestattet, die den Nutzern helfen, auf die richtige Weise zu trainieren und ihre Fitnessziele zu erreichen.

Die Open-Source-Lösungen für die Schätzung der mobilen Körperhaltung schienen für den Kunden nicht zu funktionieren, weshalb er ESSID Solutions um Rat für das Problem der Schätzung der menschlichen Haltung in Echtzeit bat. Es ist auch erwähnenswert, dass es vorher keine gemeinsamen Lösungen für die Fehlererkennung und Wiederholungszählung gab.

Herausforderung: Entwicklung eines hochmodernen Posenschätzungsmodells zur Erkennung der menschlichen Körperhaltung in einem Echtzeit-Szenario

Um die Konkurrenz auf dem Markt für mHealth-Apps auszustechen, wollte der Kunde seine App mit KI (Künstliche Intelligenz) ausstatten. Sie hatten Schwierigkeiten bei der Einschätzung der menschlichen Körperhaltung. Die Hauptaufgabe für unser Team bestand darin, die Genauigkeit zu verbessern, ohne die Geschwindigkeit und Benutzerfreundlichkeit zu beeinträchtigen.

Der Kunde wollte seine Fitness-App um eine Echtzeit-Fehlererkennung während des Trainings und der Physiotherapie erweitern. Diese Funktion kann dem Nutzer helfen, häufige Fehler beim Training zu vermeiden und das Verletzungsrisiko deutlich zu verringern.

Das Team von ESSID Solutions nahm die Herausforderung an, den Kunden mit robuste Schätzung der Pose und Fehlererkennungsfunktionen von Grund auf.

Lösung: Deep Learning für eine genaue Schätzung der menschlichen Pose und datenwissenschaftliche Algorithmen zur Fehlererkennung

Bei der Positionsschätzung handelt es sich um eine Computer-Vision-Technik, die nicht nur den Standort einer Person oder eines Objekts, sondern auch die Gelenke im Einzelnen vorhersagt und verfolgt. Bei der Schätzung der Körperhaltung wurden bisher bemerkenswerte Fortschritte erzielt, aber die Erkennung menschlicher Aktivitäten in realen Umgebungen ist nach wie vor ungeklärt. Diese Aufgabe wird noch schwieriger, wenn sie nicht von Einzelkameras im Offline-Modus, sondern von Smartphones in Echtzeit gelöst wird. Dies liegt daran, dass die Ausführung in Echtzeit den Durchsatz an Eingabedaten und die erforderlichen Berechnungen erheblich steigert, während die verfügbaren Rechenressourcen mobiler Geräte nach wie vor begrenzt sind.

Bei der Schätzung der Körperhaltung kann zwischen folgenden Typen unterschieden werden: Schätzung der Haltung von Einzelpersonen oder mehreren Personen, 3D oder 2D, Echtzeit oder offline. Nach der Analyse der Kundenbedürfnisse haben wir entschieden, dass die 2D-Einzelpersonen-Positionsschätzung in Echtzeit gut geeignet ist, wenn sie für sehr unterschiedliche körperliche Übungen eingesetzt wird.

Um menschliche Gelenke in Bewegung in Echtzeit zu erkennen, haben wir Deep-Learning-Ansätze angewandt, die für komplizierte Computer-Vision-Probleme geeignet sind. Unsere Ingenieure mussten eine völlig neue Technologie für neuronale Netze entwickeln, um viele Erkenntnisse und Ideen zu nutzen und so eine wettbewerbsfähige Qualität der Gelenkerkennung zu erreichen.

Wir begannen mit der Zusammenführung aller Arten von offenen Datensätzen für verschiedene Arten von menschlichen Haltungsschätzungen, da große Datenmengen ein entscheidender Bestandteil von qualitativ hochwertigen tiefen neuronalen Netzen sind, die in den spezifischen realen Anwendungsfällen genau und robust arbeiten. Darüber hinaus mussten wir unsere eigenen Methoden zur Datenerweiterung entwickeln, um die Datenmenge weiter zu vergrößern.

Nach der Bearbeitung der Datensätze entwickelten wir ein fortschrittliches menschliches Skelettmodell mit zusätzlichen Eckpunkten, die unsere Möglichkeiten bei der Analyse von Fitness- und Physiotherapieübungen erheblich erweiterten.

Der nächste Schritt war die Entwicklung einer effizienten neuronalen Architektur für die Posenschätzung. Der Kunde war besorgt über die Leistung der mobilen App, weshalb wir uns auf die Optimierung der Betriebseffizienz und die Reduzierung der Ladezeit konzentrierten.

Wir nutzten PyTorch, um dem Kunden eine optimierte Trainingspipeline sowie CoreML-Modelle für den Einsatz der von uns entwickelten Deep Learning- und CV-Modelle bereitzustellen.

Ein weiteres datenwissenschaftliches Problem bestand darin, die Fehlererkennung beim Training und in der Physiotherapie zu implementieren. Die Fehlererkennung hilft dabei, angemessene und falsche Formen der Durchführung von körperlichen Übungen zu verstehen. Sie wird verwendet, um menschliche Gelenke zu identifizieren und dem Benutzer Anleitungen für die richtige Ausführung von Übungen zu geben. Zum Beispiel ist die Einschätzung der Kopfhaltung wichtig, wenn der Benutzer eine Planke ausführt. Die App schätzt die Position des Kopfes, um Verletzungen beim Training zu vermeiden.

Es ist erwähnenswert, dass wir benutzerdefinierte Algorithmen für die Fehlererkennung und das Zählen von Wiederholungen entwickeln mussten, so dass die Nutzer der mobilen App über eine Audioschnittstelle mit einem virtuellen KI-Coach sofortiges Feedback erhalten können.

Ergebnis: Verbesserte Implementierung von Posenschätzung und Fehlererkennung

ESSID Solutions hat seine Erfahrung im Bereich Computer Vision und Deep Learning erfolgreich eingesetzt, um den Kunden mit einer KI-gestützten Lösung zu unterstützen. Unsere Expertise in mobilen neuronalen Netzwerken und Deep Learning half dabei, die Herausforderung der Erkennung menschlicher Aktivitäten in sehr kurzer Zeit zu bewältigen, obwohl Deep-Learning-Ansätze monatelange Arbeit erfordern. Unser neuronales Netzwerk zur Echtzeitschätzung der menschlichen Position und unsere Algorithmen zur Fehlererkennung wurden erfolgreich in die App für Workout- und Rehabilitationsübungen integriert.

Wir haben eine Lösung entwickelt, die Beleuchtungsänderungen, Einbußen bei der Bildrate, andere Personen, die ins Bild laufen, Verdeckungen usw. berücksichtigen kann.

Jetzt geht die App noch einen Schritt weiter und stellt sicher, dass der Nutzer auf die richtige Art und Weise trainiert und das Beste aus seinem Workout herausholt. Die Empfehlungen des entwickelten KI-Coaches bieten wertvolle Erkenntnisse und helfen den Nutzern, ihre Fitnessziele zu erreichen und unnötige Verletzungen zu vermeiden.

Wählen Sie uns als Ihr Computer Vision Dienstanbieter