In einem bahnbrechenden neuen Projekt haben MIT-Forscher ein computergestütztes System entwickelt, das künstliche Intelligenz (KI) nutzt Menschen durch Wände sehen.

„RF-Pose“, wie sie die Technologie genannt haben, fungiert als echtes Röntgenbild.

Die Technologie verwendet ein neuronales Netzwerk, um Funkfrequenzen zu analysieren, die von den Körpern der Menschen reflektiert werden. Auf diese Weise kann das System die Körperhaltung und Bewegung von Personen in Echtzeit erfassen, selbst hinter Wänden oder im Dunkeln. RF-Pose erstellt dann eine zweidimensionale Strichmännchen, die sich wie die Person bewegt.

Was hat das Team zur Entwicklung der Technologie inspiriert?

"Das Abschätzen der menschlichen Pose ist eine wichtige Aufgabe in der Bildverarbeitung mit Anwendungen in den Bereichen Überwachung, Aktivitätserkennung, Spiele usw.", sagte er Dina Katabi, Andrew & Erna Viterbi Professor für Elektrotechnik und Informatik am MIT Institut für Informatik und künstliche Intelligenz (CSAIL), der die Forschung leitete.

Die Studie wurde am 21 Juni auf der Konferenz über Computer Vision und Mustererkennung (CVPR) in Salt Lake City, Utah.

Wie funktioniert die Technologie?

AI lernt mit gutem Beispiel. Das heißt, indem einem neuronalen Netzwerk ein großer Datensatz mit Elementen angezeigt wird, lernt es, bestimmte Trends im Datensatz zu identifizieren.

Für RF-Pose mussten die Forscher die KI lehren, bestimmte Funksignale mit bestimmten menschlichen Handlungen zu verknüpfen.

Zu diesem Zweck sammelten sie Tausende von Bildern von Menschen, die Aktivitäten wie Gehen, Sprechen, Stehen, Sitzen, Öffnen von Türen, Öffnen von Aufzügen und mehr ausführten.

Sie verwendeten diese Bilder, um Strichmännchen zu erstellen, und posierten genau wie die Personen auf den Bildern.

Sie paarten diese Strichmännchen-Posen mit entsprechenden Funksignalen und zeigten sie der KI.

"Diese Kombination von Beispielen ermöglichte es dem System, die Assoziation zwischen dem Funksignal und den Strichmännchen der Personen in der Szene zu lernen", sagte Katabi.

"Nach dem Training war RF-Pose in der Lage, die Körperhaltung und die Bewegungen einer Person ohne Kameras einzuschätzen, wobei nur die drahtlosen Reflexionen verwendet wurden, die von den Körpern der Personen reflektiert wurden."

RF-Pose wurde nie explizit trainiert, um die Handlungen von Menschen durch Wände zu identifizieren. Da es jedoch darauf trainiert ist, die Bewegung von Personen anhand von Funksignalen zu identifizieren, wirken sich Barrieren nicht auf die Art und Weise aus, in der es Bewegungen erkennen kann.

Im Video unten wurde RF-Pose gezeigt, wie sich Menschen durch Wände bewegen. Es ist in der Lage, die Bewegungen mehrerer Personen gleichzeitig zu verfolgen.

Die Forscher fanden auch heraus, dass die Technologie mithilfe von Funksignalen bestimmte Personen identifizieren kann. In Experimenten konnte eine Person aus einer Reihe von 100 mit 83-Genauigkeit in Prozent identifiziert werden.

Um Bedenken hinsichtlich des Datenschutzes und der Einwilligung auszuräumen, kann die Technologie mit einem „Einwilligungsmechanismus“ codiert werden, bei dem der Benutzer des Systems RF-Pose mit einer Reihe von physischen Hinweisen einleiten muss.

Real-World-Anwendungen

Die Technologie hat unbegrenzte Anwendungsmöglichkeiten, aber die Forscher haben insbesondere mögliche medizinische Anwendungen hervorgehoben.

Sie glauben, dass es verwendet werden könnte, um eine Reihe von Krankheiten, einschließlich Parkinson, Multiple Sklerose (MS) und Muskeldystrophie, zu überwachen, indem Ärzte den Krankheitsverlauf beobachten können.

Es könnte auch verwendet werden, um älteren Menschen zu helfen, indem ihre Handlungen überwacht und auf Stürze oder Verletzungen geachtet werden.

"Wir haben gesehen, dass die Überwachung der Gehgeschwindigkeit und der Fähigkeit der Patienten, selbstständig grundlegende Aktivitäten auszuführen, den Leistungserbringern ein Fenster in ihr Leben bietet, das sie zuvor noch nicht hatten", sagte Katabi in einer Erklärung.

„Ein wesentlicher Vorteil unseres Ansatzes besteht darin, dass Patienten keine Sensoren tragen oder daran denken müssen, ihre Geräte aufzuladen.“

Das Team arbeitet bereits mit Ärzten zusammen, um zu sehen, wie das System angewendet werden kann.

Darüber hinaus glaubt das Team, dass die Technologie genutzt werden könnte, um Videospiele zu erstellen, in denen sich Spieler zwischen verschiedenen Räumen bewegen. Es könnte sogar bei der Polizeiarbeit oder bei Such- und Rettungsmissionen eingesetzt werden, um Überlebende ausfindig zu machen.

In Zukunft werden die Forscher die Technologie weiter modifizieren, um sie besser für reale Anwendungen auszurüsten.

"Für diesen Artikel gibt das Modell nur ein 2-D-Gerüst aus, das Team arbeitet jedoch auch an der Erstellung von 3D-Darstellungen, die noch kleinere Mikrobewegungen widerspiegeln können “, sagte Katabi.

"Zum Beispiel könnte es in der Lage sein zu sehen, ob die Hände einer älteren Person regelmäßig genug zittern, um sich untersuchen zu lassen."