Das KI-System kann Handgesten genau erkennen

Wissenschaftler der Nanyang Technological University in Singapur (NTU Singapore) haben ein neues System mit künstlicher Intelligenz (KI) entwickelt, das Handgesten erkennen kann. Die Technologie kombiniert hautähnliche Elektronik mit Computer Vision.

Die Entwicklung von KI-Systemen zur Erkennung menschlicher Handgesten findet seit etwa 10 Jahren statt und wird derzeit in Operationsrobotern, Geräten zur Gesundheitsüberwachung und in Spielesystemen eingesetzt. 

Die anfänglichen KI-Gestenerkennungssysteme waren rein visuell und zur Verbesserung wurden Eingaben von tragbaren Sensoren integriert. Dies wird als „Datenfusion“ bezeichnet. Eine der Wahrnehmungsfähigkeiten wird „somatosensorisch“ genannt und die tragbaren Sensoren können sie nachbilden. 

Aufgrund der geringen Qualität der von tragbaren Sensoren gelieferten Daten ist es immer noch schwierig, eine präzise Gestenerkennung zu erreichen. Dies geschieht aufgrund der Sperrigkeit und des schlechten Kontakts mit dem Benutzer sowie durch die Auswirkungen von sichtbaren Objekten und schlechter Beleuchtung. 

Weitere Herausforderungen ergeben sich aus der Integration visueller und sensorischer Daten, da nicht übereinstimmende Datensätze separat verarbeitet und am Ende schließlich zusammengeführt werden müssen. Dieser Prozess ist ineffizient und führt zu langsameren Reaktionszeiten. 

Das NTU-Team entwickelte einige Möglichkeiten, diese Herausforderungen zu meistern, darunter die Schaffung eines „bioinspirierten“ Datenfusionssystems, das auf hautähnlichen, dehnbaren Dehnungssensoren aus einwandigen Kohlenstoffnanoröhren basiert. Das Team verließ sich auch auf KI, um darzustellen, wie Hautsinne und Sehvermögen im Gehirn gemeinsam verarbeitet werden.

Zur Entwicklung des KI-Systems wurden drei neuronale Netzwerkansätze zu einem System kombiniert. Die drei Arten neuronaler Netze waren: ein Faltungs-Neuronales Netz, ein spärliches Neuronales Netz und ein mehrschichtiges Neuronales Netz.

Durch die Kombination dieser drei könnte das Team ein System entwickeln, das im Vergleich zu anderen Methoden menschliche Gesten genauer erkennen kann.

Professor Chen Xiaodon ist Hauptautor der Studie. Er kommt von der School of Materials Science and Engineering der NTU. 

„Unsere Datenfusionsarchitektur verfügt über ihre eigenen einzigartigen bioinspirierten Merkmale, zu denen ein vom Menschen geschaffenes System gehört, das der somatosensorisch-visuellen Fusionshierarchie im Gehirn ähnelt. Wir glauben, dass solche Merkmale unsere Architektur einzigartig im Vergleich zu bestehenden Ansätzen machen.“

Chen ist außerdem Direktor des Innovative Center for Flexible Devices (iFLEX) an der NTU. 

„Im Vergleich zu starren tragbaren Sensoren, die keinen ausreichend engen Kontakt mit dem Benutzer herstellen, um eine genaue Datenerfassung zu ermöglichen, verwendet unsere Innovation dehnbare Dehnungssensoren, die bequem auf der menschlichen Haut befestigt werden können. Dies ermöglicht eine qualitativ hochwertige Signalerfassung, die für hochpräzise Erkennungsaufgaben von entscheidender Bedeutung ist“, sagte Chen.

Die Ergebnisse des Teams bestehend aus Wissenschaftlern der NTU Singapur und der University of Technology Sydney (UTS) wurden im Juni in der Fachzeitschrift veröffentlicht Naturelektronik.

Testen des Systems

Das Team testete das bioinspirierte KI-System mit einem Roboter, der durch Handgesten gesteuert wurde. Der Roboter wurde durch ein Labyrinth geführt und die Ergebnisse zeigten, dass das KI-Handgestenerkennungssystem den Roboter fehlerfrei durch das Labyrinth führen konnte. Dies im Vergleich zu einem visuellen Erkennungssystem, das im selben Labyrinth sechs Fehler machte.

Bei Tests unter schwierigen Bedingungen wie Lärm und schlechten Lichtverhältnissen behielt das KI-System dennoch eine hohe Genauigkeit bei. Die Erkennungsgenauigkeit erreichte über 96.7 %.

Dr. Wang Ming von der School of Materials Science & Engineering der NTU Singapur war Erstautor der Studie. 

„Das Geheimnis hinter der hohen Genauigkeit unserer Architektur liegt in der Tatsache, dass die visuellen und somatosensorischen Informationen frühzeitig interagieren und sich ergänzen können, bevor eine komplexe Interpretation durchgeführt wird“, sagte Ming. „Dadurch kann das System rational kohärente Informationen mit weniger redundanten Daten und weniger Wahrnehmungsmehrdeutigkeiten sammeln, was zu einer höheren Genauigkeit führt.“

Laut einer unabhängigen Ansicht von Professor Markus Antonietti, Direktor des Max-Planck-Instituts für Kolloid- und Grenzflächenforschung in Deutschland, „bringen uns die Erkenntnisse aus diesem Papier einen weiteren Schritt vorwärts in eine intelligentere und stärker maschinengestützte Welt.“ Ähnlich wie die Erfindung des Smartphones, die die Gesellschaft revolutioniert hat, gibt uns diese Arbeit Hoffnung, dass wir eines Tages die gesamte Welt um uns herum mit großer Zuverlässigkeit und Präzision durch eine Geste physisch kontrollieren können.“

„Es gibt einfach endlose Anwendungen für diese Technologie auf dem Markt, um diese Zukunft zu unterstützen. Zum Beispiel von einer ferngesteuerten Robotersteuerung über intelligente Arbeitsplätze bis hin zu Exoskeletten für ältere Menschen.“

Das Forschungsteam wird nun an einem VR- und AR-System arbeiten, das auf dem bioinspirierten KI-System basiert.