HoloLens agit comme des yeux pour les utilisateurs aveugles et les guide avec des invites audio – TechCrunch

Advertisements:

HoloLens de Microsoft a une capacité impressionnante de détecter rapidement son environnement, mais en le limitant à l'affichage de courriels ou de personnages de jeux sur eux, cela montrerait un manque de créativité. Une nouvelle recherche montre que cela fonctionne plutôt bien comme une prothèse visuelle pour les malvoyants, ne relayant pas les données visuelles réelles mais les guidant en temps réel avec des signaux audio et des instructions.

Les chercheurs de Caltech et de l'Université de Californie du Sud que la restauration de la vision n'est actuellement pas un objectif réaliste, mais qu'il n'est pas nécessaire de remplacer la partie de la perception pour reproduire la partie pratique. Après tout, si vous pouvez dire où se trouve une chaise, vous n'avez pas besoin de la voir pour l'éviter, n'est-ce pas?

Croquer des données visuelles et produire une carte de caractéristiques de haut niveau comme des murs, des obstacles et des portes. les capacités de base des HoloLens, si l'équipe a décidé de le laisser faire et de recréer l'environnement pour l'utilisateur à partir de ces fonctionnalités extraites.

Ils ont conçu le système autour du son, naturellement. Chaque objet et caractéristique majeur peut indiquer à l'utilisateur où il se trouve, par voix ou par son. Les murs, par exemple, sifflent (vraisemblablement un bruit blanc, pas un sifflement de serpent) lorsque l'utilisateur s'approche d'eux. Et l'utilisateur peut scanner la scène, avec des objets qui s'annoncent de gauche à droite à partir de la direction dans laquelle ils se trouvent. Un seul objet peut être sélectionné et répéter sa légende pour aider l'utilisateur à le trouver.

C'est bien pour les tâches stationnaires comme trouver votre canne ou le canapé dans la maison d'un ami. Mais le système fonctionne aussi en mouvement.

L'équipe a recruté sept personnes aveugles pour le tester. Ils ont reçu une brève introduction, mais aucune formation, et ont ensuite demandé d'accomplir une variété de tâches. Les utilisateurs pouvaient localiser et pointer de manière fiable des objets à partir d'indices audio, et pouvaient trouver une chaise dans une pièce en une fraction de fois qu'ils le feraient normalement, et évitaient aussi facilement les obstacles.

Ce rendu montre les chemins réels par les utilisateurs dans les tests de navigation

Ensuite, ils ont été chargés de naviguer de l'entrée d'un bâtiment à une pièce du deuxième étage en suivant les instructions du casque. Un «guide virtuel» dit à plusieurs reprises «suis-moi» d'une distance apparente de quelques pieds devant, tout en avertissant quand les escaliers arrivaient, où les mains courantes étaient et quand l'utilisateur avait dévié de sa trajectoire.

destinations au premier essai, et beaucoup plus rapidement que s'ils avaient dû procéder normalement sans navigation. Un sujet, les notes de papier, a déclaré: « C'était amusant! Quand puis-je en obtenir un? « 

Microsoft a effectivement examiné quelque chose comme cela il y a des années, mais le matériel n'était tout simplement pas là – HoloLens change cela. Même si elle est clairement destinée aux personnes voyantes, ses capacités remplissent naturellement les exigences d'une prothèse visuelle comme celle décrite ici.

Fait intéressant, les chercheurs soulignent que ce type de système a également été prédit il y a plus de 30 ans « Je crois fermement que nous devrions adopter une approche plus sophistiquée, en utilisant la puissance de l'intelligence artificielle pour traiter de grandes quantités d'informations visuelles détaillées afin de remplacer les fonctions manquantes de la oeil et une grande partie du pré-traitement visuel effectué par le cerveau », a écrit le CC clairement clairvoyante Collins remonte à 1985.

Le potentiel d'un tel système est énorme, mais il ne s'agit que d'un prototype. Comme les systèmes comme HoloLens deviennent plus légers et plus puissants, ils vont des bizarreries liées aux laboratoires aux objets de tous les jours – on peut imaginer la réception dans un hôtel ou un centre commercial en stocker quelques-uns pour les personnes malvoyantes qui ont besoin de trouver leur chambre »

« À ce stade, nous nous attendons à ce que le lecteur ait déjà des propositions en tête pour améliorer la prothèse cognitive », écrivent-ils. « Une plate-forme matérielle / logicielle est maintenant disponible pour mettre en œuvre rapidement ces idées et les tester avec des sujets humains. Nous espérons que cela inspirera des développements pour améliorer la perception des personnes aveugles et voyantes, en utilisant la réalité auditive augmentée pour communiquer des choses que nous ne pouvons pas voir. « 

-----

Advertisements:


Source link

Désiré LeSage

0 Comments

No comments!

There are no comments yet, but you can be first to comment this article.

Leave reply

Laisser un commentaire