par Depuis très longtemps, l’être humain rêve d’un avenir où la technologie s’intègre naturellement dans notre quotidien, jusqu’à pouvoir être portée sur soi.
Parmi tous les sens, la vue a toujours occupé une place centrale: c’est à elle que nous confions la mission de percevoir, comprendre et explorer le monde qui nous entoure. Et avouons-le : l’idée d’interagir avec la réalité simplement en la regardant, d’effectuer des gestes et des actions d’un simple regard, continue de nous fasciner.
Cette intuition visionnaire prend vie entre les lignes de la science-fiction et commence à se matérialiser dans la seconde moitié du XXe siècle, dans les laboratoires de recherche: une paire de lunettes intelligente, capable de nous faire interagir avec le monde à travers ses verres.
Aujourd’hui, ce rêve se concrétise de plus en plus. Les technologies nous permettant de concevoir ces dispositifs existent et ne cessent d’évoluer. Cependant, nombreux sont encore les défis à relever pour transformer véritablement les lunettes intelligentes en objets capables de nous offrir une expérience numérique immersive et naturelle.
C’est dans ce contexte qu’est né le Smart Eyewear Lab, le centre de recherche commun créé par le Politecnico di Milano et EssilorLuxottica afin de façonner l’avenir des lunettes intelligentes. Un lieu où se rencontrent recherche industrielle et développement expérimental, avec un objectif clair: concevoir et créer des technologies génériques qui redéfiniront notre manière de voir – et de vivre – le monde. Lancée en 2022, cette collaboration très innovante avec des développements concrets mobilise plus de 100 chercheurs issus du monde industriel et académique.
Dans la vision du Smart Eyewear Lab, les lunettes jouent un rôle stratégique: un dispositif capable d’unifier la vue, l’ouïe et la voix, particulièrement bien placé pour dialoguer directement avec nos pensées. Plus qu’un simple accessoire, elles se transforment ainsi en une interface intelligente permettant de rester connecté et informé en permanence, dans les domaines de la culture, du divertissement, du sport, de la prévention et de la santé.
Frontiere est entré dans le Smart Eyewear Lab pour vous en parler de l’intérieur. C’est ici que les chercheurs s’efforcent de rendre réel ce qui, jusqu’à récemment, nous semblait seulement imaginable: une technologie portable, des lunettes connectées et intelligentes, conçues pour faire partie intégrante de notre vie quotidienne.
Les lunettes intelligentes : la technologie qui nous donne des superpouvoirs
Les lunettes intelligentes sont des lunettes en apparence tout à fait classiques, mais qui intègrent une série de technologies qui en amplifient les fonctions et le potentiel de manière exponentielle: capteurs, composants électroniques et photoniques, microphones et haut-parleurs, intégrés de manière à être pratiquement invisibles, tout en conservant l’élégance et le style d’un accessoire design, reflet de notre personnalité.
Ces lunettes offrent donc une série de fonctionnalités qui non seulement augmentent les capacités de la personne qui les porte, depuis la réalité augmentée jusqu’aux nouvelles façons d’interagir avec la vie quotidienne, mais sont également de véritables indicateurs de notre état de santé, puisqu’elles permettent de surveiller les paramètres physiologiques et d’établir un diagnostic opportun, d’améliorer les parcours thérapeutiques, de révéler une prédisposition ou l’apparition de signes précoces de maladies neurodégénératives, de syndromes métaboliques, de dysfonctionnements cardiovasculaires et bien d’autres encore. En fin de compte, elles contribuent à améliorer notre mode de vie, à nous sensibiliser davantage sur notre état de santé et, dans de nombreux cas, à sauver des vies.
Mais la meilleure façon de décrire le concept qui sous-tend ces appareils est peut-être de laisser la parole aux créateurs de ces lunettes intelligentes.
Federico Buffa, Chief R&D, Product & Marketing Officer d’EssilorLuxottica, explique:
Les lunettes intelligentes enrichiront la façon dont nous percevons le monde qui nous entoure, en nous donnant de véritables superpouvoirs pour pouvoir vivre pleinement l’instant présent, en exploitant une toute nouvelle dimension lorsque nous en avons besoin, là où nous en avons besoin.
Il souligne un concept fondamental: les lunettes intelligentes sont des lunettes, et non pas quelque chose qui les imite ou essaie de leur ressembler. Ce sont de véritables lunettes, avec le même design, la même portabilité et le même confort au quotidien. Mais qui dissimulent à l’intérieur tout un autre monde. Un monde que l’on ne voit pas mais que l’on vit.
Toute cette magie se cachera dans une paire de lunettes, un accessoire qui restera toujours le prolongement de notre personnalité et de notre style, tout en veillant à corriger et à protéger nos yeux, et bien plus encore.
Défis technologiques
Mais quels sont les défis technologiques à relever ?
Voici quelques-uns des sujets sur lesquels se penchent les chercheurs du Smart Eyewear Lab pour mettre au point une nouvelle génération de lunettes intelligentes.
Pour reprendre les termes de Federico Buffa, le premier défi à relever consiste à faire en sorte que la technologie puisse être portée, entre technologie médicale, performance et divertissement, en l’intégrant dans un objet esthétique, fabriqué selon les normes d’excellence les plus strictes, tout en étant léger et agréable à porter toute la journée.
Le deuxième défi est celui de l’autonomie. Pour que les lunettes intelligentes soient réellement efficaces, leur batterie doit accompagner l’utilisateur tout au long de la journée, sans compromis.
Vient ensuite la question de la réalité augmentée: faire en sorte que l’interaction entre le monde réel et le contenu numérique soit fluide, naturelle et capable de s’adapter aux contextes et aux espaces.
Et pour finir, reste la question de la fiabilité: les technologies doivent fonctionner non seulement en laboratoire, mais surtout dans le monde réel, dans des situations quotidiennes. Ce qu’il faut, c’est une paire de lunettes robuste et résistante, capable d’offrir des performances élevées sans sacrifier le style et l’élégance.
Les chefs de projet des trois axes de recherche, dans lesquels se répartissent les activités du laboratoire, nous ont fait pénétrer dans l’univers du Smart Eyewear Lab.
des composants optiques et électroniques.
Eye Tracking
Suivre les mouvements des yeux et reconnaître les centres d’intérêt observés par l’utilisateur est fondamental pour concevoir des lunettes intelligentes.
Luca Merigo nous explique pourquoi. Après avoir décroché un doctorat en Technologie de la santé à Brescia et suivi des études à l’étranger, il a rejoint EssilorLuxottica en 2023.
Jusqu’à présent, les dispositifs d’oculométrie ont été utilisés exclusivement dans des laboratoires contrôlés à des fins de recherche scientifique et de neuromarketing, et possèdent des caractéristiques difficiles à intégrer dans des objets portables tels que des lunettes : elles sont volumineuses, reliées par des câbles et susceptibles de gêner la vue de l’utilisateur.
Le Smart Eyewear Lab a pour ambition de changer ce paradigme en développant des technologies innovantes permettant de le surmonter. Le défi pour les chercheurs du laboratoire est d’obtenir le même type d’informations que les oculomètres actuels, depuis la surveillance jusqu’au diagnostic précoce des maladies et des troubles en relation avec de nouvelles mesures obtenues à partir du mouvement des yeux, mais avec une technologie plus rapide et plus précise, intégrée à la lunette et avec une consommation d’énergie moindre.
Configuration de test et de développement avec un modèle réaliste de l’œil.
L’objectif du programme de recherche sur les technologies à faible consommation d’énergie est de pouvoir intégrer ces technologies dans les lunettes, avec des capteurs cachés dans la monture ou transparents et incorporés directement dans les verres, robustes et adaptés à la vie de tous les jours, et surtout à faible consommation d’énergie.
De son côté, le programme High Dynamic Technology vise à perfectionner les technologies afin de capter des mouvements oculaires jusqu’ici indétectables, grâce à l’utilisation de l’intelligence artificielle et de nouvelles technologies de détection qui reproduisent le comportement du système visuel humain.
Un autre défi auquel les chercheurs du laboratoire sont confrontés, avec le programme de protocoles d’essai, est la définition d’une procédure de validation de ces technologies, qui soit reconnue à l’échelle internationale. En l’état actuel des choses, il n’existe pas de protocole pour mesurer les performances des oculomètres et chacun définit ses propres procédures.
Enfin, la recherche sur l’oculométrie est importante car elle peut permettre de nombreuses fonctionnalités : l’utilisateur peut interagir avec la réalité augmentée uniquement en dirigeant son regard, sans utiliser ses mains. De plus, les yeux en disent long sur nous : sur notre niveau de stress et notre charge cognitive, par exemple. Les technologies d’oculométrie nous fournissent donc des informations précieuses susceptibles d’être appliquées dans le domaine des technologies médicales, afin de surveiller et de diagnostiquer l’apparition de maladies et de troubles à un stade précoce.
Au Politecnico di Milano, cet axe de recherche est coordonné par Marco Carminati, professeur d’électronique, qui travaille depuis 20 ans sur l’électronique à faible bruit pour les capteurs. Sa passion pour les dispositifs intelligents provient de l’optoélectronique, appliquée notamment à la santé, et du défi fondamental consistant à combiner des capteurs intégrés et l’apprentissage automatique en respectant des contraintes très strictes en matière d’espace et de puissance, ce qui est très stimulant pour la microélectronique.
Caméra et capteurs
Diana Trojaniello nous explique comment intégrer différents types de capteurs et de caméras pour ajouter de nouvelles fonctionnalités aux lunettes intelligentes. Elle a suivi des études en Ingénierie biomédicale et est titulaire d’un doctorat en bio-ingénierie de l’université de Bologne. Après plusieurs années passées entre la Suisse et les États-Unis, elle a travaillé pendant huit ans dans un centre de recherche à l’hôpital San Raffaele pour développer de nouvelles technologies dans le domaine des soins de santé. Elle aussi travaille pour EssilorLuxottica depuis 2023.
Son champ de recherche est divisé en trois programmes distincts.
La première est la biodétection. L’objectif est de permettre à l’utilisateur final de se surveiller lui-même en recueillant des paramètres physiologiques et comportementaux et ses habitudes, afin de mieux contrôler sa propre santé et son mode de vie.
Pourquoi collecter ces informations à l’aide de lunettes ? Parce que le visage est une mine d’informations : c’est non seulement la seule partie de notre corps qui nous permet d’avoir accès à nos cinq sens, mais aussi parce qu’étant extrêmement vascularisé, il est plus facile d’en tirer des informations sur les paramètres cardiovasculaires, les battements du cœur et le rythme respiratoire.
Les informations fournies par les lunettes intelligentes sont utiles non seulement pour la personne qui les porte mais aussi pour les soignants, les opticiens et les médecins, car elles offrent une aide concrète pour le suivi et la gestion de la santé.
En outre, la recherche sur les capteurs est fondamentale également dans le contexte de l’interaction entre l’utilisateur et la technologie intégrée dans les lunettes intelligentes. À l’heure actuelle, cette interaction se fait principalement par le biais de commandes vocales ou gestuelles, ce qui implique que l’utilisateur doit nécessairement parler ou faire des gestes visibles pour contrôler le dispositif.
L’un des projets de recherche du Smart Eyewear Lab vise à rendre ces interactions imperceptibles : l’une des frontières de la recherche consiste en effet à mettre au point des capteurs capables d’interpréter la volonté de l’utilisateur à travers l’analyse des expressions faciales.
Le clin d’œil par exemple pourrait permettre d’allumer l’appareil photo. L’objectif est que ces technologies deviennent une partie intégrante de la personne, comme s’il s’agissait de prolongements du corps humain, afin que l’interaction avec les lunettes intelligentes soit aussi naturelle et discrète que possible.
examinant les détails de fabrication et les connexions lors d’une analyse en laboratoire.
Un deuxième aspect est celui de la connaissance du contexte, c’est-à-dire la capacité du dispositif à reconnaître le contexte dans lequel se trouve l’utilisateur et à adapter ses fonctionnalités de façon intelligente.
L’utilisation de capteurs et de caméras permet aux lunettes de reconnaître de manière autonome l’environnement et les situations dans lesquelles se trouve l’utilisateur et ainsi contribuer à améliorer son expérience.
Un exemple pourrait être celui des lunettes intelligentes avec réalité augmentée, permettant d’afficher les notifications d’applications, intégrées dans la vision de l’environnement de l’utilisateur. Les lunettes pourraient également reconnaître qu’à un moment donné, l’utilisateur est en pleine conversation avec d’autres personnes et donc désactiver l’envoi de notifications, également dans le but d’économiser la batterie.
Une autre situation possible : les lunettes pourraient aider l’utilisateur à se localiser dans un environnement intérieur, où la position fournie par le GPS n’est pas suffisamment précise. L’une des technologies sur laquelle travaillent les chercheurs du Smart Eyewear Lab est la localisation et la cartographie simultanées, qui utilise plusieurs caméras pour localiser l’utilisateur et le guider dans des environnements fermés et complexes tels que les hôpitaux ou les centres commerciaux.
Le troisième aspect recoupe les deux premiers et concerne à la fois les techniques d’optimisation matérielle et logicielle. Il s’agit de la détection et du traitement à faible consommation d’énergie.
Ces techniques ont un objectif précis : créer des appareils intelligents de haute technologie à porter toute la journée et capables de fonctionner longtemps sans avoir besoin d’être rechargés fréquemment.
L’intégration des compétences en génie électrique, en informatique et en bio-ingénierie permet d’aborder des sujets allant de la conception à l’intégration et à la validation des dispositifs dans ce domaine de recherche, un processus qui implique également des personnes dans l’essai des prototypes. Dans ce contexte, le comité d’éthique du Politecnico di Milano, qui évalue les protocoles d’essai prévus à cet effet, apporte également une valeur ajoutée.
Les chercheurs Franco Zappa, Matteo Matteucci et Federica Villa du département d’électronique, d’information et de bio-ingénierie du Politecnico di Milano travaillent sur ce projet.
Franco Zappa est Maître de conférences en Électronique. Ses recherches portent sur le développement de dispositifs microélectroniques, en particulier les photodétecteurs à avalanche de photons uniques (SPAD) et leurs applications dans l’imagerie 2D et 3D à haute sensibilité, avec des utilisations dans des domaines tels que la sécurité, l’optique adaptative et l’imagerie moléculaire. Il détient plusieurs brevets dans le domaine des détecteurs photoniques.
Matteo Matteucci est Maître de conférences en Systèmes de traitement de l’information. Ses recherches portent sur la robotique autonome et l’apprentissage automatique, dans le but d’appliquer les techniques de reconnaissance des formes, de perception robotique, de vision par ordinateur et de traitement des signaux à des contextes réels et dynamiques.
Federica Villa est Maître de conférences en Électronique. Ses recherches portent sur le développement de dispositifs électroniques et optiques et de circuits microélectroniques pour la mise au point de systèmes portables de surveillance de paramètres physiologiques et de signaux optiques ultra-faibles, utilisés dans divers domaines tels que les dispositifs portables, la biodétection et l’imagerie à photon unique. Elle détient plusieurs brevets dans le domaine des imageurs photoniques.
Intégration optique
L’intégration optique a pour objectif d’intégrer la réalité augmentée dans les lunettes intelligentes.
C’est ce qu’explique Anna Cesaratto, travaillant également chez EssilorLuxottica depuis 2023. Après avoir obtenu un doctorat en Physique au Politecnico di Milano, elle a accumulé de nombreuses années d’expérience à la fois dans la recherche universitaire aux États-Unis et dans l’industrie en tant que consultant en R&D pour les systèmes de vision.
L’objectif de son projet est de développer un écran qui fonctionne comme une interface visuelle, toujours disponible pour l’utilisateur, pour les différentes fonctionnalités intelligentes, afin que l’interaction avec le monde numérique soit plus immersive et plus immédiate. Imaginez, par exemple, un écran intégré au verre de la lunette qui affiche notre rythme cardiaque ou d’autres données traitées par des fonctions intelligentes, telles que l’itinéraire à suivre pour se rendre à une destination.
à l’aide de configurations sur des tables optiques, alignées et adaptées aux besoins par les chercheurs travaillant en laboratoire.
Comment afficher une notification directement dans le champ de vision de l’utilisateur, en surimpression de la réalité environnante ? Cela est possible grâce à un mini-projecteur – il existe différentes technologies pour obtenir une projection lumineuse – et un combinateur optique, qui peut superposer la réalité augmentée à la vision du monde réel. De cette manière, grâce aux technologies intégrées dans le verre qui dirigent les images virtuelles vers l’œil de l’utilisateur, celui-ci peut voir à travers ses lunettes le contenu numérique et le monde réel qui l’entoure.
Il existe déjà des lunettes à réalité augmentée sur le marché, mais le niveau de confort est encore très limité. Les recherches menées au sein du Smart Eyewear Lab n’utilisent pas les technologies actuellement disponibles, mais se concentrent sur les technologies pouvant rendre l’interaction plus fluide et plus immersive.
Les technologies actuelles ont des limites comme une mise au point fixe permettant d’afficher l’information projetée toujours à une certaine distance, généralement à l’infini. Cela pose un problème car, dans l’interaction avec le monde réel, l’utilisateur est obligé de changer constamment de point de focalisation et la projection à focale fixe provoque un inconfort dû au désalignement entre le monde réel et le monde virtuel. En outre, même lorsque les images virtuelles sont présentées dans les deux verres , elles ne parviennent pas à reproduire la sensation naturelle de tridimensionnalité.
L’objectif étant de développer des lunettes pouvant être portées tous les jours, et donc avant tout très confortables, le Smart Eyewear Lab s’efforce de repousser les limites de la technologie actuelle.
L’une des solutions possibles est l’holographie générée par ordinateur, une technique permettant de contrôler la projection de lumière en trois dimensions, ce qui donne la possibilité de projeter des objets tridimensionnels et d’ajuster la profondeur de champ du contenu numérique. Pour ajouter cette fonctionnalité dans une lunette intelligente, il faut à la fois développer des algorithmes innovants et très efficaces et intégrer des composants nécessaires pour projeter des hologrammes dans des lunettes qui doivent rester légères et confortables.
Un autre domaine de recherche concerne les métasurfaces optiques : des matériaux nanostructurés ultra-fins, conçus avec des motifs répétitifs capables d’interagir avec la lumière incidente pour en modifier certaines propriétés optiques, telles que la direction de propagation ou la phase. Un avantage important est leur flexibilité d’application par rapport à un facteur de forme réduit, un aspect essentiel pour les lunettes intelligentes. Une application possible dans le domaine de la réalité augmentée est le combinateur optique : les métasurfaces ajoutent une nouvelle fonctionnalité au verre et permettent de diriger la lumière générée par le mini-projecteur vers l’œil.
essentielles pour l’optimisation du processus.
Par rapport aux deux autres axes, l’intégration optique vise à développer des technologies radicalement différentes de l’état de l’art, donc moins prêtes à être intégrées dans un produit : elles ont un niveau de préparation technologique inférieur. À l’heure actuelle, ces laboratoires ne disposent pas de prototypes déjà assemblés, mais ont des preuves de concept qui, même si elles sont pleinement fonctionnelles, servent surtout à orienter la recherche vers les technologies les plus prometteuses pour le développement de produits.
Giulio Cerullo, Gianluca Valentini et Paolo Biagioni du département de physique du Politecnico di Milano, y travaillent.
Giulio Cerullo est Maître de conférence en Physique expérimentale de la matière et de ses applications. Ses travaux de recherche sur la physique des lasers, l’optique non linéaire et la physique de la matière, ont eu un impact significatif au niveau international. En 2011, il a reçu la prestigieuse bourse Advanced Grant du Conseil européen de la recherche pour développer des techniques avancées de spectroscopie ultrarapide.
Gianluca Valentini est Maître de conférences en Physique expérimentale de la matière et de ses applications. Après avoir travaillé dans une grande entreprise d’informatique aux États-Unis, il est retourné dans le monde universitaire, d’abord comme chercheur au CNR, puis comme maître de conférences au Politecnico. Ses recherches portent sur les applications de la photonique dans divers domaines, notamment la biologie et la médecine, ainsi que la science de la conservation du patrimoine.
Paolo Biagioni est Maître de conférence de Physique expérimentale de la matière et de ses applications. Après son doctorat en physique et une période de recherche en Allemagne, il est retourné au Politecnico, où il concentre ses activités de recherche sur la nano-optique, avec des applications dans le contrôle de la polarisation et le développement de métasurfaces. Il a été président de la Société italienne d’optique et de photonique (SIOF) et membre du conseil d’administration de la Société européenne d’optique (EOS).
L’avenir
Il est difficile de prédire ce que l’avenir nous réserve et de savoir quelle sera la première des nombreuses technologies développées au Smart Eyewear Lab à être intégrée dans un produit. Ce défi de grande envergure ne peut être relevé que grâce à l’esprit d’équipe et à l’expertise multidisciplinaire représentés au sein du Smart Eyewear Lab, entre les différents domaines de recherche et entre le monde industriel et académique.