Google Lens : comment fonctionne la reconnaissance d’objets ?

Google Lens est l’une des grosses annonces du Google Ask More, l’événement de présentation de nombreux nouveaux produits que Google tenait le mercredi 4 octobre 2017. Le dispositif avait déjà été présenté lors du Google I/O 2017, mais la firme de Mountain View a annoncé qu’il serait disponible sur Google Assistant. Voici comment marche cette nouvelle fonctionnalité qui reconnaît les objets. 

Google Lens est un nouveau système de reconnaissance d’objets de la firme, et qui doit désormais être intégré à Google Photos mais aussi à Google Assistant. Le but ? C’est un peu le même que Shazam, mais version objets. Avec en plus des actions qui apparaissent en fonction du contexte. Le système repose sur l’intelligence artificielle pour reconnaître dynamiquement des objets qui nous entourent. Un véritable challenge technologique : Google a annoncé de nombreux progrès de la technologie permettant un taux de réussite de 43% même dans les situations complexes.

Il est donc possible que le système ait quelques ratés au début mais les premières démos sont impressionnantes. Il doit néanmoins s’améliorer avec le temps via le machine learning, au fur et à mesure que des millions d’utilisateurs pourront l’utiliser. Google a fait l’analogie avec le moteur de recherche dont l’algorithme se base aujourd’hui sur des trillions de références possibles. Et a permis à Google de creuser avec les années un large fossé avec la concurrence. Google arrive aux prémisses d’une technologie où peu se sont encore aventurés. On peut citer le Bixby Vision de Samsung, ou dans une moindre mesure l’ARKit dans l’écosystème Apple.

Google Lens, comment ça fonctionne ?

Google Lens est une fonctionnalité de plusieurs applications Google, dont, désormais Google Assistant. Il vous suffit de pointer la caméra du smartphone vers une plante, un magasin, un livre… Un carré s’affiche autour des items identifiés par le système. Non seulement ces derniers sont identifiés, mais des suggestions contextuelles apparaissent, par exemple si vous prenez une fleur en photo, vous aurez les adresses des fleuristes autour de vous.

Autre exemple : pour les restaurants, vous saurez immédiatement quels sont les avis des internautes, ou les horaires d’ouverture entre autres exemples.

Comment utiliser Google Lens ?

Utiliser Google Lens est très simple. Dès que la fonctionnalité sera poussée sur votre smartphone, une nouvelle icône apparaitra dans Google Photos et Google Assistant. Il suffit d’appuyer dessus pour commencer à identifier des objets. Petit bonus : vous pouvez l’utiliser pour reconnaître des informations écrites sur des captures d’écran, comme les numéros de téléphone.

Ou par exemple le code WiFi inscrit sur une étiquette derrière votre box internet. Appuyez sur l’icône, pointez, capturez, appuyez sur l’action, et vous avez gagné un temps précieux !

Quand est-ce que Google Lens arrive sur votre smartphone ?

Google a décidé de réserver un “preview” de Lens aux Pixel 2 dans un premier temps. Mais Google devrait pousser la fonctionnalité sur tous les smartphones équipés d’Assistant et de Google Photos “prochainement”. Un peu de patience, ça arrive !

En attendant on vous propose de regarder les vidéos qui montrent les capacités impressionnantes du système :

https://youtu.be/7fngCEEdH-8

Pixel 2 phones will come w Google Lens — can identify objects and provide info on them automatically pic.twitter.com/W4wP6RuXLd

— johnshinal (@johnshinal) 4 octobre 2017