La recherche, mais autrement pour une expérience plus naturelle et intuitive

Depuis plus de vingt ans, nous avons eu pour mission d’organiser les informations du monde entier afin de les rendre accessibles et utiles à tous. Nos efforts initiaux étaient focalisés sur la recherche textuelle, mais nous n’avons cessé de développer des moyens plus naturels et intuitifs de chercher des informations : il est maintenant possible d’effectuer des recherches à partir d’une photo ou d’une commande vocale.

À l’occasion de notre événement Search On qui a eu lieu aujourd’hui, nous avons montré que les progrès en matière d’intelligence artificielle ouvrent le champ des possibles pour pousser nos produits encore plus loin. Nous allons au-delà de la barre de recherche afin de créer des expériences de recherche multidimensionnelles, plus en ligne avec le fonctionnement de l’esprit humain.

Nous rêvons d’un monde où l’on peut trouver une information précise de la manière la plus naturelle qui soit, en combinant images, sons, texte et parole. Un monde dans lequel l’utilisateur n’aurait pas besoin de formuler toute une requête pour que le moteur de recherche comprenne son intention. Il pourrait même exprimer sa recherche sans le moindre mot, et avoir accès à toutes les informations du monde organisées d’une manière qui lui ressemble.

Nous œuvrons depuis des années à l’application de cette approche plus naturelle et intuitive de la recherche en ligne. Aujourd’hui, nous présentons trois avancées qui nous permettent de faire évoluer nos produits dans ce sens.

Une recherche visuelle plus naturelle

Les appareils photo existent depuis des centaines d’années. Ils sont généralement perçus comme des moyens de préserver des souvenirs ou, plus récemment, de créer du contenu. Aujourd’hui, un appareil photo peut également être un outil formidable pour accéder à l’information et comprendre le monde qui nous entoure, au point de remplacer nos claviers. C’est dans cette optique que nous avons lancé Google Lens en 2017, inaugurant l’ère de la recherche visuelle à l’aide d’un appareil photo ou d’une image. L’outil traite désormais 8 milliards de requêtes par mois.

Afin de rendre la recherche visuelle encore plus naturelle, nous avons créé Multisearch, un moyen inédit d’effectuer des recherches à partir d’images et de textes simultanément, de la même manière qu’on pointe du doigt l’objet de sa question tout en la posant.

Cette année, nous avons lancé la version bêta de Multisearch aux États-Unis et, comme nous venons de l’annoncer, nous allons étoffer l’outil de plus de 70 langues dans les mois à venir. Nous allons encore plus loin avec la fonction « Multisearch près de moi », qui permet de prendre une photo d’un objet inconnu, par exemple un plat ou une plante, puis de le trouver dans un endroit proche, comme un restaurant ou un magasin de jardinage.

Cet automne, nous commencerons à déployer « Multisearch près de moi » en anglais aux États-Unis.

Traduire le monde qui nous entoure

L’un des avantages de la communication visuelle est sa capacité à faire tomber les barrières linguistiques. Grâce aux progrès récents en matière d’IA, nous sommes passés de la traduction de texte à la traduction d’images. Nous enregistrons chaque mois plus d’un milliard d’utilisations de notre fonctionnalité qui permet de traduire du texte figurant dans des photos. Nos utilisateurs peuvent ainsi comprendre ce que veulent dire certains supports tels que des enseignes, des menus ou des pancartes dans plus de 100 langues différentes.

Cependant, c’est souvent la combinaison des mots et de leur contexte qui fait sens. Il est désormais possible de réintégrer le texte une fois traduit dans l’image originale grâce aux réseaux antagonistes génératifs (en anglais generative adversarial networks ou GAN), une technologie d’apprentissage automatique de nouvelle génération. Ainsi, en pointant un appareil photo sur un magazine étranger, le texte traduit apparaît désormais en superposition sur les images de la page, comme s’il y était imprimé.

Explorer le monde grâce à la vue immersive

Notre volonté de développer des expériences naturelles et intuitives ne se limite pas au cyberespace. Grâce aux progrès en matière de vision artificielle et de modèles prédictifs, nous réimaginons le concept de la carte, en passant d’une image en 2D à une vue multidimensionnelle du monde réel, afin que l’utilisateur puisse se représenter un lieu comme s’il y était.

Au même titre que l’affichage du trafic en temps réel, la vue immersive promet d’enrichir Google Maps en proposant une représentation dynamique de renseignements utiles tels que la météo et l’affluence. Cette nouvelle fonctionnalité va au-delà des renseignements classiques, et aide l’utilisateur à se faire une idée d’un lieu avant d’y avoir mis les pieds.

Prenons l’exemple d’un restaurant. Grâce à la vue immersive, il est possible de zoomer sur le quartier et sur le restaurant en question, pour visualiser des informations telles que la météo prévue et le taux de fréquentation à un moment précis. En combinant notre représentation avancée du monde et nos modèles prédictifs, nous pouvons fournir aux internautes une idée générale de ce qui les attend dans un lieu précis demain, la semaine prochaine, voire dans un mois. Dès aujourd’hui, nous ajoutons des images aériennes de 250 monuments à la première version de cette fonctionnalité, avant de lancer la vue immersive dans cinq villes majeures dans les mois à venir.

Ces fonctionnalités, parmi tant d’autres présentées lors du Search On nous permettent déjà d’aller plus loin que la barre de recherche traditionnelle avec nos produits, mais elles ne sont qu’un début. Nous sommes déterminés à créer des technologies qui s’adaptent à nos utilisateurs, pour les aider à mieux comprendre le monde qui les entoure, de la manière la plus naturelle possible.