Qu'est-ce que l'algorithme BERT de Google ?

Article écrit par Julien Gourdon
ancien journaliste et consultant SEO depuis 2015

BERT (Bidirectional Encoder Representations from Transformers) est un algorithme de traitement du langage naturel développé par Google en 2018. Il est utilisé pour améliorer la compréhension des requêtes des utilisateurs, et notamment des requêtes complexes, dans son moteur de recherche.

BERT se base sur les réseaux de neurones et utilise le mécanisme de l'attention pour comprendre le contexte des mots dans une phrase et leur signification relative les uns par rapport aux autres. Cela permet à l'algorithme de mieux comprendre la signification des phrases complexes et pour Google de renvoyer des résultats plus précis par rapport aux requêtes des utilisateurs.

Entraîné sur un très grand corpus de textes en ligne, BERT est en mesure de comprendre les conventions linguistiques et les relations entre les mots de manière très fine (selon qu'un même mot est placé avant ou après un autre mot peut radicalement changer le sens d'une phrase, ce que les algorithmes précédents avaient plus de mal à identifier, surtout dans d'autres langues que l'anglais). BERT est également capable, grâce au mécanisme de l'attention, de traiter des phrases dans leur contexte global, ce qui signifie qu'il peut comprendre les nuances et les sous-entendus.

En conclusion, BERT est un algorithme de traitement automatique du langage naturel qui utilise les réseaux de neurones et le mécanisme de l'attention pour comprendre les requêtes des utilisateurs de manière plus précise, ce qui aide Google à fournir des réponses plus pertinentes aux utilisateurs.