Google Bard est enfin arrivé en France ! Mon avis 😞 - Episode 9

Une IA conversationnelle de Google encore au stade expérimental

BARD, le robot conversationnel de Google, est enfin disponible en France. Depuis le 12 juillet 2023 à 9h01 (je l'ai lu dans un article de Numerama). Depuis le temps qu'on l'attend ! Depuis la Google I/O, le 10 mai dernier, on n'en pouvait plus de se faire narguer par les américains, avec leur Search Generative Experience, c'est à dire l'IA conversationnelle intégrée directement dans Google.

On n'en pouvait plus.

Mais ça y est, l'injustice est réparée. L'IA conversationnelle de Google est enfin disponible en France. Enfin, BARD n'est pas encore intégré dans le moteur de recherche chez nous, mais on peut enfin converser avec le chatbot sur un site dédié, bard.google.com, et on imagine qu'il sera disponible directement dans Google dans les jours qui viennent.

De toute évidence, BARD a réussi à se conformer au RGPD afin de protéger les données des utilisateurs. D'ailleurs, on remarque quand on arrive sur bard.google.com qu'on peut cliquer sur une petite pendule qui se trouve en haut à droite pour vérifier ses interactions avec BARD et éventuellement choisir de ne pas les partager avec Google.

Je suis cependant allé fouiller dans la FAQ où il est précisé que même quand on désactive l'option "Activité Bard", nos conversations sont enregistrées pendant 72 heures au maximum. C'est quand même bon à savoir.

Bon, tout ceci étant dit, qu'est-ce que ça donne, Bard ? Et bien je vais vous spoiler tout de suite, pour moi la déception est immense.

Il faut cependant que je sois juste, ma comparaison se fait entre Bard, qui est un outil totalement gratuit, et la version premium de ChatGPT, celle équipée du modèle GPT-4, qui est accessible uniquement via un abonnement payant.

Et c'est donc assez normal, quand on y réfléchi, qu'un outil gratuit soit moins abouti qu'un outil payant. Et peut-être aussi que le message implicite de Google consiste à nous dire que si nous voulons accéder à un meilleur outil, il ne faut pas hésitez à aller sur Vertex AI, la plateforme de machine learning de Google, où nous pouvons utiliser par exdemple l'IA générative PaLM 2, équipé du modèle Bison, moyennant un abonnement.

Et c'est même assez évident, tout simplement pour des questions de modèle économique. Construire et entraîner des outils tels que Bard, qui sont des grands modèles de langage, coûte des sommes folles, et Google veut évidemment gagner de l'argent avec. L'un des objectifs de Google est donc d'apâter l'utilisateur avec Bard, pour l'emmener ensuite vers Vertex AI.

Le problème, c'est que BARD est censé être lui-même alimenté par PaLM 2, l'IA générative qu'on retrouve dans Vertex AI, la plateforme de machine learning (vous suivez ?). Peut-être que Bard est équipé d'un modèle de PalM 2 un peu moins puissant (je n'ai pas vu de communication à ce sujet), mais ça me paraît quand même assez bizarre. Ca fait en effet des mois que Google n'arrête pas de communiquer sur le fait que son chatbot n'arrête pas de s'améliorer.

D'abord, lors de la Google I/O du 10 mai 2023, le géant américain avait expliqué que Bard était désormais alimenté par une technologie beaucoup plus puissante, passant du LLM LaMDA à PaLM 2.

Plus récemment, Google a communiqué sur le fait que son chatbot avait désormais des capacités améliorées en termes de génération de code (au vu des tests que j'ai pu faire, mais qu'est-ce que ça devait être avant ? 😱)

Enfin, tout récemment, Google a communiqué sur le fait que Bard était désormais capable de parler plus de 40 langues.

Au vu de toutes ces déclarations, je m'attendais forcément à un outil extraordinaire. Et forcément, la déception est à la hauteur de mes attentes : très importante.

On comprend pourquoi Google communique sur le fait que Bard en est au stade expérimental, c'est d'ailleurs marqué en gros sur l'outil.

Cela ne veut cependant pas dire que Bard n'a pas des points positifs

Les atouts de Bard

J'ai tout d'abord voulu savoir à quelle date s'arrêtait son apprentissage (nous savons que ChatGPT a été entraîné sur des données qui s'arrêtent à septembre 2021). J'ai donc posé la question directement à l'IA, qui m'a répondu qu'elle ne cessait pas d'apprendre. Pour le tester, je lui ai demandé qui avait gagné la dernière Coupe du monde de football, et il m'a donné une bonne réponse. Je l'ai poussé dans ses retranchements en lui demandant qui avait gagné la finale de Roland Garros chez les hommes en 2023. Là encore, il m'a donné la bonne réponse, en me fournissant le nom des 2 finalistes et le score exactes de la finale. Franchement, chapeau !

Et des points positifs, il y en a d'autres.

Bard est extrêmement rapide pour générer des réponses, infiniment plus que la version premium de ChatGPT (c'est l'un des 2 reproches que je fais au chatbot d'OpenAI)

Deuxièmement, pour chaque prompt qu'on lui envoie, Bard propose 3 réponses différentes. Très pratique, je trouve. Pas besoin de regénérer une réponse quand on n'est pas satisfait de la 1ère, on peut d'abord aller voir dans les autres suggestions du chatbot si quelque chose nous satisfait plus.

Troisièmement, Bard semble être à usage illimité. C'est à dire que non seulement il est gratuit, mais en plus on peut lui poser autant de questions qu'on le souhaite (contrairement à ChatGPT dans sa version premium, qui est limité à 25 prompts toutes les 3 heures, il s'agit du deuxième reproche que j'ai à lui faire). C'est là encore un très bon point pour le chatbot de Google, parce qu'on peut imaginer de nombreuses stratégies d'automatisation, avec des outils comme Automa par exemple, afin de faire générer à Bard des contenus en masse (pourquoi pas).

Autre point positif, on peut télécharger très facilement un fichier Google Sheet ou Google Doc, voire cliquer sur un bouton pour se retrouver sur Repl.it ou Google Colab (deux plateformes pour écrire et exécuter des scripts) afin de tester le code qu'on lui a demandé de générer.

Enfin, on peut envoyer une image à Bard pour nous demander de la décrire par exemple, ce que ne peut pas faire à ce jour ChatGPT, y compris dans sa version payante (cette fonctionnalité n'est pas disponible en France à l'heure où j'écris cet article, le 14 juillet 2023).

Bard a donc des atouts, et dépasse même ChatGPT version GPT-4 dans un certain nombre de fonctionnalités. Le problème, c'est que quand on est habitué comme moi à la qualité du raisonnement et des réponses apportées par la version payante de ChatGPT, ainsi qu'à son respect des instructions demandées, le chatbot de Google est à mon sens très décevant.

Les points faibles de Bard par rapport à ChatGPT

La première déception concerne le context window ou la fenêtre de contexte, c'est à dire la taille du prompt qu'on peut envoyer à bard. Je ne crois pas que Google ait communiqué sur ce sujet, mais je n'ai pas réussi à lui envoyer un prompt de plus de 1 600 mots. Cela représente environ 2000 tokens, ce qui n'est franchement peu. A titre de comparaison, la version gratuit de ChatGPT dispose aujourd'hui d'un context window de 16 000 tokens, ce qui n'a rien à voir.

Je tiens cependant à souligner que j'ai trouvé des informations à ce sujet-là dans la FAQ consacrée à Bard. A la question : "Pourquoi Bard ne se rappelle-t-il pas de ce que j'ai dit dans une conversation précédente?", Google répond : "La capacité de Bard à retenir le contexte d'une conversation est volontairement limitée pour l'instant. Au fur et à mesure que Bard apprend, sa capacité à maintenir le contexte lors de conversations longues s'améliore."

Patience, donc.

Deuxième déception, Bard n'est pas capable de récupérer le contenu d'une URL, contrairement à ce que peux faire la version premium de ChatGPT, grâce aux plugins. Pour m'en assurer, j'ai demandé au chatbot de me définir le style éditorial du contenu d'une URL. L'IA m'a donné une réponse, mais quand je lui ai demandé de me fournir des exemples du contenu de l'URL pour illustrer son propos, elle m'a donné des exemples complètement fictifs, qui n'étaient pas tirés de l'URL que je lui avais fournie. C'est ce qu'on appelle une hallucination dans le jargon des intelligences artificielles génératives.

Troisième déception, il ne semble pas possible à Bard de lui faire adopter un comportement spécifique pendant un certain nombre d'interactions. C'est ce qu'on appelle un super prompt. L'objectif est de définir dans un premier prompt le comportement que devra adopter le chatbot pendant les prochaines interactions. On peut utiliser ce genre de super prompt par exemple pour nous aider à trouver la meilleure invite possible sur un sujet donné. Il est par exemple possible de demander à ChatGPT de terminer systématiquement ses réponses par la question "Êtes-vous satisfait de ma réponse ?". Si l'utilisateur répond non, le chatbot est censé apporter une meilleure réponse que la précédente. Le processus se poursuit jusqu'à ce que vous répondiez "Oui" à la question de l'IA conversationnelle. Je n'ai pas réussi à lui faire adopter à BARD ce genre de comportement sur la durée (question de context window comme nous l'avons vu plus haut, vous me direz).

Autre déception, les réponses de Bard sont relativement courtes. Plus courtes en tout cas que celles de ChatGPT. C'est particulièrement embêtant si on souhaite lui demander de nous générer un texte optimisé pour le SEO. Dans toutes les générations que m'a faite Bard, les textes faisaient moins de 500 mots, quand ceux de ChatGPT s'approchent des 1 000 mots (c'est encore, clairement, une problèmatique de fenêtre de contexte qui est actuellement beaucoup trop courte, et qui fait à mes yeux qu'on ne peut pas travailler avec cet outil, contrairement à ChatGPT version premium).

Le respect des consignes données est également décevant chez Bard par rapport à l'IA conversationnelle d'OpenAI. Si je demande par exemple à Bard de me catégoriser une liste de mots-clés en me répondant sous la forme d'un tableau où chaque colonne représente une thématique et chaque ligne un seul mot-clé, l'IA de Google ne respecte jamais ma consigne, au contraire de ChatGPT qui m'apporte la réponse souhaitée.

Enfin, et c'est pour moi la plus grosse déception de Bard au regard des capacités incroyables de ChatGPT version GPT-4, l'IA conversationnelle de Google a beaucoup plus de mal à me générer un code opérationnelle que son concurrent. Pour le vérifier, j'ai demandé aux 2 chatbots de me développer une petite application streamlit en python capable de générer un knowledge graph à partir d'une requête tapée par l'utilisateur. Alors que ChatGPT m'a développé une app en une dizaine de minutes répondant parfaitement à mes attentes (via 2 ou 3 prompts, pas plus), Bard n'a jamais été en mesure de me fournir un code fonctionnel.

Un bilan globalement décevant pour le chatbot de Google

Mise à part quelques points positifs indéniables, comme sa gratuité, sa rapidité, son utilisation illimitée et ses connaissances qui semblent à jour, Bard est à ce jour très loin du niveau de la version premium de ChatGPT. Toute la communication de Google consiste à dire que son chatbot est encore en phase d'apprentissage et ne va faire que progresser dans le futur. Le géant américain nous annonce même que sa prochaine IA, dénommée Gemini, va surpasser son rival d'OpenAI. Mais force est de constater que pour le moment, Google est encore loin du niveau d'OpenAI en ce qui concerne l'IA conversationnelle. Y arrivera-t-il un jour ?