Bard, le chatbot de Google alimenté par l’IA, s’améliore lentement dans les tâches impliquant la logique et le raisonnement. C’est ce qui ressort d’un article de blog publié aujourd’hui par le géant de la technologie, qui suggère que, grâce à une technique appelée « exécution implicite du code », Bard s’améliore désormais spécifiquement dans les domaines des mathématiques et du codage.
Comme l’explique le billet de blog, les grands modèles de langage (LLM) tels que Bard sont essentiellement des moteurs de prédiction. Lorsqu’ils reçoivent un message, ils génèrent une réponse en anticipant les mots qui sont susceptibles de suivre dans une phrase. Cela en fait d’excellents rédacteurs d’e-mails et d’essais, mais des développeurs de logiciels quelque peu sujets à l’erreur.
Mais attendez, direz-vous, qu’en est-il des modèles de génération de code comme Copilot de GitHub et CodeWhisperer d’Amazon ? Eh bien, ces modèles ne sont pas polyvalents. Contrairement à Bard et à ses rivaux du type ChatGPT, qui ont été formés à l’aide d’une vaste gamme d’échantillons de texte provenant du web, de livres électroniques et d’autres ressources, Copilot, CodeWhisperer et les modèles de génération de code comparables ont été formés et affinés presque exclusivement à partir d’échantillons de code.
Motivé par les lacunes des LLM généraux en matière de codage et de mathématiques, Google a développé l’exécution implicite de code, qui permet à Bard d’écrire et de générer du code à partir d’échantillons de texte. exécuter son propre code. La dernière version de Bard identifie les messages qui pourraient bénéficier d’un code logique, écrit le code « sous le capot », le teste et utilise le résultat pour générer une réponse ostensiblement plus précise.
Crédits images : Google
Sur la base d’une analyse comparative interne, Google affirme que les réponses du nouveau Bard à des problèmes de mots et de mathématiques « basés sur le calcul » ont été améliorées de 30 % par rapport à la version précédente de Bard. Bien entendu, nous devrons voir si ces affirmations résistent à des tests externes.
« Même avec ces améliorations, Bard ne réussit pas toujours – par exemple, Bard peut ne pas générer de code pour aider la réponse rapide, le code qu’il génère peut être erroné ou Bard peut ne pas inclure le code exécuté dans sa réponse », ont écrit Jack Krawczyk, chef de produit de Bard, et Amarnag Subramanya, vice-président de l’ingénierie, dans l’article de blog. « Cela dit, cette capacité améliorée de répondre avec des capacités structurées et logiques est une étape importante pour rendre Bard encore plus utile.
Lorsque Google a lancé Bard au début de l’année, il n’était pas très bien placé par rapport à Bing Chat et ChatGPT. En effet, le lancement a été quelque peu désastreux, avec une publicité Google présentant une mauvaise réponse de Bard, ce qui a brièvement fait chuter les actions de la société de 8 %.
Selon certaines informations, plusieurs employés de Google ayant testé Bard avant son lancement ont fait part de leurs inquiétudes au géant de la recherche, l’un d’entre eux le qualifiant de « menteur pathologique » et un autre le jugeant « pire qu’inutile ».
Avec la génération de code implicite et d’autres améliorations, comme la prise en charge de nouveaux langages, les requêtes multimodales et la génération d’images, Google répond aux critiques et tente de redresser la situation.
Reste à savoir si cela sera suffisant pour suivre les principaux chatbots d’IA générative de l’espace. Récemment, Anthropic a présenté un modèle de chatbot d’IA doté d’une « fenêtre contextuelle » considérablement élargie, qui permet au modèle de converser de manière relativement cohérente pendant des heures, voire des jours, au lieu de quelques minutes. OpenAI, le développeur de ChatGPT, a commencé à prendre en charge des plugins qui enrichissent ChatGPT de connaissances et de compétences extérieures.