À "L'Est Républicain", rapport (très) mitigé sur l'usage de ChatGPT
"L'Est Républicain" est le premier quotidien régional dont l'expérimentation d'IA comme secrétaire de rédaction a été rendue publique. Après trois mois d'essai sur une édition, le bilan est qualifié de "prometteur" par la direction, qui compte lancer d'autres expérimentations... mais dont les organisations syndicales dénoncent les erreurs, la pertinence aléatoire et le gain de temps limité. Les correspondants locaux, dont les textes ont été passés à la moulinette ChatGPT, s'indignent également. Des critiques confirmées par le rapport d'expertise externe qu'ASI a pu consulter.
Abonnez-vous pour pouvoir commenter !
si vous êtes déjà abonné Connectez-vous Connectez-vous
Commentaires préférés des abonnés
Bref, si c'est juste pour faire de la correction orthographique, pas besoin de Chat gpt... Si c'est pour faire plus, cela nécessite une relecture attentive a posteriori et où est le gain ? Sauf si c'est pour faire du remplissage et dans ce cas, chat (...)
On aimerait avoir l'avis de chercheurs en linguistique computationnelle sur le sujet .
Sachant toutefois, vu de loin, qu'il y a deux grandes approches dans ce domaine : les statistiques et la sémantique .
Les statisticiens en France ont gagné la (...)
Merci pour cet article qui pointe très précisément LA difficulté d'usage des arctefacts génératifs (voir cette présentation pour plus de détails). Ils sont conçus pour générer quelque chose de vraisemblable, et pas du tout quelque chose d'irréfutable(...)
Derniers commentaires
L'IA ça met du fun dans les articles.. et preuve est faite que ce n'est pas relu, peut-être même très peu lu ?
Sur franceinfo, dans un article signalé fait par IA :
"Juste au moment où l'on pense que c'est fini, les Tories sont frappés par une autre sandale sordide", a déclaré à l'AFP Tim Bale, professeur de politique à l'université Queen Mary de Londres. "Cela ne fera que confirmer ce que la plupart des électeurs, d'après les sondages, semblent penser
J'imagine les députés qui se tapent avec des sandales..
Il y a aussi la "défenestration" de Boris Johnson et "se sont vu retirer le fouet", comme vocabulaire très imagé et qui laisse perplexe!
Et personne pour se souvenir de cette chronique d'intérêt public ?
A compléter avec cet article de Reporterre
Surtout surtout surtout, ne jamais penser aux conséquences, environnementales, humaine ou sociale.
Mais bon, la direction n'est pas à ça près...
<<Mahieu précise que le journal "garde cette forme de sérénité expérimentale pour avancer, s'approprier cette nouvelle technologie" dans le cadre "des valeurs" du groupe de presse : "Expérience, humain, proximité." >>
Visiblement, c'est Mahieu qui se cache derrière chatgpt...
Pour ceux que ça intéresse, j'ai fait des tests sur ces modèles de langage au moyen d'un petit quiz musical.
Je ne me suis pas focalisé sur les connaissances brutes (par ex : qui était le batteur des Beatles) mais plutôt sur la capacité de ces systèmes à faire des associations, des déductions, des raisonnements.
J'ai fait ce test en français et en anglais car je me suis aperçu qu'en posant la même question dans des langues différentes, on obtenait régulièrement des réponses différentes.
Spoiler alert : c'est pas brillant...
On aimerait avoir l'avis de chercheurs en linguistique computationnelle sur le sujet .
Sachant toutefois, vu de loin, qu'il y a deux grandes approches dans ce domaine : les statistiques et la sémantique .
Les statisticiens en France ont gagné la partie . Des statistiques ça a un petit côté rassurant, c'est forcément sérieux en un mot : "scientifique"...
Donc les chercheurs qui travaillent sur le sens des mots , sur les ambiguités sémantiques sont en difficulté ( crédits, postes ) face aux statisticiens . Mais il y a encore quelques valeureux spécialistes qui ont réussi à sauver les meubles .
Par exemple le mot "nuit" dans un texte : s'agit-il de la nuit, ou du verbe nuire conjugué à la 3ème personne du présent ?
Les statisticiens diront que dans X% des cas "nuit" désigne la nuit donc c'est la nuit qui primera .
Les sémanticiens iront voir du côté de la construction de la phrase .
Comme disait Raymond Devos : "se coucher tard, nuit"
Ciel !
les membres de l'Oulipo feraient-ils partie de ceux qui ont initié le mouvement allant vers ces générateurs de textes produit par l'IA ?
Merci pour cet article qui pointe très précisément LA difficulté d'usage des arctefacts génératifs (voir cette présentation pour plus de détails). Ils sont conçus pour générer quelque chose de vraisemblable, et pas du tout quelque chose d'irréfutable comme on pourrait (naïvement) le penser.
Et au fait, il est temps de ne pas prendre l'habitude de parler d.'« hallucination». Quand un programme, fut-il aussi complexe qu'un arctefact génératif, produit un résultat inattendu c'est qu'il contient un bogue, ni plus ni moins.
Quand un programme, fut-il aussi complexe qu'un arctefact génératif, produit un résultat inattendu c'est qu'il contient un bogue, ni plus ni moins.
Peut-on vraiment parler de bogue ? Ce terme est adéquat dans le cas d'un algorithme, mais les LLMs ne sont pas des algorithmes, d'ailleurs leurs créateurs ne savent pas vraiment comment ça fonctionne...
Jusqu'à preuve du contraire, un programme informatique quel qu'il soit implénente un algorithme. Je concède aisément qu'un algorithme qui n'a pas été écrit par un humain puisse être extrèmenent difficile à lire (quiconque a lu du code généré par un atelier de génie logiciel sait de quoi je parle), mais ça reste un algorithme.
Pour moi, l'emploi du terme « hallucination » sert juste à déresponsabiliser ceux qui mettent à disposition ces outils, de la même manière que pour les accident de la route quand on écrit que « un piéton a été écrasé par un camion » et pas « un piéton a été écrasé par un conducteur de camion » (alors que bizarrement, pour ce qui est du vélo, on incrimine bien plus facilement le cycliste).
Est ce que la version a été fine - tunée par Open AI sur demande du journal ?
Version 4 : ça ne suffit pas
Version 4 fine-tunée « journalistique » générique, ça ne suffit pas, à cause des biais culturels anglo saxons, et la différence entre chaque journal.
Si ça n’a pas été fait, ce n’est pas une expérience sérieuse, et on ne peut en tirer aucune conclusion.
Bref, si c'est juste pour faire de la correction orthographique, pas besoin de Chat gpt... Si c'est pour faire plus, cela nécessite une relecture attentive a posteriori et où est le gain ? Sauf si c'est pour faire du remplissage et dans ce cas, chat GPT y arrivera très bien. Mais est-ce du journalisme ? On sent un mépris pour le travail des correspondants locaux de la part de la direction, style de toute façon, tout le monde s'en fiche du loto de Trifouillis les oies. Alors que, soit on ne parle pas du tout des sujets hyper locaux, soit, si on le fait, on le fait bien et en donnant des faits exacts !