10
Commentaires

À "L'Est Républicain", rapport (très) mitigé sur l'usage de ChatGPT

"L'Est Républicain" est le premier quotidien régional dont l'expérimentation d'IA comme secrétaire de rédaction a été rendue publique. Après trois mois d'essai sur une édition, le bilan est qualifié de "prometteur" par la direction, qui compte lancer d'autres expérimentations... mais dont les organisations syndicales dénoncent les erreurs, la pertinence aléatoire et le gain de temps limité. Les correspondants locaux, dont les textes ont été passés à la moulinette ChatGPT, s'indignent également. Des critiques confirmées par le rapport d'expertise externe qu'ASI a pu consulter.

Commentaires préférés des abonnés

Bref, si c'est juste pour faire de la correction orthographique, pas besoin de Chat gpt... Si c'est pour faire plus, cela nécessite une relecture attentive a posteriori et où est le gain ? Sauf si c'est pour faire du remplissage et dans ce cas, chat (...)

On aimerait avoir l'avis de chercheurs en linguistique computationnelle sur le sujet . 


Sachant toutefois, vu de loin, qu'il y a deux grandes approches dans ce domaine : les statistiques et la sémantique .


Les statisticiens en France ont gagné la (...)

Merci pour cet article qui pointe très précisément LA difficulté d'usage des arctefacts génératifs (voir cette présentation pour plus de détails). Ils sont conçus pour générer quelque chose de vraisemblable, et pas du tout quelque chose d'irréfutable(...)

Derniers commentaires

L'IA ça met du fun dans les articles.. et preuve est faite que ce n'est pas relu, peut-être même très peu lu ?

Sur franceinfo, dans un article signalé fait par IA :


"Juste au moment où l'on pense que c'est fini, les Tories sont frappés par une autre sandale sordide", a déclaré à l'AFP Tim Bale, professeur de politique à l'université Queen Mary de Londres. "Cela ne fera que confirmer ce que la plupart des électeurs, d'après les sondages, semblent penser


J'imagine les députés qui se tapent avec des sandales..


Il y a aussi la "défenestration"  de Boris Johnson et "se sont vu retirer le fouet", comme vocabulaire très imagé et qui laisse perplexe!

Et personne pour se souvenir de cette chronique d'intérêt public ?


A compléter avec cet article de Reporterre 


Surtout surtout surtout, ne jamais penser aux conséquences, environnementales, humaine ou sociale. 

Mais bon, la direction n'est pas à ça près...

<<Mahieu précise que le journal "garde cette forme de sérénité expérimentale pour avancer, s'approprier cette nouvelle technologie" dans le cadre "des valeurs" du groupe de presse : "Expérience, humain, proximité." >>

Visiblement, c'est Mahieu qui se cache derrière chatgpt...

Pour ceux que ça intéresse, j'ai fait des tests sur ces modèles de langage au moyen d'un petit quiz musical.

Je ne me suis pas focalisé sur les connaissances brutes (par ex : qui était le batteur des Beatles) mais plutôt sur la capacité de ces systèmes à faire des associations, des déductions, des raisonnements.

J'ai fait ce test en français et en anglais car je me suis aperçu qu'en posant la même question dans des langues différentes, on obtenait régulièrement des réponses différentes.


ChatGPT4 en anglais

ChatGPT4 en français


Mistral en anglais

Mistral en français


Llama2 en anglais


Spoiler alert : c'est pas brillant...

On aimerait avoir l'avis de chercheurs en linguistique computationnelle sur le sujet . 


Sachant toutefois, vu de loin, qu'il y a deux grandes approches dans ce domaine : les statistiques et la sémantique .


Les statisticiens en France ont gagné la partie . Des statistiques  ça a un petit côté rassurant, c'est forcément sérieux  en un mot  : "scientifique"...


Donc les chercheurs qui travaillent sur le sens des mots , sur les ambiguités sémantiques sont en difficulté ( crédits, postes ) face aux statisticiens .  Mais il y a encore quelques valeureux spécialistes qui ont réussi à sauver les meubles .


Par exemple le mot "nuit" dans un texte : s'agit-il de la nuit, ou du verbe nuire conjugué à la 3ème personne du présent ? 


Les statisticiens diront que dans X% des cas "nuit" désigne la nuit donc c'est la nuit  qui primera .


Les sémanticiens iront voir du côté de la construction de la phrase .


Comme  disait Raymond Devos : "se coucher tard, nuit" 


Ce  qui nous amène vers les membres de l'Oulipo qui essayaient dans les années 90 de développer un logiciel générateur de textes .


Ciel !


 les membres de l'Oulipo  feraient-ils partie de ceux qui ont initié le mouvement allant vers ces générateurs de textes produit par l'IA ?


Merci pour cet article qui pointe très précisément LA difficulté d'usage des arctefacts génératifs (voir cette présentation pour plus de détails). Ils sont conçus pour générer quelque chose de vraisemblable, et pas du tout quelque chose d'irréfutable comme on pourrait (naïvement) le penser.


Et au fait, il est temps de ne pas prendre l'habitude de parler d.'« hallucination». Quand un programme, fut-il aussi complexe qu'un arctefact génératif, produit un résultat inattendu c'est qu'il contient un bogue, ni plus ni moins.




Est ce que la version a été fine - tunée par Open AI sur demande du journal ?


Version 4 : ça ne suffit pas

Version 4 fine-tunée « journalistique » générique, ça ne suffit pas, à cause des biais culturels anglo saxons, et la différence entre chaque journal.


Si ça n’a pas été fait, ce n’est pas une expérience sérieuse, et on ne peut en tirer aucune conclusion.

Bref, si c'est juste pour faire de la correction orthographique, pas besoin de Chat gpt... Si c'est pour faire plus, cela nécessite une relecture attentive a posteriori et où est le gain ? Sauf si c'est pour faire du remplissage et dans ce cas, chat GPT y arrivera très bien. Mais est-ce du journalisme ? On sent un mépris pour le travail des correspondants locaux de la part de la direction, style de toute façon, tout le monde s'en fiche du loto de Trifouillis les oies. Alors que, soit on ne parle pas du tout des sujets hyper locaux, soit, si on le fait, on le fait bien et en donnant des faits exacts !

DÉCOUVRIR NOS FORMULES D'ABONNEMENT SANS ENGAGEMENT

(Conditions générales d'utilisation et de vente)
Pourquoi s'abonner ?
  • Accès illimité à tous nos articles, chroniques et émissions
  • Téléchargement des émissions en MP3 ou MP4
  • Partage d'un contenu à ses proches gratuitement chaque semaine
  • Vote pour choisir les contenus en accès gratuit chaque jeudi
  • Sans engagement
Devenir
Asinaute

5 € / mois
ou 50 € / an

Je m'abonne
Asinaute
Généreux

10 € / mois
ou 100 € / an

Je m'abonne
Asinaute
en galère

2 € / mois
ou 22 € / an

Je m'abonne
Abonnement
« cadeau »


50 € / an

J'offre ASI

Professionnels et collectivités, retrouvez vos offres dédiées ici

Abonnez-vous

En vous abonnant, vous contribuez à une information sur les médias indépendante et sans pub.