Les logiciels Compilatio détectent-ils les contenus issus de l'IA ?

Vers de nouvelles normes auxquelles s’adapter…

L’arrivée de l’Intelligence Artificielle dans la sphère publique secoue un grand nombre de domaines et l’enseignement n’y échappe pas. La forte communication liée à ces outils favorise l’effervescence : quel enseignant et étudiant n’a encore pas testé des logiciels comme ChatGPT ou DALL-E ? 

L’apparition de ces nouveaux outils numériques, l’adoption (toujours plus rapide !) de nouveaux usages, et parfois de nouvelles pratiques de fraude numérique, demandent aux établissements une capacité à évaluer plus vite leur importance et leur impact. 

 Et quand une évolution majeure est constatée, tous les acteurs doivent adapter “rapidement” les pratiques à cette nouvelle norme. 

Les logiciels antiplagiat très questionnés

 Notre position d’expert de l’intégrité académique amène nos clients à nous interroger sur tous les aspects de la “fraude numérique”, pas uniquement celles liées à la pratique du copier-coller. 

En tant que technologie, nous utilisons l’IA depuis plusieurs années dans nos services, pour détecter les similitudes, notamment pour définir les éléments caractéristiques d’un document afin de trouver les sources et pour catégoriser l’importance des sources. C’est bien là le cœur de métier de Compilatio. 

 Et si la recherche de sources dans un texte reste importante et essentielle, l'enjeu devient également plus large : “Est-ce que le style d'écriture appartient à l'étudiant qui dit avoir fait le travail ? Le texte rédigé l'a t'il été par un auteur humain ou une IA?". 

Compilatio priorise les nouvelles demandes de détection  

Suite à l’intérêt récent pour ChatGPT (dû à la performance de ses versions 3, 3.5 et 4), nous travaillons sur un outil de détection de textes générés par l'IA.

• Accès à notre page centrale sur le détecteur d'IA Compilatio
• Accès à plus d'informations sur le futur service : détecteur de contenus IA multilingue
  
  Compilatio pourra ainsi commercialiser prochainement ce service. 

En parallèle, nous continuons les travaux engagés depuis plusieurs année autour de l’utilisation de l’IA pour différentes tâches, avec notamment la préparation d'une fonctionnalité de détection des similitudes indifférente à la langue ou aux mots utilisés, basées sur le sens et l’agencement des idées dans le texte.

• Tâche 1 : Trouver les sources à partir desquelles ChatGPT a produit son texte.
  Sur ce point, nous évaluons l’efficacité de notre IA de détection de reformulation.

• Tâche 2 : Reconnaître le “style” des auteurs, pour répondre à deux questions :
  - Est-ce qu’un texte est cohérent avec le style de l’étudiant, au regard de ses productions antérieures connues ?
  - Est-ce qu’un texte est cohérent avec le style de “l’auteur ChatGPT3”?

Ces travaux permettront de déterminer si un texte a été rédigé partiellement ou totalement par l'auteur annoncé, et si ce dernier correspond à un auteur humain ou IA...

Toutefois, l’enjeu ne peut évidemment pas être purement technique. Beaucoup de pistes sont à explorer du côté pédagogique également !

Compilatio poursuit son accompagnement pédagogique

Il nous semble primordial de ne pas attendre ces futures évolutions techniques qui permettront de mieux identifier les contenus rédigés par des IA pour faire de la sensibilisation. Chez Compilatio, nous accordons toujours une très grande importance à la pédagogie. Cette dernière est au cœur de nos actions. Il faut, au maximum, sensibiliser et faire comprendre aux étudiants les enjeux de l’intégrité et de l’authenticité. Il faut les faire adhérer aux bons comportements pour que la tentation de triche diminue. C’est dans cette optique que nous avons rédigé l’article suivant : Votre guide sur le ghostwriting, rédacteur de mémoire et thèse. 

L'enjeu pour les enseignants est de continuer à partager aux étudiants le but des travaux et évaluations demandées. Par exemple, plutôt que de dire "Vous avez un mémoire à produire", il est plus pertinent d'annoncer : "Vous avez un mémoire à produire afin de montrer votre capacité à vérifier les informations :  pour cela, il doit inclure au moins 10 sources différentes. Ce mémoire permettra également de mettre en avant votre capacité à analyser ces diverses sources: alors, vous devez rédiger X lignes d'analyse personnelle, avec des exemples également personnels."  

Chacun doit bien avoir en tête qu’une intelligence artificielle s’appuie sur des données factuelles mais ne produit en aucun cas une analyse personnelle et argumentée. 

Dans le même temps, les réflexions sur la manière de travailler avec ces outils d’IA se multiplient. Quelques pistes à explorer ?

• ChatGPT : À Lyon, réflexion sur la cohabitation avec l’intelligence artificielle, Julien Barletta, Lyon Capital, 20/01/2023

"il faut renforcer l’apprentissage de la citation et les devoirs en présentiel. L’oral est un excellent outil pédagogique. De mon côté, je demande à mes étudiants d’utiliser des expériences personnelles pour illustrer leurs propos. Ça, Chat GPT en est incapable.”

• ChatGPT et enseignement : faut-il vraiment se sentir démunis, voire menacés par cette intelligence artificielle ?, Miguel Allo sur base du Focus de Marie Vancutsem, 11/01/2023

“voir l’arrivée de ChatGPT comme une opportunité, celle de revoir les méthodes d’évaluation, de s’éloigner plus encore de la simple restitution, par exemple en demandant à l’étudiant d’intégrer son expérience personnelle dans son texte, en favorisant plutôt sa créativité, l’application de concepts à une situation donnée, etc. C’est une tendance qui a déjà été implémentée par la pandémie et le distanciel. "Par exemple, beaucoup de collègues sont passés d’examens à livre fermé à des examens à livre ouvert, en disant que c’est plus proche de ce que les professionnels vont rencontrer dans leur vie ultérieure, et faire porter les questions sur de l’application, de l’analyse plus personnelle et plus spécifique."

• ChatGPT, une intelligence artificielle à bannir de l’éducation ?, le HuffPost avec AFP, 15/01/2023

“Malgré les craintes, certaines voix au sein du monde éducatif s’élèvent pourtant pour intégrer cette innovation dans les méthodes d’enseignement. « ChatGPT est une innovation importante mais pas plus que celle des calculatrices ou des éditeurs de texte »”

« ChatGPT peut aider à faire un premier jet lorsqu’on se retrouve face à une feuille blanche mais, après, il faut tout de même écrire, donner un style ».

“l’IA renverse également la philosophie de l’enseignement, fondée sur les questions du professeur. Cette fois, l’élève doit lui-même interroger la machine, « c’est une opportunité pour nous de voir comment les étudiants réalisent des tâches qu’on leur confie, de les faire travailler sur le fact-checking, et de vérifier si les références bibliographiques générées sont correctes »”