Le détecteur d'IA Compilatio est-il fiable ?

Le détecteur de contenu IA Compilatio permet de distinguer les textes humains des textes générés par les Intelligences Artificielles pour ainsi vérifier l’authenticité des écrits.

Comment bien mesurer la fiabilité du système Compilatio pour la détection de textes rédigés par IA ?

L’efficacité de la détection de contenus d’IA s’appuie sur, à la fois :

• la capacité du moteur de détection à étiqueter "IA" ou "humain" chacun des extraits de texte homogène qui lui sont présentés (texte homogène = texte entièrement généré par IA ou texte entièrement rédigé par humain)
• la capacité de l’analyse Compilatio à identifier dans un document hétérogène les passages attribuables à un auteur humain ou IA (texte hétérogène = texte contenant un mélange de textes rédigé par un humain et de textes générés par IA)

Note : les mesures de performance indiquées dans cet article sont valables pour le système Compilatio de détection de textes IA version 2.2, utilisé depuis le 12 octobre 2023.

La fiabilité du moteur de détection de texte IA

Le rôle du moteur de détection : étiqueter "IA" ou "humain" des courts extraits de textes

Le moteur de détection Compilatio utilise un modèle de langue (une intelligence artificielle spécialisée dans le traitement des langues) spécifiquement entraîné à déterminer si un texte s'apparente à une production provenant d'une IA ou d'un humain.

Ce « moteur de détection » reçoit les textes de sources inconnues et détermine, selon le style d'écriture, lesquels se rapprochent de textes rédigés par un humain et ceux rédigés par une intelligence artificielle.

Les mesures de fiabilité du moteur de détection

Pour avoir un regard complet sur la fiabilité, il convient de mesurer plusieurs indicateurs : la précision (precision), le rappel (recall) et l’exactitude (accuracy). Pour mieux comprendre comment sont calculés ces indicateurs, consultez les articles suivants : "Précision et rappel" et "Exactitude et précision".

• Précision du moteur de détection Compilatio : 92,50%
  La précision = la capacité du moteur à ne pas se tromper.
  Cela signifie que sur 20 éléments identifiés par le moteur comme “texte rédigé par une IA”, 19 sont bien générés par une IA et 1 seul est en réalité rédigé par un humain.
• Rappel du moteur de détection Compilatio : 92,50%
  Le rappel = la capacité du moteur à ne rien oublier.
  Cela signifie que sur 20 passages IA qu’il faut identifier, 19 sont correctement trouvés et 1 ne l'a pas été. 
• L’exactitude du moteur de détection Compilatio : 92,26%
  L'exactitude = la capacité à étiqueter correctement (humain ou IA) les textes.
  Cela signifie que sur 20 passages à étiqueter (humain ou IA), 19 ont été correctement étiquetés.

Ces mesures ont été réalisées sur 2.000 textes de quelques phrases en français, italien, espagnol et anglais. L’échantillon était constitué de 1.000 textes rédigés par des humains et 1.000 textes rédigés par Intelligence Artificielle. 

La fiabilité de l’analyse Compilatio

La tâche effectuée par Compilatio lors de l’analyse d’un document n’est pas uniquement de juger si des textes sont attribuables à 100% à l’IA ou à 100% aux humains (comme le fait le moteur de détection d’IA).

Le rôle de l’analyse est d’identifier et de quantifier les passages susceptibles d’être rédigés par une IA ou par un humain dans un texte contenant un mélange des deux sources (document hétérogène).

Cela signifie que dans un document contenant 10 passages à étiqueter (humain ou IA), 9 sont correctement étiquetés.

L’illustration ci-dessous est représentative du niveau d’efficacité mesuré, pour le système actuellement proposé par Compilatio :

Précaution à prendre concernant les mesures d’efficacité

Les statistiques communiquées décrivent la performance globale du service sur un grand nombre de documents représentatifs de travaux d’étudiants.
Dans les faits, les sources (IA ou humains) de certains passages/documents peuvent être parfaitement identifiés, et d’autres moins bien. Gardez à l’esprit que la détection d’IA s’appuie sur la reconnaissance de caractéristiques stylistiques typiques des textes rédigés par une IA ; il peut arriver qu’un humain ait un style similaire à celui d’une intelligence artificielle.

Aucun détecteur d'IA ne peut être fiable à 100%.

Il est primordial de se rappeler que les outils Compilatio fournissent des indications sur des passages suspects. Il revient toujours au correcteur d'interpréter ces informations pour valider ou imputer les fraudes potentielles. En cas de doute, procédez à un examen plus approfondi des connaissances de l’étudiant sur les passages suspects.

Le détecteur d'IA Compilatio s'adaptera-t-il aux avancées permanentes des IA ?

Consultez la réponse ici : https://compilatio.zendesk.com/knowledge/articles/17435773405329/fr?brand_id=114094448134