El detector de contenidos IA Compilatio permite distinguir entre textos humanos y textos generados por Inteligencias Artificiales para verificar la autenticidad de los escritos.
¿Cómo mide la fiabilidad del sistema Compilatio para detectar textos escritos por la IA?
La eficacia de la detección de contenidos mediante IA se basa en:
- La capacidad del motor de detección etiquetar como "IA" o "humano" cada uno de los extractos de texto uniforme que se le presente (texte homogéneo = texto enteramente generado por IA o texto enteramente escrito por un humano).
- Capacidad de recopilación y análisis identificar en un documento heterogéneo pasajes atribuibles a un autor humano o de IA (texto heterogéneo = texto que contiene una mezcla de texto escrito por un humano y texto generado por IA).
Nota: Las mediciones de rendimiento ofrecidas en este artículo son válidas para el sistema de detección de texto Compilatio IA versión 4.2.1, en uso desde el 15 de octubre de 2024.
Fiabilidad del motor de detección de texto
El papel del motor de detección: etiquetar breves fragmentos de texto como "IA" o "humano".
El motor de detección de Compilatio utiliza un modelo lingüístico (una inteligencia artificial especializada en el tratamiento del lenguaje) específicamente formados para determinar si un texto es similar a algo producido por una IA o por un humano.
Este "motor de detección" recibe textos de fuentes desconocidas y determina, en función del estilo de redacción que son similares a los textos escritos por humanos y a los escritos por inteligencia artificial.
Medidas de fiabilidad del motor de detección
Para obtener una visión completa de la fiabilidad necesitamos medir varios indicadores precisión, recuperación y exactitud. Para comprender mejor cómo se calculan estos indicadores, consulte los siguientes artículos: "Precisión y recuperación" y "Exactitud y precisión".
-
Precisión del motor de detección de Compilatio: 98,5%
Precisión = capacidad del motor para no cometer errores.
Esto significa que de los 20 elementos identificados por el motor como "texto escrito por una IA", 19 son efectivamente generados por una IA y 1 es realmente escrito por un humano. -
Recuperación del motor de detección Compilatio: 92,75%
Memoria = capacidad del motor para recordarlo todo.
Esto significa que de los 20 pasajes de IA que hay que identificar, 19 se encuentran correctamente y 1 no. -
Exactitud del motor de detección Compilatio: 95,75%
Exactitud = capacidad de etiquetar textos correctamente (humano o IA).
Esto significa que de 20 pasajes que había que etiquetar (humano o IA), 19 se etiquetaron correctamente.
Estas mediciones se realizaron sobre 2.000 textos de unas pocas frases cada uno en francés, italiano, español e inglés. La muestra constaba de 1.000 textos escritos por humanos y 1.000 textos escritos por Inteligencia Artificial.
La fiabilidad de Compilatio
La tarea de Compilatio al analizar un documento no consiste simplemente en juzgar si los textos son 100% atribuibles a la IA o 100% atribuibles a los humanos (como hace el motor de detección de IA).
El papel del análisis es identificar y cuantificar los pasajes es probable que lo escriba una IA o un humano en un texto que contiene una mezcla de ambas fuentes (documento heterogéneo).
|
Rendimiento final del sistema Compilatio de detección de textos escritos por IA es 9/10. |
Esto significa que en un documento que contiene 10 pasajes que hay que etiquetar (humano o IA), 9 están correctamente etiquetados.
La siguiente ilustración es representativa del nivel de eficacia medido para el sistema que ofrece actualmente Compilatio:
Precauciones que deben tomarse en relación con las medidas de eficiencia
Las estadísticas facilitadas describen la rendimiento general servicio sobre un gran número de documentos que representan el trabajo de los estudiantes.
En la práctica, las fuentes (IA o humano) de determinados pasajes/documentos pueden identificarse perfectamente, y otras no tanto. Hay que tener en cuenta que la detección de IA se basa en el reconocimiento de las características estilísticas típicas de los textos escritos por una IA; puede ocurrir que un humano tenga un estilo similar al de una inteligencia artificial.
Ningún detector AI puede ser fiable al 100%.
Los índices de fiabilidad comunicados por los detectores de IA no son comparables. Es difícil comparar objetivamente la fiabilidad de las herramientas de detección de IA si los entornos de prueba difieren.
Las mediciones pueden cambiar en función de varios factores: origen e idioma del corpus, número de documentos probados, modelo generativo de IA utilizado, origen de los documentos humanos, compromiso de la empresa de no manipular los resultados, etc.
Es importante recordar que las herramientas de Compilatio proporcionan indicaciones en pasajes sospechosos. Corresponde siempre al examinador interpretar esta información para validar o imputar un posible fraude. En caso de duda, realice un examen más exhaustivo de los conocimientos del alumno sobre los pasajes sospechosos.
Para saber si nuestras soluciones son adecuadas para usted, póngase en contacto con nuestros consejeros.
¿Es multilingüe el Detector AI Compilatio?
Sí, Compilatio AI Detector es multilingüe. Puede identificar contenidos de IA en varios idiomas: francés, inglés, español, italiano, portugués y otros idiomas de todo el mundo.
Se han realizado mediciones de fiabilidad en textos en varios idiomas.
¿Se adaptará el detector de IA Compilatio a los constantes avances de la IA?
Lea la respuesta aquí: https://support.compilatio.net/hc/es/articles/17435773405329--Se-adapta-el-detector-de-IA-Compilatio-a-los-continuos-avances-de-la-IA
|
* Recordatorio: |
Este artículo se ha traducido automáticamente. ¿Tiene alguna sugerencia de mejora? Póngase en contacto con nosotros.