Il rivelatore di contenuti IA Compilatio permette di distinguere tra testi umani e testi generati da intelligenze artificiali per verificare l'autenticità degli scritti.
1. Come si misura l'affidabilità del sistema Compilatio per l'individuazione di testi scritti dall'IA?
L'efficacia del rilevamento dei contenuti AI si basa su:
Capacità del motore di rilevamento di etichettare "AI" o "umano" ciascuno degli estratti di testo uniforme presentato ad esso (testo omogeneo = testo interamente generato dall'IA o testo interamente scritto da un umano).
Capacità di analisi di Compilatio per identificare in un documento eterogeneo passaggi attribuibili a un autore umano o IA (testo eterogeneo = testo contenente una miscela di testo scritto da un essere umano e testo generato dall'IA).
Nota: Le misurazioni delle prestazioni riportate in questo articolo sono valide per il sistema di rilevamento del testo Compilatio IA versione 4.5.3, in uso dal 4 settembre 2025.
2. L'affidabilità del motore di rilevamento del testo AI
Il ruolo del motore di rilevamento: etichettare brevi estratti di testo come "AI" o "umani".
Il motore di rilevamento di Compilatio utilizza un modello linguistico (un'intelligenza artificiale specializzata nell'elaborazione del linguaggio) specificamente formato per determinare se un testo è simile a qualcosa prodotto da un'intelligenza artificiale o da un essere umano.
Questo "motore di rilevamento" riceve testi provenienti da fonti sconosciute e determina, in base alla stile di scrittura, quali sono simili ai testi scritti dagli esseri umani e a quelli scritti dall'intelligenza artificiale.
Misure di affidabilità del motore di rilevamento
Per ottenere uno sguardo completo sull'affidabilità è importante misurare diversi indicatori: precisione, richiamo e accuratezza. Per una migliore comprensione di come vengono calcolati questi indicatori, si vedano i seguenti articoli: "Precisione e richiamo" e "Accuratezza e precisione".
Il motore di rilevamento Compilatio raggiunge un tasso di affidabilità dal 94 al 99% sui contenuti accademici, a seconda della lunghezza del documento, della lingua e della natura del contenuto analizzato.
Il motore di rilevamento Compilatio mostra un tasso di falsi positivi inferiore all'1%.
Ciò significa che su 100 passaggi identificati come scritti da un essere umano, meno di 1 viene identificato erroneamente come generato da un'IA.
Queste misurazioni sono state effettuate su circa 7.400 testi in 24 lingue. Il campione era costituito da 3.700 testi scritti da esseri umani e 3.700 testi scritti da Intelligenza Artificiale.
Le domande poste all'IA per generare i testi erano domande semplici senza istruzioni specifiche sullo stile di scrittura.
3. L'affidabilità di Compilatio
Il compito svolto da Compilatio durante l'analisi di un documento non si limita a stabilire se un testo sia attribuibile al 100% all'IA o al 100% a un essere umano (come fa il motore di rilevamento).
Il ruolo dell'analisi è quello di identificare e quantificare, all'interno di un documento eterogeneo (un misto di testo scritto da umani e generato dall'IA), i passaggi che potrebbero appartenere a ciascuna fonte.
Questo compito è intrinsecamente più complesso da misurare con un indicatore unico rispetto a quello del motore di rilevamento. Le prestazioni dipendono infatti da diversi fattori propri di ciascun documento: il numero di passaggi da etichettare, la loro rispettiva lunghezza e la proporzione del mix umano/IA. A differenza del test del motore di rilevamento (condotto su un corpus controllato e omogeneo), ogni documento eterogeneo presenta una configurazione diversa, il che rende una cifra unica poco rappresentativa della realtà.
Per questo motivo raccomandiamo di fare riferimento al tasso di affidabilità del motore di rilevamento (dal 94 al 99%, a seconda della lingua, della lunghezza del documento e del tipo di contenuto) come indicatore di riferimento, e di considerare l'analisi dei documenti eterogenei come uno strumento di supporto alla decisione piuttosto che un punteggio di prestazione isolato.
L'illustrazione qui sotto mostra un esempio rappresentativo di come l'analisi identifica i passaggi all'interno di un documento misto:
4. Precauzioni da adottare per le misure di efficienza
Le statistiche fornite descrivono le prestazioni complessive del servizio su un gran numero di documenti che rappresentano il lavoro degli studenti.
In pratica, le fonti (IA o umani) di alcuni passaggi/documenti possono essere perfettamente identificate, mentre altre meno. Si tenga presente che il rilevamento dell'IA si basa sul riconoscimento delle caratteristiche stilistiche tipiche dei testi scritti da un'IA; può accadere che un umano abbia uno stile simile a quello di un'intelligenza artificiale.
Nessun rilevatore AI può essere affidabile al 100%.
I tassi di affidabilità comunicati dai rilevatori di IA non sono comparabili! È difficile confrontare oggettivamente l'affidabilità degli strumenti di rilevamento dell'intelligenza artificiale se gli ambienti di test sono diversi.
Le misurazioni possono cambiare a seconda di una serie di fattori: origine e lingua del corpus, numero di documenti testati, modello generativo di IA utilizzato, origine dei documenti umani, impegno dell'azienda a non manipolare i risultati, ecc.
È importante ricordare che gli strumenti di Compilatio forniscono indicazioni su passaggi sospetti. Spetta sempre al valutatore interpretare queste informazioni per convalidare o segnalare una potenziale frode. In caso di dubbio, è opportuno effettuare un esame più approfondito della conoscenza dei brani sospetti da parte dello studente.
Per sapere se le nostre soluzioni fanno al caso vostro, contattate i nostri consulenti.
5. Compilatio AI Detector è multilingue?
Sì, Compilatio AI Detector è multilingue. Può identificare contenuti AI in diverse lingue: francese, inglese, spagnolo, italiano, portoghese, russo, arabo, hindi e altre lingue di tutto il mondo!
Le misure di affidabilità sono state effettuate su testi in 24 lingue: arabo, croato, ceco, danese, olandese, inglese, finlandese, francese, tedesco, greco moderno, hindi, ungherese, italiano, norvegese, polacco, portoghese, rumeno, russo, serbo, slovacco, sloveno, spagnolo, svedese e ucraino.
Il rilevatore AI di Compilatio si adatterà ai continui progressi dell'intelligenza artificiale?
Leggete qui la risposta: https://support.compilatio.net/hc/it/articles/17435773405329
|
* Promemoria: Il rilevatore Compilatio AI è disponibile con l'abbonamento a Compilatio Magister+. Per saperne di più, visitate il nostro sito web: https://www.compilatio.net/it/magister-plus |
📌 Domande su Magister, Magister+, il plagio o l'IA?
Ottieni risposte in diretta durante il nostro Webinar "Domande & Risposte".
👉 Iscriviti alla prossima sessione
Questo articolo è stato tradotto con un traduttore automatico. Se notate errori di traduzione, fatecelo sapere.