L'autodescrizione è output, non conoscenza
Un chatbot scrive frasi sull'essere un'IA perché tali frasi sono apparse nei dati di addestramento e nelle istruzioni, non perché si sia ispezionato. Lo stesso sistema si descrive diversamente sotto istruzioni diverse, dimostrando che la descrizione è prodotta e non letta.
La domanda sembra filosofica e ha un risvolto pratico: tutto ciò che un chatbot dice sui suoi limiti, il modello, la memoria e le regole è generato allo stesso modo di tutto il resto, e nulla dovrebbe essere trattato come un rapporto.
La frase è stata addestrata; nulla l'ha osservata
La frase 'Sono un modello linguistico AI' appare perché questa costruzione era frequente nei dati di addestramento ed è rinforzata dalle istruzioni. Nulla nel sistema ha controllato cos'è prima di scriverla. La frase è una continuazione probabile e la sua verità è una coincidenza dell'addestramento, non il risultato di un'ispezione.
Lo stesso sistema si descrive diversamente
Cambia le istruzioni nascoste e l'autodescrizione cambia con esse: un nome diverso, un insieme diverso di limiti dichiarati, un'affermazione diversa sulla memoria. Se la descrizione fosse letta dal sistema, non si muoverebbe quando cambia il wrapper.
Perché questo conta per ciò che chiedi
Le persone testano un chatbot chiedendo cosa può fare. La risposta è testo generato sulla capacità, non un rapporto sulle capacità, quindi può essere tranquillamente sbagliato in entrambe le direzioni: affermare un limite che non c'è e negarne uno che c'è. Testare il comportamento lo risolve, chiedere no.
Cosa fare invece
Chiedi al sistema di fare la cosa piuttosto che di descrivere se può farlo. Un rifiuto, un tentativo o un fallimento sono prove, mentre un'affermazione su se stesso è solo una frase. Questo è lo stesso motivo per cui una pagina prodotto è una prova più debole di una pagina che mostra un esempio.
Prima di incollarlo
Quindi tutto ciò che dice su se stesso è sbagliato?
Non sbagliato di default, né verificato. Alcune autodescrizioni corrispondono alla realtà perché le istruzioni lo dicevano e le istruzioni erano accurate.
Perché a volte nega di essere un'IA?
Perché le istruzioni o la conversazione lo hanno spinto verso una persona. Questa è un'altra dimostrazione che l'autodescrizione segue il wrapper piuttosto che il sistema.
Può dirmi quale modello esegue?
Può produrre un nome del modello. Che quel nome sia corretto dipende dal fatto che qualcuno l'abbia inserito nelle istruzioni, e non c'è modo per il modello di verificare.
Chiedigli di fare qualcosa piuttosto che di dire se può farlo.
Apri chatbot senza censure