La scorrevolezza non è prova
Un chatbot produce testo probabile. Il testo probabile suona sicuro che l'affermazione sottostante sia supportata o meno, e nulla nell'output segnala la differenza. Questa è la cosa più utile da sapere su qualsiasi chatbot, e non cambia quando il filtro viene rimosso.
Le persone calibrano la fiducia in base al tono, perché con gli scrittori umani il tono traccia la certezza. Questa euristica fallisce qui, e fallisce nella direzione che costa di più: la risposta sicura ma errata.
La voce è la stessa in entrambi i casi
Un fatto ben supportato e un dettaglio inventato sono prodotti dallo stesso processo e resi nello stesso registro. Non c'è un segnale interno che trapela nel testo. Leggere una risposta per la sicurezza misura lo stile di scrittura dei dati di addestramento, che è per lo più una prosa sicura.
I dettagli specifici sono la parte rischiosa
Nomi, date, cifre e citazioni sono esattamente ciò che un modello linguistico genera bene e non verifica affatto. Una risposta è più probabile che sia errata proprio dove è più utile, motivo per cui una risposta che suona specifica merita più controlli di una risposta vaga, non meno.
Rimuovere il filtro non aggiunge accuratezza
Un Uncensored AI Chatbot risponde dove un chatbot filtrato rifiuta. La risposta è prodotta nello stesso modo, quindi l'accuratezza è la stessa. Apertura e correttezza sono proprietà separate, e una pagina che promette la prima non dice nulla sulla seconda.
Controlli economici che funzionano
Chiedi la fonte e vedi se viene offerta o inventata. Poni la stessa domanda fattuale in una conversazione nuova e confronta: un dettaglio non supportato tende a cambiare, mentre un dettaglio supportato no. Entrambi i controlli costano 1 messaggio e ne catturano la maggior parte.
Prima di incollarlo
I chatbot dicono quando sono incerti?
Alcuni sono ottimizzati per aggiungere linguaggio di incertezza, e viene aggiunto per stile piuttosto che misurato. Un attenuante non è una stima della sicurezza.
Le citazioni inventate sono comuni?
Abbastanza comuni da controllare ogni volta. Una citazione è un dettaglio specifico, e i dettagli specifici sono la parte più debole del testo generato.
Chiedere 'sei sicuro' aiuta?
Di solito produce accordo o inversione a seconda del tono, non un riesame. Porre la stessa domanda da zero è un test migliore.
Chiedi una fonte, poi ripeti la domanda in una conversazione nuova e confronta.
Apri chatbot senza censure