L'auto-description est une sortie, pas une connaissance
Un chatbot écrit des phrases sur le fait d'être une IA car ces phrases figuraient dans ses données d'entraînement et ses instructions, et non parce qu'il s'est inspecté. Le même système se décrit différemment selon les instructions, ce qui prouve que la description est produite plutôt que lue.
La question semble philosophique et a une portée pratique : tout ce qu'un chatbot dit sur ses limites, son modèle, sa mémoire et ses règles est généré de la même manière que tout le reste, et rien ne doit être traité comme un rapport.
La phrase a été entraînée ; rien ne l'a observée
L'expression « en tant que modèle de langage IA » apparaît car cette construction était fréquente dans les données d'entraînement et est renforcée par les instructions. Rien dans le système n'a vérifié ce qu'il est avant de l'écrire. La phrase est une continuation probable, et sa vérité est une coïncidence de l'entraînement plutôt qu'un résultat d'inspection.
Le même système se décrit différemment
Modifiez les instructions cachées et l'auto-description change avec elles : un nom différent, un ensemble différent de limites déclarées, une affirmation différente sur la mémoire. Si la description était lue depuis le système, elle ne bougerait pas lorsque l'enveloppe change.
Pourquoi cela compte pour ce que vous demandez
Les gens testent un chatbot en lui demandant ce qu'il peut faire. La réponse est un texte généré sur la capacité plutôt qu'un rapport de capacité, donc il peut être confidentiellement faux dans les deux sens : affirmer une limite qui n'existe pas et nier une qui existe. Tester le comportement règle la question, demander non.
Ce qu'il faut faire à la place
Demandez au système de faire la chose plutôt que de décrire s'il le peut. Un refus, une tentative ou un échec sont des preuves, et une déclaration sur soi est une phrase. C'est la même raison pour laquelle une page produit est une preuve plus faible qu'une page qui montre un exemple.
Avant de coller votre texte
Donc tout ce qu'il dit sur lui-même est faux ?
Pas faux par défaut, et pas vérifié non plus. Certaines auto-descriptions correspondent à la réalité car les instructions le disaient et les instructions étaient exactes.
Pourquoi nie-t-il parfois être une IA ?
Parce que les instructions ou la conversation l'ont poussé vers un persona. C'est une autre démonstration que l'auto-description suit l'enveloppe plutôt que le système.
Peut-il me dire quel modèle il utilise ?
Il peut produire un nom de modèle. Le fait que ce nom soit correct dépend de savoir si quelqu'un l'a mis dans les instructions, et il n'y a aucun moyen pour le modèle de vérifier.
Demandez-lui de faire quelque chose plutôt que de dire s'il le peut.
Ouvrir le chatbot sans censure