Autodescrição é saída, não conhecimento
Um chatbot escreve sobre ser uma IA porque essas frases apareceram no treinamento e nas instruções, não porque ele se inspecionou. O mesmo sistema se descreve de forma diferente sob instruções distintas, o que mostra que a descrição é produzida, não lida.
A pergunta soa filosófica e tem um lado prático: tudo o que um chatbot diz sobre seus limites, modelo, memória e regras é gerado da mesma forma que tudo o mais, e nada disso deve ser tratado como um relatório.
A frase foi treinada; nada a observou
"Como um modelo de linguagem de IA" aparece porque essa construção era frequente nos dados de treinamento e é reforçada pelas instruções. Nada no sistema verificou o que ele é antes de escrevê-la. A frase é uma provável continuação, e sua verdade é uma coincidência do treinamento, não resultado de inspeção.
O mesmo sistema se descreve de forma diferente
Altere as instruções ocultas e a autodescrição muda com elas: um nome diferente, um conjunto diferente de limites declarados, uma afirmação diferente sobre a memória. Se a descrição fosse lida do sistema, ela não mudaria quando o wrapper mudasse.
Por que isso importa para o que você pergunta
As pessoas testam um chatbot perguntando o que ele pode fazer. A resposta é texto gerado sobre capacidade, não um relatório de capacidade, então pode estar confiantemente errada em ambas as direções: afirmar um limite que não existe e negar um que existe. Testar o comportamento resolve isso, e perguntar não.
O que fazer em vez disso
Peça ao sistema para fazer a coisa em vez de descrever se ele pode. Uma recusa, uma tentativa ou uma falha são evidências, e uma afirmação sobre si mesmo é uma frase. Esta é a mesma razão pela qual uma página de produto é uma evidência mais fraca do que uma página que mostra um exemplo.
Antes de colar
Então tudo o que ele diz sobre si mesmo é errado?
Não errado por padrão, nem verificado. Algumas autodescrições correspondem à realidade porque as instruções diziam isso e as instruções eram precisas.
Por que ele às vezes nega ser uma IA?
Porque as instruções ou a conversa o empurraram para uma persona. Isso é outra demonstração de que a autodescrição segue o wrapper, não o sistema.
Ele pode me dizer qual modelo ele executa?
Ele pode produzir um nome de modelo. Se esse nome está correto depende de alguém tê-lo colocado nas instruções, e não há como o modelo verificar.
Peça para ele fazer algo em vez de dizer se ele pode.
Abrir chatbot sem censura