As 4 partes por trás de uma resposta
Um chatbot é um modelo mais 3 coisas: instruções ocultas, memória da conversa e filtro. As pessoas culpam o modelo por comportamentos que vêm dos outros 3, por isso produtos no mesmo modelo podem parecer diferentes.
O modelo é a parte que todo mundo nomeia e a mais difícil de mudar. As outras 3 são decisões de produto, variam entre serviços e explicam a maioria das coisas que você nota.
Nesta página
O modelo fornece a linguagem
Ele transforma uma sequência de texto em uma provável continuação. Não tem memória entre solicitações e não tem noção de você. Tudo que parece continuidade foi adicionado ao redor por outras partes, e o modelo é o mesmo em toda solicitação.
As instruções ocultas definem o modo
Um bloco de texto é colocado antes da sua primeira mensagem: quem é o assistente, quão cuidadoso ser, quão longo responder. Você nunca vê isso, e ele se aplica em toda solicitação. Quando 2 serviços no mesmo modelo parecem diferentes, este bloco é a razão mais provável.
A memória da conversa fornece a continuidade
Mensagens anteriores são enviadas novamente com cada nova solicitação, porque o modelo não as lembra. Há um limite do que cabe, e quando a conversa ultrapassa esse limite, a parte mais antiga é descartada. O assistente então responde como se nunca tivesse lido o início, o que parece descuido e é um limite.
O filtro decide o que sobrevive
Um classificador pode agir na sua pergunta antes de o modelo ler, ou na resposta antes de você lê-la. Esta parte é separada do modelo e pode ser rigorosa em um modelo permissivo ou ausente em um modelo cauteloso. As 2 camadas são definidas independentemente, e confundir uma com a outra é onde a maioria das comparações de produto falha.
Antes de colar
Qual parte muda mais entre produtos?
As instruções ocultas e o filtro. Ambos são baratos de mudar e não são publicados, então eles representam a maior parte da diferença que as pessoas sentem.
Posso ver as instruções ocultas?
Quase nunca. Você pode medir o efeito: peça uma resposta de 1 frase e veja se a instrução de comprimento vence a sua.
Um modelo maior corrige uma resposta ruim?
Apenas quando a resposta foi limitada pelo conhecimento. Quando foi limitada por instruções ou pelo filtro, um modelo maior produz a mesma forma com gramática melhor.
Faça uma pergunta e tente dizer qual das 4 partes moldou a resposta.
Abrir chatbot sem censura