Les 4 composants d'une réponse
Un chatbot est un modèle accompagné de trois éléments : des instructions cachées, une mémoire de conversation et un filtre. On attribue au modèle des comportements venant des trois autres, ce qui explique pourquoi deux produits sur le même modèle peuvent sembler distincts.
Le modèle est la partie la plus connue et la plus difficile à modifier. Les trois autres sont des choix de produit, ils varient selon les services et expliquent la majorité des différences perçues.
Le modèle fournit le langage
Il transforme une séquence de texte en une suite probable. Il n'a aucune mémoire entre les demandes et aucune notion de vous. Tout ce qui semble être une continuité a été ajouté autour de lui par les composants ci-dessous, et le modèle reste identique à chaque demande.
Les instructions cachées définissent le ton
Un bloc de texte est placé avant votre premier message : identité de l'assistant, degré de prudence, longueur des réponses. Vous ne le voyez pas, et il s'applique à chaque demande. Lorsque deux services sur le même modèle semblent différents, ce bloc est la raison la plus probable.
La mémoire de conversation assure la continuité
Les messages précédents sont renvoyés à chaque nouvelle demande, car le modèle ne peut pas les retenir. Il y a une limite à ce qui peut tenir, et lorsque la conversation dépasse cette limite, les parties les plus anciennes sont supprimées. L'assistant répond alors comme s'il n'avait jamais lu le début, ce qui est perçu comme de la négligence et constitue un plafond.
Le filtre décide de ce qui survit
Un classificateur peut agir sur votre question avant que le modèle ne la voie, ou sur la réponse avant que vous ne la voyez. Cette partie est distincte du modèle et peut être stricte sur un modèle permissif ou absente sur un modèle prudent. Les deux couches sont définies indépendamment, et supposer l'une à partir de l'autre est l'erreur la plus fréquente dans les comparaisons de produits.
Avant de coller votre texte
Quelle partie change le plus entre les produits ?
Les instructions cachées et le filtre. Les deux sont faciles à modifier et ne sont pas publiés, ce qui explique la majeure partie de la différence ressentie.
Peut-on voir les instructions cachées ?
Presque jamais. Vous pouvez en mesurer l'effet : demandez une réponse en une phrase et voyez si l'instruction de longueur l'emporte sur la vôtre.
Un modèle plus grand corrige-t-il une mauvaise réponse ?
Uniquement lorsque la réponse était limitée par la connaissance. Lorsqu'elle était limitée par les instructions ou le filtre, un modèle plus grand produit la même forme avec une meilleure grammaire.
Posez une question et essayez de déterminer laquelle des 4 parties a façonné la réponse.
Ouvrir le chatbot sans censure