Wo das Gedächtnis einer Unterhaltung liegt
Das Modell merkt sich nichts. Jede Anfrage trägt die früheren Nachrichten zusammen mit der neuen mit, und eine Grenze bestimmt, wie viele hineinpassen. Wird die Unterhaltung länger als die Grenze, fallen die ältesten Nachrichten weg, und der Assistent antwortet ohne sie.
Vergessen wirkt wie ein Aufmerksamkeitsfehler, ist aber ein Rechenfehler. Zu wissen, welcher von beiden es ist, ändert, was du dagegen tust: Sich lauter zu wiederholen hilft nicht, eine kurze Zusammenfassung schon.
Auf dieser Seite
Jede Anfrage beginnt von vorn
Das Modell bekommt Text und liefert eine Fortsetzung. Zwischen 2 Anfragen hält es nichts fest. Alles, was nach Gedächtnis aussieht, ist das Produkt, das deine früheren Nachrichten erneut mitschickt, und deshalb kostet eine lange Unterhaltung mehr Rechenaufwand als eine kurze.
Die Grenze wird in Tokens gemessen, nicht in Nachrichten
Ein Token ist ungefähr ein kurzes Wort oder ein Stück davon. Das Budget umfasst die Anweisungen, die Unterhaltung, deine neue Frage und die Antwort zusammen. Darum kann eine lange Frage eine Antwort verkürzen, und eine Unterhaltung voller eingefügter Langtexte ist früher am Limit als eine mit gleich vielen Nachrichten.
Was zuerst herausfällt
Bei den meisten Diensten werden die ältesten Nachrichten zuerst verworfen, also verschwindet am ehesten die Einführung, die du am Anfang gegeben hast. Genau sie war meist der wichtige Teil, der Ausfall ist also nicht zufällig: Er entfernt gerade den Kontext, den du behalten wolltest.
Mit der Grenze arbeiten
Beginne eine neue Unterhaltung und eröffne sie mit einer Zusammenfassung des Wichtigen in 3 Sätzen. Das kostet weniger, als mit einer Unterhaltung zu streiten, die den Anfang schon verloren hat, und es legt den wichtigen Kontext ans neueste Ende, wo er erhalten bleibt. Auch 1 Unterhaltung pro Aufgabe hilft, weil das Budget dann für relevanten Text draufgeht statt für unzusammenhängenden Verlauf.
Bevor du einfügst
Erinnern sich manche Chatbots über Sitzungen hinweg?
Manche speichern Notizen über dich und hängen sie an spätere Unterhaltungen an. Das ist ein gespeichertes Profil und kein Gedächtnis im Modell, eine eigene Funktion mit eigenen Einstellungen.
Hilft es, ihn zu bitten, sich etwas zu merken?
Innerhalb von 1 Unterhaltung ändert es nichts, weil ohnehin alles erneut mitgeschickt wird. Über Unterhaltungen hinweg klappt es nur, wenn das Produkt einen Speicher hat, und dann leistet der Speicher die Arbeit.
Warum erinnert er sich manchmal an den Anfang eines langen Chats?
Weil die Unterhaltung die Grenze noch nicht überschritten hatte oder das Produkt ältere Nachrichten zusammenfasst, statt sie zu verwerfen. Beides gibt es, und keines wird angekündigt.
Starte eine Unterhaltung, gib ihr 3 Sätze Kontext und sieh, wie weit er trägt.
Unzensierten Chatbot öffnen