Где живёт память разговора
Модель ничего не помнит. Каждый запрос несёт с собой прежние сообщения и новое, а лимит определяет, сколько из них поместится. Когда беседа вырастает за лимит, самые старые сообщения отбрасываются, и ассистент отвечает без них.
Забывание выглядит как сбой внимания, а на деле это сбой арифметики. Понимать, что именно происходит, полезно: повторять то же самое громче бесполезно, а короткое резюме помогает.
На этой странице
Каждый запрос - это чистый лист
Модель получает текст и возвращает его продолжение. Между 2 запросами она ничего не хранит. Всё, что выглядит как память, - это продукт, который заново отправляет ваши прежние сообщения, поэтому длинная беседа обходится дороже короткой.
Лимит считается в токенах, а не в сообщениях
Токен - это примерно короткое слово или часть слова. В бюджет входят вместе инструкции, беседа, ваш новый вопрос и ответ. Поэтому длинный вопрос может сократить ответ, а беседа с большими вставленными текстами исчерпывается раньше, чем беседа с тем же числом сообщений.
Что пропадает первым
В большинстве сервисов первыми отбрасываются самые старые сообщения, то есть вероятнее всего пропадает то, что вы задали в начале. А это обычно и было самым важным, так что сбой не случаен: исчезает именно тот контекст, который вы хотели бы сохранить.
Как работать с лимитом
Начните новую беседу и откройте её резюме из 3 предложений о самом важном. Это обходится дешевле, чем спорить с беседой, которая уже потеряла начало, и ставит важный контекст в самый свежий конец, где он сохранится. Помогает и привычка вести 1 беседу на 1 задачу: тогда бюджет тратится на нужный текст, а не на посторонние обрывки истории.
Прежде чем вставлять вопрос
Помнят ли некоторые чат-боты между сеансами?
Некоторые хранят заметки о вас и подкладывают их в последующие беседы. Это сохранённый профиль, а не память в самой модели, и это отдельная функция с отдельными настройками.
Помогает ли просьба «запомни это»?
Внутри 1 беседы это ничего не меняет, потому что всё и так отправляется заново. Между беседами это работает, только если у продукта есть хранилище, и тогда работу делает само хранилище.
Почему он иногда вспоминает начало длинного чата?
Потому что беседа ещё не вышла за лимит или потому что продукт сжимает старые сообщения вместо того, чтобы отбрасывать. Оба варианта встречаются, и ни о том ни о другом не сообщается.
Начните беседу, дайте 3 предложения контекста и посмотрите, как долго он удержится.
Открыть чат без цензуры