Dove vive la memoria della conversazione
Il modello non ricorda nulla. Ogni richiesta trasporta i messaggi precedenti insieme a quello nuovo, e un limite decide quanti possono entrare. Quando la conversazione supera il limite, i messaggi più vecchi vengono rimossi e l'assistente risponde senza di essi.
Dimenticare sembra un difetto di attenzione, ma è un difetto aritmetico. Sapere quale dei due sia cambia come agire: ripetere più forte non aiuta, mentre un breve riassìno sì.
Ogni richiesta è un nuovo inizio
Al modello viene dato del testo e restituisce una continuazione. Tra una richiesta e l'altra non conserva nulla. Tutto ciò che sembra memoria è il prodotto che rispedisce i tuoi messaggi precedenti, motivo per cui una conversazione lunga costa di più di una breve.
Il limite è misurato in token, non in messaggi
Un token è circa una parola breve o un pezzo di essa. Il budget copre le istruzioni, la conversazione, la tua nuova domanda e la risposta insieme. Ecco perché una domanda lunga può accorciare una risposta e perché una conversazione piena di testo incollato lungo si esaurisce prima di una con lo stesso numero di messaggi.
Cosa viene rimosso per primo
La maggior parte dei servizi rimuove prima i messaggi più vecchi, il che significa che le istruzioni date all'inizio sono la parte che scompare più facilmente. Di solito sono quelle più importanti, quindi il fallimento non è casuale: rimuove esattamente il contesto che avresti voluto mantenere.
Lavorare con il limite
Avvia una nuova conversazione e aprila con un riassunto di 3 frasi su ciò che conta. Costa meno che litigare con una chat che ha già perso l'inizio e mette il contesto importante alla fine, dove sopravvive. Tenere una conversazione per compito aiuta, perché il budget viene speso su testo rilevante e non su cronologie non correlate.
Prima di incollarlo
Alcuni chatbot ricordano tra le sessioni?
Alcuni memorizzano note su di te e le allegano alle conversazioni successive. È un profilo memorizzato, non memoria nel modello, ed è una funzione separata con impostazioni distinte.
Chiedergli di ricordare funziona?
All'interno di una conversazione non fa differenza, perché tutto viene comunque rispedito. Tra conversazioni funziona solo quando il prodotto ha un archivio, e in quel caso è l'archivio a fare il lavoro.
Perché a volte ricorda l'inizio di una chat lunga?
Perché la conversazione non aveva ancora superato il limite, oppure il prodotto riassume i messaggi più vecchi invece di rimuoverli. Entrambe le esistenze e nessuna è annunciata.
Avvia una conversazione, fornisci 3 frasi di contesto e vedi fino a dove arriva.
Apri chatbot senza censure