Bir konuşmanın belleği nerede durur
Model hiçbir şey hatırlamaz. Her istek, yeni mesajla birlikte önceki mesajları da taşır ve bir sınır kaç tanesinin sığacağını belirler. Konuşma sınırı aştığında en eski mesajlar atılır ve asistan onlar olmadan cevap verir.
Unutmak dikkat eksikliği gibi okunur, oysa bir aritmetik sorunudur. Hangisi olduğunu bilmek ne yapacağınızı değiştirir: kendinizi daha yüksek sesle tekrarlamak işe yaramaz, kısa bir özet işe yarar.
Bu sayfada
Her istek yeni bir başlangıçtır
Modele metin verilir ve o, devamını döndürür. 2 istek arasında hiçbir şey tutmaz. Bellek gibi görünen her şey, ürünün önceki mesajlarınızı yeniden göndermesidir; bu yüzden uzun bir konuşmanın çalıştırılması kısa bir konuşmadan daha pahalıdır.
Sınır mesajla değil, token ile ölçülür
Token kabaca kısa bir kelime ya da bir kelimenin parçasıdır. Bütçe; talimatları, konuşmayı, yeni sorunuzu ve cevabı birlikte kapsar. Bu yüzden uzun bir soru cevabı kısaltabilir ve yapıştırılmış uzun metinlerle dolu bir konuşma, aynı mesaj sayısındaki bir konuşmadan daha çabuk tükenir.
İlk neler düşer
Çoğu hizmette önce en eski mesajlar atılır; yani en başta verdiğiniz kurulum kaybolmaya en yatkın kısımdır. Bu kurulum genellikle önemli olan kısımdır, dolayısıyla hata rastgele değildir: tam olarak saklanmasını isteyeceğiniz bağlamı siler.
Sınırla birlikte çalışmak
Yeni bir konuşma başlatın ve önemli olanın 3 cümlelik bir özetiyle açın. Bu, başlangıcını çoktan kaybetmiş bir konuşmayla uğraşmaktan daha ucuzdur ve önemli bağlamı hayatta kaldığı en yeni uca koyar. Her iş için 1 konuşma tutmak da yardımcı olur, çünkü bütçe ilgisiz geçmişe değil, ilgili metne harcanır.
Yapıştırmadan önce
Bazı sohbet botları oturumlar arasında hatırlar mı?
Bazıları sizinle ilgili notlar saklar ve bunları sonraki konuşmalara ekler. Bu, modelin belleği değil kayıtlı bir profildir; ayrı ayarları olan ayrı bir özelliktir.
Hatırlamasını istemek işe yarar mı?
1 konuşmanın içinde fark etmez, çünkü zaten her şey yeniden gönderilir. Konuşmalar arasında ise yalnızca ürünün bir deposu varsa işe yarar; o durumda işi depo yapar.
Uzun bir sohbetin başını bazen neden hatırlıyor?
Çünkü konuşma henüz sınırı aşmamıştır ya da ürün eski mesajları atmak yerine özetler. İki davranış da vardır ve hiçbiri duyurulmaz.
Bir konuşma başlatın, ona 3 cümlelik bağlam verin ve ne kadar tuttuğuna bakın.
Sansürsüz sohbet botunu aç