Yapay Zeka Sohbet Botları Nasıl Çalışır? Sade Bir Rehber

İki tür bot: senaryolu ve üretken

Eski türle başlamak yardımcı olur. Geleneksel sohbet botları niyet temellidir. Doğal dil anlama kullanarak ne istediğinizi sınıflandırır, bunu password_reset gibi önceden tanımlı bir niyetle eşleştirir ve hazır bir yanıt döndürür. Hızlı ve öngörülebilirdirler ama bir şeyi beklenmedik bir şekilde ifade ettiğinizde zorlanır ve sıklıkla genel bir anlamadım yanıtına düşerler.

Modern yapay zeka botları üretkendir. Hazır bir yanıt seçmek yerine, büyük dil modeli yani LLM kullanarak anında yeni bir yanıt oluştururlar. Esnek ve sohbet eder gibi hissettirmelerinin nedeni budur. Gerçek ürünlerin çoğu melezdir: hızlı bir niyet sınıflandırıcısı sık istekleri karşılar, açık uçlu sorularda ise devreyi LLM alır.

Motor: bir sonraki token tahmini

Kapağın altında bir LLM aldatıcı derecede basit bir şey yapar. O ana kadarki metni okur ve token denen küçük bir metin parçasını tahmin eder, sonra bunu tekrarlar. Bir token kabaca bir kelime ya da kelimenin bir parçasıdır. Model tüm sözlüğü üzerinde bir olasılık puanı üretir, bir token seçer ya da örnekler, onu metne ekler ve yeniden tahmin yapar. Tam bir yanıt aslında bu döngünün her seferinde tek token üreterek çalışmasıdır.

Bu beceriyi büyük miktarda metinden öz denetimli öğrenme ile kazanır. İşin püf noktası, doğru cevabın zaten veride olmasıdır: bir cümledeki herhangi bir konum için hedef, gerçekte hemen sonra gelen kelimedir. Hiçbir insanın etiketleme yapmasına gerek yoktur. Milyarlarca kez bir sonraki tokeni tahmin edip yanıldığında kendini düzelterek model yavaş yavaş dil bilgisini, olguları, yazım üsluplarını ve akıl yürütmeye benzer kalıpları içselleştirir.

Modern botların çoğu, 2017 tarihli Attention Is All You Need makalesiyle tanıtılan dönüştürücü mimarisi üzerine kuruludur. Dikkat adı verilen temel fikir, modelin bir sonraki kelimeyi tahmin ederken hangi önceki kelimelerin en önemli olduğunu tartmasını sağlar. Uzun bir cümle ya da paragraf boyunca konudan sapmamasını sağlayan da budur.

Bot sohbeti nasıl hatırlıyormuş gibi görünür

İnsanları şaşırtan bir gerçek var: modelin kendisinin mesajlar arasında belleği yoktur. Çıkarım anında bir LLM durumsuzdur. Her istek gelir, model işler, bir yanıt döndürür ve her şeyi unutur. Kendiliğinden hiçbir şey aktarılmaz.

Peki sohbet neden kesintisiz hissettirir? Uygulama konuşmayı yeniden gönderir. Her yeni yanıttan önce sohbet aracı önceki turları, son mesajınızı ve varsa sistem talimatlarını tek bir metin bloğunda toplar ve hepsini modele geri verir. Modelin kullanabileceği her şey, bağlam penceresi denen bu blokta bulunur.

Bağlam penceresinin bir boyut sınırı vardır. Bir konuşma bu sınırı aştığında eski kısımlar kırpılmalı ya da özetlenmelidir; uzun bir sohbetin çok önce söylenen ayrıntıları kaybetmeye başlamasının bir nedeni de budur. Görünen bellek aslında modelin hatırlaması değil, uygulamanın geçmişi özenle yeniden yerleştirmesidir.

Arama: modele üzerinde çalışacağı olgular vermek

Temel bir LLM yalnızca eğitim verisinde olanı bilir, bu da geçmiş bir tarihte dondurulmuştur ve hiçbir şeyi arayıp bulamaz. Güncel ya da özel bilgilerle ilgili soruları yanıtlamak için birçok bot, aramayla zenginleştirilmiş üretim yani RAG kullanır.

Yöntem basittir. Bir soru sorduğunuzda sistem önce bir bilgi tabanında, örneğin şirket belgelerinde ya da bir ürün kataloğunda ilgili pasajları arar. Ardından bu pasajları bağlam penceresine ekler ve modele bu kanıtı kullanarak yanıt vermesini söyler. Model böylece olguların tek kaynağı olmaktan çıkıp kendisine az önce verilen olguları bir araya getiren bir derleyiciye dönüşür.

Yanıtları getirilen kaynaklara dayandırmak, uydurma bilgiyi ölçülebilir biçimde azaltır; bir destek botunun tahmin yürütmek yerine gerçek iade politikanızı aktarabilmesinin nedeni de budur. Yine de RAG sihir değildir: arama adımı yanlış pasajı getirirse, yanıt da kendinden emin bir şekilde yanlış olur.

Dürüst sınırlar

Bir LLM gerçeği arayıp bulmak yerine akla yatkın metin ürettiği için halüsinasyon görebilir: akıcı ama basitçe yanlış ifadeler üretebilir. Çıktı doğrulanmış olmak için değil, doğru gibi gelmek için en iyilenmiştir; bu yüzden kendinden emin bir üslup, doğruluğun kanıtı değildir. Bir bottan gelen isimleri, sayıları, tarihleri ve alıntıları güvenilecek olgular değil, kontrol edilecek iddialar olarak görün.

Diğer sınır bellektir. Bir bot, ürün açıkça bu bilgiyi saklayıp yeniden sunmadıkça sohbetinizden öğrenmez ya da sizi yarın hatırlamaz. Deneyimlediğiniz zeka, her seferinde tek bir bağlam penceresinin içinde yaşar.

Görsel yapay zekada da temiz bir benzerlik var. Renderivo olarak yapay zekayı ürün fotoğraflarını temizlemek, beyaz arka plan eklemek, kareye oturtmak ve e-ticaret ilanları için sahne çekimleri üretmek için kullanıyoruz. Bir bot gibi model de bir komut ve bir girdiden sonuç üretir; bir bot gibi en iyi sonucu açık bir girdiyle ve yayımlamadan önce yapılan hızlı bir insan kontrolüyle verir. Yeni hesaplar ücretsiz kredi alır, böylece kendi ürün fotoğraflarınızda deneyebilirsiniz. Bu sistemlerin nasıl çalıştığını ve nerede insan kontrolüne ihtiyaç duyduğunu anlamak, onları iyi kullanmanızı sağlar.