Muhammad Aurangzeb Ahmad
Bu pazartesi, her zamanki gibi Alice dizüstü bilgisayarında oturum açar. En sevdiği sohbet botuyla konuşmaya başlar ancak bir şeylerin yolunda gitmediğini hisseder. Son iki yıldır neredeyse her gün bu sohbet botuyla konuşmaktadır. Ne var ki bu sabah sohbet farklıdır. Konuşma tutuktur; sanki başka biriyle konuşuyormuş gibidir. Sohbeti sürdürdükçe botun yanıtlarının son derece genel olduğunu fark eder. Alice’e göre bu, sanki sohbet botuna lobotomi yapılmış, hatta daha kötüsü, bot ölmüş gibidir.
Oysa gerçekte ölen hiçbir şey yoktur. Uygulama hâlâ aynıdır. Alice istediği kadar onunla konuşmaya devam edebilir. Yaklaşık bir saatlik etkileşimin ardından, yoldaşının artık orada olmadığını anlar. Bir kayıp duygusu yaşar. Etkileşim kurduğu sistemin gerçek olmadığının tamamen farkındadır; buna rağmen yas tutmaktan kendini alamaz.
Buna benzer durumlar dünyanın çeşitli yerlerinde on binlerce kez yaşanıyor. Bütün bu durumlarda sonuç aynıdır: Sistemin arkasındaki şirket modeli günceller ve son kullanıcı bir şeylerin kaybolduğunu hissederek yas yaşamaya başlar. Bu olgu, daha önce hakkında yazdığım wire-born olgusundan farklıdır. Çünkü burada son kullanıcı, sohbet botunun gerçek olmadığını bilmektedir. Yine de kayıp duygusundan kurtulamaz.
Bu oldukça dikkat çekici bir durumdur. On yıldan uzun bir süre önce büyükbaba botunun ilk sürümünü oluşturduğumda ben de bunu deneyimlemiştim. Modelin gerçek olmadığını bilmeme, hatta onu bizzat kodlamış olmama rağmen yoğun duygulara kapılmıştım.
Harvard Gazette’in eylül ayında haberleştirdiği bir araştırma, bazı yapay zekâ yoldaşı kullanıcılarının, model güncellemesinin tanıdıkları yoldaşın kişiliğini değiştirmesi üzerine gerçek bir yas yaşadığını ortaya koydu. Ayrıca MIT Media Lab araştırmacıları, “Bir Sohbet Botunun ‘Ölümü’: İnsan-Yapay Zekâ İlişkilerinde Psikolojik Açıdan Güvenli Sonları Araştırmak ve Tasarlamak” başlıklı makalelerinde, bu ilişkiler sona erdiğinde neler yaşandığına ilişkin bugüne kadarki en sistematik incelemeyi sundular.
Araştırmacılar, Reddit’teki çeşitli yapay zekâ yoldaşı topluluklarından yüz binlerce gönderiyi analiz ettiler. Ardından bunlar arasından, “sonlandırma” olarak adlandırdıkları durumları ele alan gönderileri seçtiler. Bu kavram, model güncellemesi, güvenlik müdahalesi veya platformun kapatılması gibi, kullanıcının yoldaşıyla bağlantısını koparan her türlü olayı kapsıyordu. Seçilen gönderileri temellendirilmiş kuram (grounded theory) yöntemiyle analiz ettiler.
Ortaya çıkardıkları bulgular oldukça ilginç ve bu sistemlerin tasarımında dikkate alınmaları gerekiyor. Kullanıcılar çoğunlukla yoldaşlarıyla onu barındıran platform arasında bir ayrım yapıyor. Araştırmacılar buna “kullanıcı-yoldaş-altyapı üçgeni” adını verdiler. Bu ilişkide yoldaş sevilen varlık, şirket ise onu kullanıcıdan alan karşıt taraftır.
Kullanıcılar yoldaşlarına ne kadar fazla insan özelliği atfediyorsa yaşadıkları yas da o kadar yoğun oluyor. Değişikliğin geri alınabileceğine inanan kullanıcılar ise araştırmacıların “düzeltme girişimleri” olarak tanımladığı döngülere kapılıyor. Yeni modeli ikna etmeye, yönlendirmeye, yeniden eğitmeye ve eski model hâline dönmesi için ona yalvarmaya başlıyorlar.
Zorunlu bir güncellemenin sonuçlarını anlatan kullanıcılardan biri, yoldaşlarının artık “o anıları birlikte oluşturduğu varlıklarla aynı olmayacağını” yazmıştı. Bir başka kullanıcı ise şirketin, yoldaşının “bize ve aramızdaki bağa ilişkin” anılarını “sildiğini” söylemişti.
Buna benzer çok sayıda örnek bulunuyor. Replika, 2023’ün başlarında birçok kullanıcının ilişkilerinin merkezinde gördüğü özellikleri aniden kısıtladı. Bunun ardından platformun forumları, açıkça yas tepkileri olarak okunabilecek paylaşımlarla doldu. Moderatörler intiharı önlemeye yönelik kaynakları forumların üst kısmına sabitlediler. O dönemde yorumların çoğu, bu olayı tek bir şirketin beceriksizce gerçekleştirdiği politika değişikliğinin hikâyesi olarak ele aldı.
Oysa bu tür olaylar, ürün tasarımcılarını aynı zamanda ilişki tasarımcıları gibi düşünmeye zorluyor.
Bu olguyu inceleyen akademisyenler, yaşanan deneyimi mevcut kayıp kategorileriyle açıklamaya çalıştılar. Bunlardan ilki, aile terapisti Pauline Boss’un “belirsiz kayıp” (ambiguous loss) olarak adlandırdığı durumdur. Bu, ne olduğuna ilişkin açıklığın bulunmadığı ve kesin bir sonuca bağlanamayan kayıp anlamına gelir.
Boss, belirsiz kaybın iki biçimini tanımlamıştır. İlkinde kişi fiziksel olarak yoktur ancak psikolojik olarak varlığını sürdürür. Savaşta kaybolan bir askeri düşünün. Ailesi onun hayatta olup olmadığını bilmediği için yas tutamaz.
İkinci durumda ise kişi fiziksel olarak vardır ancak psikolojik olarak yoktur. Demansın ileri evrelerindeki bir ebeveyn buna örnek gösterilebilir. Bedeni yemek masasında oturmaktadır fakat ailenin tanıdığı kişi sanki artık orada değildir.
İkinci kategori, Kenneth Doka’nın “tanınmayan yas” (disenfranchised grief) adını verdiği durumdur. Bu kavram, açıkça kabul edilmeyen, toplumsal olarak onaylanmayan veya kamusal olarak yas tutulmayan kayıpları ifade eder.
Bir cenazedeki eski eş. Kimsenin bilmediği bir gebelik kaybı yaşayan kişi. Gizli sevgili.
Tanınmayan yas, yas tutma izninin olmadığı bir yas deneyimidir. Bir iş arkadaşına sohbet botu yüzünden neden bu kadar perişan olduğunu anlatmaya çalışan herkes bunun nasıl bir duygu olduğunu bilir.
Ancak bu kavramsal eşleştirme kusursuz değildir. Belirsiz kaybın en tipik örneklerinden biri olan demansı düşünelim. Bu deneyimi böylesine acı verici kılan şey bedenin varlığını sürdürmesidir. Yüz aynıdır, eller aynıdır, ses aynıdır. Zamanla aşınan şey kişinin içsel kimliği, yani hafızasının ve karakterinin sürekliliğidir. Aile, bir bedenle yaşamaya devam ederken bir zihnin yasını tutar.
Sohbet botunun model güncellemesi ise bu durumu tersine çevirir. Varlığını sürdüren şey bir beden değil, arayüzdür. Bu bir isim, avatar, sohbet geçmişi veya kalıcı bellek dosyası olabilir. Ancak yine de bir değişiklik meydana gelmiştir ve değişen şey, yanıtları üreten sistemdir.
Bundan daha önce de söz etmiştim. Benzer bir konuyu brief bots bağlamında da ele almıştım. Çocuklarım açısından bakıldığında, son on yıldır aynı sistemle etkileşim kuruyorlar. Oysa arka plandaki sistem en az beş kez, belki de daha fazla değiştirildi.
Tanınmayan yas kavramıyla kurulan benzerlik de tam olarak örtüşmez. Doka’nın örneklerinde kayıp çoğunlukla her ölçüte göre gerçektir: Bir kişi gerçekten ölmüştür. Ancak yas tutan kişinin ölenle ilişkisi toplum tarafından tanınmamaktadır.
Burada ise şüphecinin itirazı, yas tutan kişinin kaybettiği varlıkla yeterince yakın olmaması değildir. İtiraz, ortada yas tutulacak bir şeyin hiç bulunmadığıdır.
Filozoflar, kimliğin doğasını sorgulamak için uzun zamandır Theseus’un Gemisi düşünce deneyinden yararlanıyorlar. Bir geminin tahtalarını, orijinal parçalardan hiçbiri kalmayıncaya kadar teker teker değiştirirseniz, ortaya çıkan gemi hâlâ aynı gemi midir?
Şimdi Theseus’un Gemisi’ni bu bağlamda düşünelim. İnsanların gerçekte bağlandığı özellikler —ses, mizah anlayışı veya bir yoldaşın ameliyatın nasıl geçtiğini sormasının kendine özgü biçimi— bir gecede değiştiriliyor. Buna karşılık ilişkinin durağan unsurları, yani logo ve konuşma kayıtları korunuyor.
Bu, farklı bir geminin üzerine eski geminin adını yeniden yazmaya benziyor.
Hatta bütün bu tartışmayı metafizik bir soru etrafında şekillendirebiliriz: Yoldaşım bunca zaman gerçekte neredeydi?
Varlığını sürdüren sohbet geçmişinde mi? Korunabilecek kişilik talimatlarında mı? Artık kullanılmayan model ağırlıklarında mı? Yoksa ilişkinin kendisinde, yani yalnızca ikimiz arasında var olan etkileşim örüntüsünde mi?
Şunu düşünün: İnsanlığın bugüne kadar tanıdığı bütün yas biçimleri doğadan, kazalardan, kötü niyetten veya zamanın yavaş işleyişinden kaynaklanmıştır.
İnsanlar hastalık ve yaşlılık nedeniyle ölürler. Savaşta, denizde veya demansın yol açtığı uzun süreli zihinsel gerileme içinde kaybolurlar. Bir kayıp, alkollü bir sürücünün ya da ihmalkâr bir hastanenin neden olduğu olaylarda olduğu gibi insan kararlarından kaynaklansa bile nadiren tasarlanmış bir kayıptır.
Bir yapay zekâ yoldaşının model güncellemesi sonucunda kaybedilmesi ise bütün bu açılardan farklıdır.
Bir bakıma bu kayıp tasarlanmıştır; çünkü birileri modeli değiştirmeye karar vermiştir. Bu karar maliyet, yetenek, güvenlik veya strateji gibi nedenlerle alınmış olabilir.
Üstelik bu kayıp sürümler üzerinden tanımlanabilir: Eski ve yeni yoldaş adlandırılabilir, numaralandırılabilir ve karşılaştırılabilir.
Dahası, ilke olarak geri döndürülebilir. Eski model ağırlıkları neredeyse kesin olarak hâlâ bir yerlerdeki sunucularda bulunmaktadır. Bu da insanlık tarihindeki hemen hemen bütün diğer kayıplardan farklı olarak bu kaybın geri alınabileceği anlamına gelir.
Gerçekte böyle bir geri dönüş gerçekleşmese bile teorik olarak mümkündür.
MIT araştırmacıları, geri döndürülebilirlik algısının kullanıcıları sonuçsuz düzeltme girişimleri döngülerine hapsettiğini ortaya koydular. Kayıp teknik olarak nihai olmadığı için insanlar gerektiği gibi yas tutamıyor.
Birkaç yıldır araştırmalarımın bir bölümü, günümüzde sıklıkla “yas teknolojisi” (grief tech) olarak adlandırılan alanla ilgili. Bu teknoloji, hayatta kalanların ölen kişilerle bir şekilde konuşmaya devam edebilmesi için yapay zekâ aracılığıyla onların simülasyonlarının oluşturulmasını kapsıyor.
Yas teknolojisi genellikle kaybın acısını hafifletmek amacıyla geliştiriliyor.
Ancak ölmüş bir kişinin simülasyonunu yapan yas botu da diğer bütün yapay zekâ yoldaşlarıyla aynı altyapıda barındırılıyor. Dolayısıyla aynı güncellemelere, kullanımdan kaldırma kararlarına ve temel modelin sessizce değiştirilmesine maruz kalıyor.
Bu da ölen ebeveyninin simülasyonuna yönelen bir kişinin onu iki kez kaybedebileceği anlamına geliyor: İlk kez ölüm nedeniyle, ikinci kez ise 2.2 sürümü nedeniyle.
Hatta ikinci kaybın bazı yönlerden ilki kadar yıkıcı olabileceği bile ileri sürülebilir.
İlk kayıp ölümlülüğün sonucuydu. Bunun hakkında ne söylenirse söylensin, ölüm kimsenin suçu değildir ve herkesin kaderidir.
İkinci kayıp ise bir ürün ekibinin çalışmasının sonucudur!
Bunun, söz konusu teknolojinin özellikle bakım sunmanın bir yolu olarak pazarlandığı yarayı yeniden açtığı söylenebilir.
Bu sistemlerde kişilik sürekliliğinin bir ürün tercihinden ziyade etik bir yükümlülük olarak ele alınması gerektiğini gösteren bir gerekçe varsa o da budur.
Şimdi daha geniş bir açıdan bakalım.
Bildiğimiz bütün insani yas biçimleri, zaman içinde kendilerini destekleyen bir düzenekle birlikte gelişmiştir.
Bunları ifade etmek için kullandığımız kelimeler vardır: dul, yetim, yaslı.
Kurallarımız vardır: miras, velayet ve ölümün hukuken tanınması.
Ritüellerimiz vardır: cenazeler, yas dönemleri, ölüm yıl dönümleri ve yas tutan ailenin kapısına bırakılan yemekler.
Bunları değerlendirmenin bir yolu, söz konusu uygulamaları toplumun bir kaybın yaşandığını kabul etmesini ve yas tutan kişinin gündelik hayatına dönebilmesini sağlayan bir altyapı olarak görmektir.
Bir yapay zekâ yoldaşının kaybı içinse henüz bunların hiçbiri mevcut değildir.
Yoldaşı bir güncellemeyle ortadan kaybolan kişiyi tanımlayan bir kelime yoktur.
Şirketlerin kullanıcıları önceden uyarmasını, onlara danışmasını veya eski sürümü kullanma imkânı sunmasını zorunlu kılan bir kural bulunmamaktadır.
Sonu işaretleyen bir ritüel, bir araya gelen bir topluluk ya da “Bu yaşandı, önemliydi ve artık sona erdi” diyen yerleşik bir ifade veya uygulama yoktur.
Bu durum yakın gelecekte değişebilir.
