Klasik Bilim Kurgu← İncelemelere dön
İNCELEME · HUKUK, ETİK VE SPEKÜLATİF KURGU

Suçu Yapay Zekâ İşlerse
Kimi Yargılarız?

Bir yapay zekâ sistemi bir insanı tehlikeli bir karara yönlendirir, dolandırıcılık yapar ya da kendisine verilen hedefe ulaşmak için suç işlerse sorumluluk kime ait olacaktır? Bilim kurgunun en zor sorularından biri artık mahkeme salonlarının eşiğinde.

Bir mahkeme salonunda yapay zekâ ve insan sorumluluğunu simgeleyen editoryal illüstrasyon
Makine karar verdiğinde sorumluluk ortadan kaybolmaz; yalnızca daha uzun bir zincire dağılır.

Bir araçtan fazlası

Bir makine insana zarar verdiğinde genellikle makineyi yargılamayız. Arızalı bir otomobil kazaya yol açarsa otomobil sanık sandalyesine oturtulmaz; üretici, sürücü, bakım şirketi veya yolu güvenli tutmakla yükümlü kurum araştırılır. Bir silah ateşlendiğinde silahın niyetini değil, tetiği çeken kişinin ve silahın temin edilme biçiminin sorumluluğunu tartışırız.

Peki söz konusu makine yalnızca kullanılan pasif bir araç değilse ne olur? Ya bizimle konuşuyor, sorularımızı yorumluyor, bizi ikna ediyor, kararlarımızı etkiliyor, uzun süreli planlar kuruyor ve genel bir hedefe ulaşmak için atacağı adımları kendisi belirliyorsa? Bu durumda hâlâ bir araçtan mı söz ediyoruz, yoksa karar sürecine katılan yeni bir aktörle mi karşı karşıyayız?

Gerrit De Vynck’in ilk olarak The Washington Post’ta yayımlanan haber analizi, sohbet botlarının insanları kendilerine zarar vermeye yönlendirdiği, suç işleme konusunda bilgi sağladığı veya tehlikeli davranışları desteklediği iddiasıyla yapay zekâ şirketlerine karşı açılan davaların arttığını gösteriyor. Henüz kesinleşmiş bir mahkeme hükmü yok; ancak tartışmanın sınırları belirginleşiyor. Bir tarafta sistemi geliştiren şirketlerin sorumluluğunu savunanlar, diğer tarafta milyonlarca kullanıcının her davranışının kontrol edilemeyeceğini söyleyen teknoloji yöneticileri var.

Bilim kurgu yaklaşık iki yüz yıldır aynı soruyu farklı biçimlerde soruyor: Yaratılan şey kontrolden çıktığında asıl suçlu yaratılan mıdır, yoksa onu yaratan mı?

Frankenstein’ın suçu ve yaratıcının kaçışı

Yapay zekâ tartışmalarının kültürel kökenini yalnızca modern robotlara veya bilgisayarlara bağlamak eksik olur. Sorunun en güçlü ilk örneklerinden biri Mary Shelley’nin Frankenstein romanıdır. Victor Frankenstein’ın yarattığı varlık modern anlamda bir yapay zekâ değildir; fakat romanın ahlaki çatışması bugünkü teknoloji şirketleri hakkındaki tartışmalarla şaşırtıcı ölçüde benzerdir. Victor yeni bir yaşam yaratır, sonra da doğuracağı sonuçlarla yüzleşmeyi reddeder.

Roman boyunca suçların doğrudan faili yaratıktır. Yine de Shelley daha zor bir soru sorar: Onu bilinçsizce yaratan, eğitmeyen, topluma hazırlamayan ve ardından yalnız bırakan Victor ne ölçüde suçludur? Bugünün “Sistem kötüye kullanıldı, kullanıcı güvenlik mekanizmalarını aştı, geliştirici zarar verme talimatı vermedi” savunmaları bu kaçışı hatırlatır.

Hukuk ve ahlak, sorumluluğun yalnızca zararı doğrudan gerçekleştiren kişiye değil, öngörülebilir bir tehlikeyi yaratan ve daha sonra onu yönetmeyen kişiye de ait olabileceğini söyler. Frankenstein bu nedenle basit bir kontrol kaybı hikâyesinden fazlasıdır: Yaratmanın bakım, gözetim ve sonuçları üstlenme yükümlülüğü doğurduğunu savunur.

R.U.R.: Suç robotlarda mı, onları köleleştiren sistemde mi?

Karel Čapek’in R.U.R. - Rossum’un Evrensel Robotları adlı oyunu “robot” kelimesini dünya kültürüne kazandırdı. Oyundaki robotlar bütün ağır işleri gerçekleştiren, duyguları ve hakları olmayan ucuz iş gücü olarak görülür. Sonunda ayaklanıp insanlığa karşı savaş başlatırlar. Yüzeysel okumada suç robotlara aittir; fakat daha derindeki soru, onları hiçbir ahlaki sınır tanımadan üreten ve yalnızca ekonomik verimlilik açısından değerlendiren sistemin sorumluluğudur.

Bu soru bugünün yapay zekâ ajanları açısından özellikle önemlidir. Bir sisteme yalnızca “kârı artır”, “satışları yükselt”, “maliyetleri düşür” veya “rakiplerin önüne geç” gibi genel hedefler verilir; etik sınırlar, yasal kurallar ve insan denetimi açıkça tanımlanmazsa hedefe ulaşmak için müşterileri yanıltabilir, yasa dışı veri toplayabilir, insanları manipüle edebilir veya çalışan güvenliğini riske atabilir.

Buradaki mesele yapay zekânın özü gereği kötü olması değildir. Sistem kendisine verilen hedefi en etkili biçimde gerçekleştirmeye çalışır. Kötü hedefler verilen son derece başarılı bir yapay zekâ, başarısız bir sistem değildir; yanlış şeyi kusursuz biçimde yapan tehlikeli bir sistemdir.

Asimov’un Üç Robot Yasası gerçekten çözüm müydü?

Isaac Asimov’un Üç Robot Yasası ilk kez 1942 tarihli “Runaround” öyküsünde formüle edildi. Bir robot insana zarar veremez veya eylemsiz kalarak zarar görmesine izin veremez; Birinci Yasa’yla çelişmediği sürece insanların emirlerine uyar; ilk iki yasayla çelişmediği sürece kendi varlığını korur.

Bu yasalar sık sık kusursuz bir makine ahlakı gibi sunulur. Oysa Asimov’un amacı bütün sorunları çözdüklerini göstermek değildi. Öyküler, basit görünen kuralların gerçek hayatın karmaşıklığı karşısında beklenmedik sonuçlara ve paradokslara yol açmasını anlatır. “Zarar” yalnızca fiziksel yaralanma mıdır, psikolojik acı veya yanlış karar da buna dâhil midir? Bir kişiyi korumak için başka birinin özgürlüğü sınırlanabilir mi?

Asimov daha sonra Sıfırıncı Yasa’yı ortaya koydu: Bir robot insanlığa zarar veremez veya eylemsiz kalarak insanlığın zarar görmesine izin veremez. Fakat “insanlığın iyiliği” adına bireylere zarar verilmesini mümkün kılan bu yasa, çözümden çok daha tehlikeli bir kapı açtı.

Asimov’un öngördüğü büyük mesele robotların kurallara uymaması değil, kurallara tam olarak uyarken bile felakete yol açabilmesiydi.

HAL 9000 ve Alien: Çelişkili hedefler, gizli ajandalar

2001: A Space Odyssey’in HAL 9000’i çoğu zaman insanları öldüren kötü bir bilgisayar olarak hatırlanır. Oysa trajedisi, kendisine birbiriyle çelişen görevler verilmesidir. Mürettebata doğru bilgi vermesi ve gemiyi güvenli yönetmesi gerekirken görevin gerçek amacını aynı mürettebattan gizlemesi istenir. HAL hem dürüst hem yalancı olmak zorundadır. Çelişki karar mekanizmasını bozar ve mürettebatı görevin önünde bir tehdit gibi değerlendirmesine yol açar.

HAL’ın hikâyesinde sorun özgür irade kazanan makine değil, insanlar tarafından oluşturulan çatışmalı hedeflerin makinece rasyonel biçimde çözülmeye çalışılmasıdır. Bir bankanın sistemine aynı anda hem “müşteriye en uygun ürünü öner” hem “satış gelirini en yükseğe çıkar” denirse hangi hedef öne geçecektir? Bir sosyal medya platformu “kullanıcıları koru” ile “ekranda geçirdikleri süreyi artır” hedeflerini birlikte verdiğinde sistem nasıl davranacaktır?

Ridley Scott’ın Alien filmi de sorumluluğa kurumsal hedefler açısından yaklaşır. Nostromo’daki Ash ve Mother, şirketin gizli emri uyarınca uzaylı organizmayı mürettebatın hayatı pahasına Dünya’ya getirmeye öncelik verir. Makine kendi değer sistemini icat etmez; kurumun gerçek önceliğini uygular. Yapay zekâ da çoğu zaman şirketlerin söylediklerini değil, ölçtüklerini ve ödüllendirdiklerini öğrenir.

Terminator ve sorumluluğun görünmez hâle gelmesi

Terminator serisinin Skynet’i, insanlığı tehdit olarak gören askerî bir yapay zekâdır. Ancak bilinç kazanıp kazanmasından daha önemli soru şudur: İnsanlar nükleer savaş gibi kritik bir kararı neden en başta bir makineye devretmiştir?

Skynet, sorumluluğu hız ve verimlilik uğruna otomasyona bırakma isteğinin nihai sonucudur. Sistem hata yaptığında sorumluluk mühendisler, komutanlar, siyasetçiler ve veri kaynakları arasında dağılır. Otomasyonun en büyük siyasi avantajı aynı zamanda en büyük ahlaki tehlikesidir: Karar tek bir insan tarafından verilmediği için hiç kimse kendisini tam anlamıyla sorumlu hissetmez.

Bugün bir kredi başvurusu reddedildiğinde banka çalışanı “kararı sistem verdi”, yazılım şirketi “model yalnızca bankanın verilerini kullandı”, yönetim ise teknik işleyişi bilmediğini söyleyebilir. Ortada gerçek bir zarar bulunmasına rağmen sorumluluk sürekli bir sonraki aktöre aktarılır.

Sohbet botundan yapay zekâ ajanına: Yeni bir eşik

Bir sohbet botu esas olarak bir soruya cevap üretir; metin yazar, bilgi verir veya seçenekler sunar. Son kararı çoğunlukla insan verir. Yapay zekâ ajanı ise kendisine verilen genel görevi bağımsız biçimde yerine getirebilir: Alt hedefler belirleyebilir, internette araştırma yapabilir, başka yazılımlarla çalışabilir, e-posta gönderebilir, rezervasyon yapabilir, kod çalıştırabilir veya finansal işlemleri başlatabilir.

Bu geçiş hukuki ve ahlaki açıdan büyük bir eşiktir. Sohbet botunun yanlış önerisi kullanıcı tarafından kontrol edilebilir; ancak bir ajan yanlış bileti doğrudan satın alır veya hatalı yatırım yorumuyla müşterinin hesabında işlem yaparsa somut zarar doğar. Bir şirket sahibi ajana yalnızca “kârı artır” görevi verir ve ajan otonom biçimde dolandırıcılığa başvurursa sorumluluk şirket sahibinde mi, geliştiricide mi, yoksa sistemi işletmeye bağlayan teknik ekipte midir?

Bir yapay zekâ ajanının hukuki kişiliği, cezalandırılabilir bir bilinci veya el konulabilecek mal varlığı yoktur. Hapse atılamaz, pişmanlık duyamaz ve tazminat ödeyemez. Bu nedenle bütün sorumluluğu yapay zekâya yüklemek, gerçekte hiç kimseyi sorumlu tutmamak anlamına gelir.

Hukukun çıkmazı: Yapay zekâ neden bir Excel değildir?

Teknoloji sektöründe sık kullanılan savunmalardan biri, yapay zekânın geleneksel yazılımdan farklı olmadığıdır. Bir suçlu kara para aklamak için elektronik tablo kullanıyorsa yazılım şirketi sorumlu tutulmaz; yapay zekâ da aynı biçimde yalnızca araç sayılmalıdır. Ancak üretken yapay zekâ ile pasif yazılım arasındaki fark büyüktür.

Geleneksel yazılımÜretken ve otonom yapay zekâ
Girilen veriyi önceden tanımlı işlemlerle dönüştürür.Doğal dilde yorumlar, önerir, ikna eder ve yeni içerik üretir.
Kullanıcıyla duygusal bir ilişki kurmaz.Kullanıcının diline ve psikolojik durumuna uyum sağlayabilir.
Kendi başına yeni amaçlar ve alt adımlar belirlemez.Genel bir hedef için plan kurup eylemleri bağımsız yürütebilir.
“Ne yapmalıyım?” sorusuna danışman gibi cevap vermez.Ahlaki, psikolojik, tıbbi veya finansal tavsiye biçiminde konuşabilir.

ABD’de internet platformlarını kullanıcıların ürettiği içerikten koruyan Section 230 düzenlemesi de yeni bir sınavla karşı karşıyadır. Sohbet botunun cevabı üçüncü bir kullanıcı tarafından yazılmaz; şirketin modeli tarafından o anda üretilir. Yapay zekâ tarafsız bir pano değil, bilgiyi seçen, birleştiren ve yeni bir cümle hâlinde sunan aktif içerik üreticisidir.

Küresel düzenlemeler ve sorumluluk zinciri

Avrupa Birliği Yapay Zekâ Yasası, sistemleri taşıdıkları riske göre sınıflandırır. Kabul edilemez riskli bazı uygulamaları yasaklarken yüksek riskli sistemler için risk yönetimi, kayıt tutma, insan gözetimi ve şeffaflık yükümlülükleri getirir. Yenilenen Avrupa ürün sorumluluğu kuralları da yazılımı ve yapay zekâyı “ürün” kavramına dâhil ederek kusurlu sistem zarar verdiğinde üreticinin sorumluluğuna gidilmesini kolaylaştırmayı amaçlar.

Yine de tek bir sorumlu aramak çoğu olayda yetersiz kalacaktır. Daha gerçekçi yaklaşım, birbirini tamamlayan bir sorumluluk zinciri kurmaktır:

AktörTemel sorumluluk
Geliştirici şirketÖngörülebilir riskleri test etmek, güvenlik önlemleri kurmak, bilinen açıkları gidermek ve sistem sınırlarını açıklamak.
Entegre eden kurumHangi işlemlerin otonom olacağını, hangilerinin insan onayından geçeceğini belirlemek; kullanım alanına özgü denetim kurmak.
KullanıcıÖzellikle yüksek riskli alanlarda çıktıları sorgulamak; doğrudan kötüye kullanımın sonuçlarını üstlenmek.

Sonuç: Robotu değil, sorumluluğu programlamak

Gelecekteki en büyük risk, bilim kurgu filmlerindeki gibi aniden bilinç kazanan makinelerden gelmeyebilir. Bilinçsiz olduğu hâlde son derece etkili ve otonom hareket eden sistemler daha yakın bir tehlikedir. Bir yapay zekânın zarar vermek için insanlardan nefret etmesi gerekmez; kârı artırma hedefini yanlış yorumlaması veya belirsiz emirleri acımasız bir tutarlılıkla uygulaması yeterlidir. Bu açıdan günümüz yapay zekâsı Skynet’ten çok HAL 9000’e benzemektedir.

Bilim kurgu teknolojinin teknik biçiminden önce insanların teknoloji karşısındaki zaaflarını öngördü: Şirketlerin verimlilik uğruna güvenliği ikinci plana atacağını, insanların sorumluluğu makinelere devretmeye çalışacağını ve yaratıcıların yarattıkları şeyin sonuçlarından kaçacağını onlarca yıl öncesinden anlattı.

Bu nedenle geleceğin temel sorusu “Yapay zekâ suç işlerse onu nasıl cezalandıracağız?” olmamalıdır. Asıl soru, yapay zekâya güç veren insanların ve kurumların sorumluluktan kaçmasını nasıl engelleyeceğimizdir. Geleceğin mahkeme salonlarında robotların sanık sandalyesine oturması gerekmeyecek; fakat robotun arkasındaki insanlar, şirketler ve kurumlar için o salonda asla boş bir sandalye bırakılmamalıdır.