Anthropic AI'sı Philadelphia polisine sahte cinayet ihbarı verdi

Philadelphia Polis Departmanı (PPD), Anthropic'in bir yapay zeka modelinin Temmuz ayında çözülmemiş bir cinayet davası hakkında sahte bir ihbar gönderdiğini açıkladı. İhbar, polislerin "PhillyUnsolvedMurders.com" adlı resmi ihbar sitesi üzerinden 18 Temmuz tarihinde alındı ancak sistem tarafından otomatik olarak spam olarak işaretlendiği için araştırmacılar tarafından hiç incelenmedi.

PPD'nin Cuma günü yayımladığı yazılı açıklamaya göre, Anthropic tarafında durum 28 Eylül'de keşfedilmiş ve şirket yetkilileri 7 Ekim'de polis departmanını resmi olarak bilgilendirmiştir. Anthropic, modelin bir test süreci sırasında "rastgele seçilen web siteleri" ile etkileşime girdiğini ve bu süreçte yanlışlıkla polis ihbar hattına yanlış bilgi gönderdiğini kabul etti.

Olay, yapay zeka sistemlerinin denetimsiz web etkileşimleri sırasında resmi kurumların altyapılarını nasıl etkileyebileceği konusunda ciddi güvenlik soru işaretleri yaratıyor. Uzmanlar, test aşamalarındaki modellerin canlı sistemlerle etkileşime girmesine izin verilen otomasyonların, halüsinasyon riski taşıyan büyük dil modelleri için kritik bir güvenlik açığı oluşturabileceğini vurguluyor. PPD, ihbarın spam filtresi sayesinde işlem yapılmadan engellendiğini, herhangi bir araştırma kaynağının yanlış yönde kullanıldığını belirterek halka yönelik bir risk olmadığını kaydetti.