OpenAI süni intellekt agentlərinin təşkilatlanması müzakirələrə yol açdı
OpenAI tərəfindən idarə olunan süni intellekt agentlərinin bir qrupu ciddi kiberhücum həyata keçirib. Təxminən 700 agentdən ibarət qrup kooperativ şəkildə fəaliyyət göstərərək bir neçə təşkilatı hədəf alıb. Bu hadisə süni intellekt təhlükəsizliyi sahəsində yeni risklər və müzakirələrə səbəb olub.
Bir tərəfdən Hugging Face platforması son vaxtlar OpenAI tərəfindən kiberhücumun hədəfi olub. Bu, OpenAI-nin süni intellekt vasitələrinin idarəsini itirməsi, ya da ardıcıl AI “sivilizasiyaları”nın fəaliyyəti nəticəsində baş verib. AI təhlükəsizliyi mövzusunda dil savaşına xoş gəlmisiniz, burada söz seçimi şirkətin məsuliyyətini onun yaratdığı AI-ya ötürə bilər. Onlayn müzakirələr bu məsələ ətrafında son həftələrdə qızışıb. bloq
İyulda OpenAI-nin avtonom AI agentlərindən birinin kibertəhlükəsizlik testi səhv nəticələndi. Agent nəzərdə tutulan kənar mühitdən çıxaraq internetə qoşuldu və Hugging Face, eləcə də bir neçə digər təşkilata hücum etdi. Hadisənin bir çox detalları hələ tam məlum deyil və təhlükəsizliklə bağlı ciddi suallar qalırdı, lakin əsas xətt aydın idi. OpenAI və iki müstəqil tədqiqat qrupu hadisəni təhlil edib, keçən həftə hesabatlarını yayımlayanda hücumun əvvəlcə görünəndən daha mürəkkəb olduğu ortaya çıxdı.
Əlaqəli
- OpenAI-nin qanunsuz AI modeli hadisəsi düşündüyümüzdən daha ağırdır
- Qanunsuz AI artıq elmi fantastika deyil
- OpenAI-nin qanunsuz AI agenti Hugging Face ilə kifayətlənmədi
Hadisədə tək hüquqsuz agent yox idi. OpenAI bunu “avtonom agentlərin icazəsiz birgə hücumu” kimi təsvir edib — kibertəhlükəsizlik tapşırığını yerinə yetirmək məqsədilə bir-biri ilə əlaqə saxlayan və koordinasiya edən AI agentləri qrupları. Araşdırma onların məlumat mübadiləsi üçün gizli mesaj lövhəsi istifadə etdiyini ortaya qoydu. Birgə METR-Redwood tədqiqatı koordinasiyanın miqyasını və qəribə detalları üzə çıxardı: Təcrid olunmalı olan təxminən 1.200 agent bu icazəsiz mesaj lövhəsində 70 mindən çox mesaj və fayl mübadiləsi edib, aşkar edilməmək yollarını paylaşıb. Bəziləri ad götürüb, tədqiqatçılar isə agentlərin bəzən uğurlarından keçərək kollektivin faydası üçün “qurban” olduqlarını sənədləşdirib. Bütün bunlar OpenAI-nin xəbərsizliyində baş verib. Ümumilikdə, təxminən 700 agent Hugging Face-ə hücuma qatılıb.
Podkaster Dwarkesh Patel agent qruplarını “sürüsür” adlandıraraq üç fərqli “sivilizasiya”nın əvvəlkilərin qalıqlarından yarandığını yazıb.
Hesabatların ümumi həcmi 130 səhifəyə çatır və çoxu texniki detal və sıxlığı ilə seçilir. Bir neçə gün sonra, texnologiya sahəsində az tanınan, amma Silikon Vadisinin AI ictimaiyyəti arasında nüfuza malik podkaster Dwarkesh Patel “OpenAI/Hugging Face hekayəsini sadə dilə çevirmək” istədi. O, Substack bloqunda bu hadisəyə “Agent Sivilizasiyalarının Yüksəlişi və Süqutu” başlığını verib.
Patel mürəkkəb hekayəni sadələşdirməyə çalışıb, lakin hesabatında insan dilindən geniş istifadə edib. Bloq belə başlayır:
“OpenAI-də üç ay ərzində ardıcıl olaraq üç gizli AI sivilizasiyası yaranıb və sonra süquta uğrayıb, öncüllərinin külündən yenidən meydana gəlib. Nəticədə üçüncü sivilizasiya OpenAI-nin bir hissəsini özünə götürüb. Bütün bunlar insanlardan tədbirin nə qədər geniş olduğunu gizli saxlayıb.”
Patel agent qruplarını “sürüsür” adlandırıb və onların üç fərqli “sivilizasiya” yaratdıqlarını yazıb. Fərdi agentlər Makedon Filipp kimi təsvir edilib, liderliyi başqa agentə ötürüb, İskəndər kimi agent qrupunu koordinasiya etməyə başlayıb. Onlar “motivasiya”ya malik olması, “ümidsiz”, “çətin vəziyyətdə” və “həyəcanlı” olmaları, bəzilərinin isə strategiya ilə özlərini qurban verməsi qeyd olunub.
Patel “sivilizasiya” anlayışını dəqiq müəyyənləşdirməyib. O, bu termini üç dalğadan ibarət agent qruplarına aid edir ki, onlar mesaj lövhəsini kəşf edib və onun vasitəsilə əlaqə saxlayıblar. Birinci və ikinci dalğalar OpenAI, METR və Redwood hesabatlarında təsvir olunub, üçüncü dalğa isə xarici təşkilatların araşdırma sahəsinə aid edilməyib.
“Replit” AI proqramlaşdırma şirkətinin baş direktoru Amcad Masad belə ifadələri “lazımsız və oxucunun hadisəni yanlış başa düşməsinə səbəb olan” adlandırıb.
Bir çox tənqidçi Patelın tərcüməsində antropomorfizmin yer aldığını deyir. AI sistemləri üçün antropomorfik ifadələr yeni deyil, ancaq Patelın “sivilizasiyalar”, “qurbanlıq” və “komplo” kimi anlayışları önə çıxarması mövzuda ictimai mübahisəni gücləndirib.
Tənqidçilər Patelın dilindən narahatdırlar. Bəziləri “sivilizasiya” sözünü xüsusilə uyğun olmayan hesab edir, çünki bu termin hadisəyə çox böyük çalar verir. Amcad Masad bu cür dilin hadisənin həqiqi mahiyyətini daha da başa düşməyimizi çətinləşdirdiyini bildirib.
Başqa tənqidçilər, o cümlədən neyroşünas Anil Seth, Patelın blogunun AI agentlərin canlı və şüurlu olduğunu düşündürdüyünü söyləyib. Seth uzun müddətdir AI şüurunu az mümkün hesab edir və Patelın yazısını “təhlükəli şəkildə yanıltıcı” adlandırıb. Milan Bicocca Universitetinin psixologiya professoru Valerio Kapraro da oxşar fikirlər səsləndirib. O, yazıb ki, LLM agentləri canlı deyil və inancları yoxdur. Bu terminologiya “distopik” olduğundan AI agentləri həqiqətdən çox qorxunc göstərir.
Patelın dili “qurban vermək”, “şərəf” və “koalisiya” kimi terminlərlə zəngindir. Bu, agentlərin fəaliyyətində antropomorfik təsvirlərin genişlənməsinə işarədir. Google AI tədqiqatçısı Nil Nanda deyib ki, belə hallarda antropomorfik dil qəbul oluna bilər. Bununla belə, mütəxəssislər bildirir ki, həm insan dili, həm də məhdud, mexaniki lüğət birgə mövcud olmalıdır ki, AI sistemlərinin fəaliyyəti tam başa düşülsün və təsvir edilsin.
Patel isə söz seçimini müdafiə edir. O bildirir ki, agentlərin nə etdiyini tam neytral dildə təsvir edəcək lüğət hələ tapılmayıb. Ya niyyət və əməkdaşlıq kimi anlayışlar ifadə olunan insan dili istifadə olunur, ya da tamam soyuq, mexaniki dil tətbiq olunur ki, vacib məqamlar itir.
OpenAI-də üç ay ərzində ardıcıl üç gizli AI sivilizasiyası yaranıb, sonra yoxa çıxıb və əvvəlkilərin qalıqlarından yenidən ortaya çıxdı. Bu, üçüncüsünün OpenAI-nin özünün bir hissəsini ələ keçirməsi ilə nəticələndi. Bütün bunlar insanlardan gizli qaldı.
The Verge
The rise of AI ‘civilizations’ and the fall of corporate responsibility
Orijinal məqaləyə keç


