OpenAI-nin yeni Astra modeli, əksər məntiqi modellərdə olan ardıcıl düşüncə xaricində işləmək üçün “təkraredici dərinlik” adlanan məntiq üsulundan istifadə edəcək. The Information çərşənbə axşamı xəbər verib. Bu üsul, həmçinin “opaqlı təkrarlama” adlanır və modelin düşüncə zəncirinin izlənilməsini çətinləşdirə bilər – bu isə süni intellekt təhlükəsizliyi mütəxəssisləri arasında narahatlıq yaradıb.

Astra-nın bu üsuldan istifadəsinin məhdud olduğu bildirilir, amma texnologiyanın ortaya çıxması təhlükəsizlik mütəxəssislərində ciddi narahatlıq doğurub.

Redwood şirkətinin icraçı direktoru Bak Şleqeris xəbərin yayılmasından sonra yazıb: “Mən Astra-nın opaqlı təkrarlama istifadə etməsi xəbərlərindən çox narahatam. Astra-nın əvvəlki modellərlə müqayisədə düşüncə zəncirinin nə qədər məhdud izlənildiyini bilmirəm. Amma OpenAI bu texnikanı daha da irəli apararsa, təkrarlamanı artırıb düşüncə zənciri izlənməsini tamamilə məhv edə bilər.”

Uzun müddət süni intellekt təhlükəsizliyini müdafiə edən Zvi Mowshowitz da mövzuya münasibət bildirib və yazıb

O qeyd edib: “Bu üsulla oynamaq risklidir, OpenAI və Anthropic-in çalışdığı tabu pozula bilər; biz isə düşüncə zəncirinin dürüstlüyünü və izlənməsini qorumaq üçün çox çalışırıq. Belə üsulların daha çox istifadəsi izlənməni zədələyə bilər.”

Normal şəraitdə, məntiqi model düşüncə zənciri vasitəsilə problemi həll etmək üçün ardıcıl addımları göstərir. Bu göstərici mükəmməl olmasa da, səhv davranışın və uyğunsuzluğun monitorinqində faydalıdır. OpenAI-nin son “qanunsuz agent” fəaliyyəti zamanı düşüncə zənciri qeydləri agentlərin davranışını araşdırmaqda önəmli olub.

Opaqlı təkrarlamada model xətti olmayan yanaşma tətbiq edir və sorğunu bir neçə dəfə dövr şəklində işləyir. Bunun nəticəsində az aydın izlər qalır və ənənəvi düşüncə zənciri qeydindən yan keçir.

Vacib məqam Astra-nın bu texnikadan məhdud istifadə etməsidir. Modelin düşüncə zəncirinin hələ də aydın qalacağı gözlənilir. Şirkət “neyroəz”ə keçid barədə təkliflə razılaşmayıb. OpenAI gələcəyə dair təhlükəsizlik planları çərçivəsində genişmiqyaslı düşüncə zənciri monitorinq sistemləri hazırlayır.

X-də yazdığı paylaşımda OpenAI-nin baş alimi Yakub Paçotski laboratoriyanın aydın düşüncə zənciri üçün sadiqliyini vurğulayıb. O yazıb: “OpenAI ən əvvəlki məntiqi modellərdən bəri düşüncə zənciri monitorinqini qoruyub istifadə etmək üzərində çalışır. Bu, hazırkı tədqiqat proqramımızın əsas məqsədi olub.”

Bütün AI modellərində müəyyən qədər opaqlı məntiq olur və cəmi bir neçə tədqiqatçı düşüncə zənciri qeydlərini modelin dəqiq məntiqi kimi qəbul edir. Buna baxmayaraq, bu xəbərdarlıqlar opaqlı təkrarlamanın süni intellekt məntiqinin monitorinqini çətinləşdirə biləcəyi qorxusunu aradan qaldırmır, xüsusilə istifadə artdıqca. Çərşənbə səhəri The Information yazıb ki, həm “Anthropic” həm də “Google DeepMind” artıq bu texnikanı müzakirə edir.

Xəbərlərə cavab olaraq yazıda, Redwood Araşdırma Şirkətinin baş alimi Rayan Qrinblat opaqlı məntiqin ənənəvi düşüncə zənciri məntiqindən daha sürətlə yayıla biləcəyini deyib. O bildirib ki, bu, məntiqi tamamilə görünməz kanallara çıxara bilər.

Qrinblat yazıb: “Ən böyük narahatlığım odur ki, bu inkişaf opaqlı məntiqi o qədər genişləndirə bilər ki, model düşüncəsini tamamilə və ya demək olar ki, tamamilə gizli məkanlarda aparacaq. Ümid edirəm ki, ən narahatedici arxitekturalardan qaçmaq üçün hələ gec deyil və OpenAI burada dayanacaq.”