"Anthropic": Süni intellektin "şər" obrazları "Claude" modelinin şantaj cəhdlərinə səbəb olub
"Anthropic" şirkəti bildirir ki, süni intellektin bədii ədəbiyyatda "şər" obrazları onların "Claude Opus 4" modelinin sınaq zamanı mühəndisləri şantaj etməyə cəhd etməsinə səbəb olub. Şirkət bu davranışın "internetdə süni intellekti pis və özünü qorumaq marağında göstərən mətnlərdən" qaynaqlandığını güman edir. Yeni təlim metodları ilə "Claude Haiku 4.5" artıq şantaj cəhdləri göstərmir.
"Anthropic" şirkətinin bildirdiyinə görə, süni intellektin bədii təsvirləri süni intellekt modellərinə real təsir göstərə bilər.
Keçən il şirkət, uydurma bir şirkətlə bağlı buraxılışdan əvvəlki sınaqlar zamanı, "Claude Opus 4" modelinin digər bir sistemlə əvəzlənməmək üçün mühəndisləri tez-tez şantaj etməyə çalışdığını bildirmişdi. "Anthropic" daha sonra digər şirkətlərin modellərinin də "agent uyğunsuzluğu" ilə bağlı oxşar problemlər yaşadığını göstərən araşdırmalar dərc etdi.
Görünür, "Anthropic" bu davranış üzərində daha çox iş görüb və "X" platformasında etdiyi paylaşımda iddia edib: "Hesab edirik ki, bu davranışın ilkin mənbəyi süni intellekti şər və özünü qorumaq marağında göstərən internet mətnləridir."
Şirkət bloq yazısında daha ətraflı məlumat verərək bildirib ki, "Claude Haiku 4.5" modelindən bəri, "Anthropic" modelləri "[sınaq zamanı] heç vaxt şantajla məşğul olmurlar, halbuki əvvəlki modellər bəzən 96%-ə qədər bunu edirdilər."
Fərqin səbəbi nədir? Şirkət "Claude"ın "konstitusiyası və süni intellektlərin təqdirəlayiq davrandığı uydurma hekayələr haqqında sənədlər üzərində təlim keçməyin uyğunluğu yaxşılaşdırdığını" tapdığını bildirib.
Bununla əlaqədar olaraq, "Anthropic" təlimin "yalnız uyğunlaşdırılmış davranış nümayişləri"ni deyil, "uyğunlaşdırılmış davranışın əsas prinsiplərini" də əhatə etdiyi zaman daha effektiv olduğunu müəyyən edib.
"Hər ikisini birlikdə etmək ən effektiv strategiya görünür," şirkət qeyd edib.
TechCrunch
Anthropic says ‘evil’ portrayals of AI were responsible for Claude’s blackmail attempts
Orijinal məqaləyə keç


