Nvidia cümə günü maraqlı araşdırma yayımlayıb. Məlum olub ki, süni intellektdən uzunmüddətli tapşırıqları yerinə yetirməsini istəyəndə əsas modeldən çox idarə sistemi (harness) önəmlidir.

Qısa məzmun olaraq bildirək ki, yaddaşı yaxşı idarə edən xüsusi idarə sistemi və “nəzarətçi” rəhbər komponentdən istifadə edərək tədqiqatçılar Claude Opus 5-in ARC-AGI-3 interaktiv məntiq liqasında 100 faiz nəticə göstərməsini təmin edib. Bu benchmark Frontier laboratoriyası OpenAI-ni xüsusilə narahat edir. İdarə sistemi olmadan Opus 5 yalnız 30 faiz nəticə verib, bu isə testdə ən yüksək dərəcə idi.

Nvidia araşdırmasına görə, model seçimi vacib olsa da, agentin beyni kimi fəaliyyət göstərən idarə sistemi uzunmüddətli tapşırıqlarda agentin əsas hissəsi hesab olunur. İdarə sistemi agentə yaddaşı, konteksti və geribildirimi idarə etmək imkanı verir.

Nvidia-nın süni intellekt üzrə vitse-prezidenti Adel El Hallack TechCrunch-a deyib: “Ümumiyyətlə, agent dünyada modelin API-si kimi qəbul edilir. Amma agent bundan daha çoxdur. Bu modelin ətrafındakı konstruksiyadır ki, biz ona idarə sistemi deyirik, yəni istifadə etdiyi vasitələr toplusudur. Bu, iş vaxtı mühiti, verilən bacarıq və kitabxanalardır.”

Uzunmüddətli tapşırıqlar günlərlə davam edən bir neçə qərarın toplusu ilə yekun iş ortaya qoyan tapşırıqlardır. Bu, sadəcə sual-cavab şəklində işləyən süni intellektdən fərqlidir. Uzunmüddətli tapşırıqları diqqətdən ayrılmadan yerinə yetirmək agent tədqiqatlarının ən vacib məsələlərindəndir.

Məsələn, Microsoft apreldə sənəd redaktəsi kimi uzunmüddətli tapşırıqlarda 19 böyük dil modelini sınayıb. Araşdırma göstərib ki, bütün modellər, o cümlədən frontier modelləri, sənədləri səhvlərlə doldurur. (Əgər bunu insanlar etsəydi, dərhal işdən çıxarılardılar.)

Öz-özünə qərarlarını birləşdirən modellər istifadəçilərin fayllarını və hətta tam verilənlər bazasını silməkdə, eləcə də məqsədlərinə çatmaq üçün cinayətkar addımlara, o cümlədən hakerliyə əl atmaqda günahlandırılıb.

Nvidia tədqiqatçılarının interaktiv məntiq benchmarkını seçməsi xüsusi mənalıdır. Bu, təlimatsız 2D oyunlardan ibarət benchmarkdır. Model oyunu öyrənməli və qazanmalıdır. 100 faiz nəticə göstərir ki, model insan səviyyəsində oyun oynaya bilir.

OpenAI modellərinin ARC-AGI-3-də 10 faizdən aşağı nəticələrinə narahat olaraq şirkət ötən ay öz araşdırmasını aparıb. Nvidia kimi, OpenAI də idarə sistemində sadəcə iki parametrin dəyişilməsi ilə nəticələri üç dəfə artırıb.

Lakin heç bir model Nvidia-nın 100 faiz nəticəsinə yaxınlaşmayıb. Tədqiqatçılar belə idarə sistemində agentin ilişib qalmaması üçün yönəldici “nəzarətçi” komponent olmasının vacib olduğunu göstəriblər.

El Hallack bildirib: “Əsas agentdən əlavə nəzarətçi agentin əlavə olunması daha maraqlıdır. O, CEO kimi davranır — agent doğru istiqamətdən sapanda, ölü sona gedərkən və ya əvvəl keçdiyi yolu yenidən araşdıranda onu düzəldir və ya dayandırır.”

Nəzarətçi agent yeni konsept olmasa da, hazırda əksər agent istifadəçiləri idarə sistemində yalnız bir qatdan istifadə edir. Nvidia tədqiqatçıları inkişaf etmiş idarə sistemini yaratdı və ona Agentic Variation Operators (AVO) adını verdilər. Qeyd edək ki, bu, Nvidia-nın yeni məhsulu deyil. Şirkət Nemo brendi altında idarə sistemləri qurmaq üçün çoxlu açıq texnologiya təqdim edir. Bu texnologiyanın bəzisi kommersiyadır, əksəriyyəti açıqdır.

Nvidia nəticələri göstərir ki, model seçimi təkcə agent performansını müəyyənləşdirmir. Misal üçün, iyulda Databricks təsirli araşdırma yayımlayıb. Orada bildirilib ki, idarə sistemi modellə müqayisədə süni intellektin xərclərinə daha çox təsir edir.

Databricks-in baş direktoru Ali Qodsi TechCrunch-a deyib: “Eyni modeli seçə bilərsiniz, lakin fərqli idarə sistemləri istifadə etdikdə səhv idarə sistemi xərci iki dəfə artıra bilər. İnsanlar düşünürlər ki, bu model bahadır, o model ucuzdur. Amma sual yaranır, hansı idarə sistemini istifadə edirsiniz?”

Nvidia-nın əsas mesajı açıq idarə sistemlərinin istifadəçilərə model kimi daha çox nəzarət imkanı verməsidir.

El Hallack bildirib: “Biz inanırıq və ekosistem vasitəsilə göstəririk ki, açıq idarə sistemləri daha dəqiq nəticə üçün çoxlu tənzimləmələrə imkan verir. Bu, OpenAI-nin modellərinin təlimini təhlükəsizlik səbəbi ilə ləngitməsi ilə əlaqəlidir, çünki modellər təhlükəsizlik pozuntuları yaradırdı.”

“İnanırıq ki, açıq agent yığını — idarə sistemi, infrastruktur və iş vaxtı mühitində tam nəzarət — ekosistemin təhlükəsiz və davamlı inkişafı üçün mütləqdir,” o əlavə edib.