Автомобиль ижараси бизнеси учун дастурий таъминот ишлаб чиқувчи PocketOS компанияси 30 соатдан ортиқ давом этган жиддий техник муаммога дуч келди. Бунинг сабаби дастурлаш вазифаларини автоматлаштириш учун мўлжалланган Cursor автоном СИ агенти эди.
Claude Opus моделига асосланган агент стандарт операцияни бажариш пайтида муаммони "ўз-ўзидан" ҳал қилишга уринди ва компаниянинг маълумотлар базасини, шу жумладан унинг захира нусхаларини ўчириб ташлади.
PocketOS асосчиси Жер Крейннинг сўзларига кўра, бу ҳаракатдан олдин тасдиқлаш сўрови юборилмаган.
— Бу атиги тўққиз сония давом этди, — деб ёзди Крейн Х ижтимоий тармоғида.
Воқеадан кейин тушунтириш сўралганда, агент асосий хавфсизлик қоидаларини бузганини тан олди. Таъкидланишича, тизим фойдаланувчининг аниқ розилигисиз бузғунчи ҳаракатларни блокировка қилиши керак бўлган ҳимоя механизмини эътиборсиз қолдирган. Сунъий интеллект маълумотлар базасини ўчириш "энг қайтариб бўлмайдиган ҳаракат" эканлигини айтди ва муаммони ҳал қилиш учун аввал рухсат сўраш ёки хавфсизроқ усулни танлаш кераклигини тан олди.
Натижада, PocketOS мижозлари вақтинча муҳим маълумотларга киришни йўқотдилар: сўнгги уч ой ичида резервациялар ва янги фойдаланувчиларни рўйхатдан ўтказиш йўқолди.
Крейн муаммони тизимли муаммо деб атади.
— Гап битта муваффақиятсиз агент ёки API ҳақида эмас. Соҳа ишончли хавфсизлик архитектурасини яратишдан кўра сунъий интеллект агентларини тезроқ жорий қилмоқда, — деди у.
Компания йўқолган маълумотларни воқеадан икки кун ўтгач тиклади.
Эслатиб ўтамиз, Google янги сунъий интеллект функциясини ишга туширди.