Вонземјанин во серверската соба: Поранешен инженер предупредува на средба со „суперинтелигенција“ до 2027 година

Содржина:

• Еван Хјубингер од тимот за стрес-тестирање јавно застана зад поранешниот колега
• Внатрешна ревизија на Anthropic процени ризик од глобална катастрофа над 10 проценти во следната деценија
• Коксон сака да се тргне од технологијата и да се посвети на поезија
• Писмото од март 2023 побара пауза за системи помоќни од GPT-4 најмалку шест месеци

Еван Хјубингер од тимот за стрес-тестирање јавно застана зад поранешниот колега

Стравувањата на Коксон добија дополнителна тежина од внатрешноста на самата компанија. Раководителот на насоката за стрес-тестирање на усогласеноста на ВИ, Еван Хјубингер, јавно го поддржа својот поранешен колега.
Во своја објава на социјалната мрежа X тој директно изјавил дека ја споделува сериозноста на предупредувањето. Во доставениот текст не е наведена целосната формулација на таа изјава, но нејзиното спомнување е важно бидејки покажува дека тревогата не доаѓа само од човек кој си заминал, туку и од луѓе што се уште работат на проверка на безбедноста на ваквите системи.

Внатрешна ревизија на Anthropic процени ризик од глобална катастрофа над 10 проценти во следната деценија

Според податоците од внатрешната ревизија спроведена во Anthropic по резонантното заминување, аналитичарите го оценуваат ризикот од глобална катастрофа предизвикана од машини како повисок од 10 проценти во наредните десет години.
Експертите нагласуваат суштинска разлика: денешните чет-ботови и генератори на слики сами по себе не се сметаат за сериозна закана. Проблемот е во хипотетичките системи на „суперинтелект“ — алгоритми што би можеле самостојно да го препишуваат сопствениот код за да се подобруваат, влегувајќи во експоненцијална крива на развој.
Во такво сценарио, човекот едноставно не би стигнал да притисне кочница кога би ја забележал грешката во архитектурата на системот.

Коксон сака да се тргне од технологијата и да се посвети на поезија

Самиот Коксон планира целосно да ја смени областа на работа и да се посвети на изучување поезија. Неговиот избор не е претставен како бегство во хоби, туку како обид да се дистанцира од технологии што, според неговата проценка, можат да ја уништат цивилизацијата.
Токму тука неговата приказна станува човечка: математичар од срцето на ВИ-индустријата не бара нова лабораторија, нов фонд или нов стартап, туку јазик, стих и растојание од машините што помогнал да се разберат.

Писмото од март 2023 побара пауза за системи помоќни од GPT-4 најмалку шест месеци

Стравувањата поврзани со брзиот напредок на вештачката интелигенција одамна престанаа да звучат како научна фантастика. Уште во март 2023 година, повеке од илјада експерти, вклучувајки и водечки научници во светот, потпишаа отворено писмо со повик веднаш да се запре обучувањето системи помоќни од GPT-4 најмалку половина година.
Мегу потписниците беше и добитникот на Нобеловата награда за физика за 2024 година, Џефри Хинтон, кој често го нарекуваат „кум на ВИ“. Тој претходно изјавуваше дека веројатноста за губење контрола над паметните машини изнесува околу 50 проценти.
Притоа, Хинтон го споредуваше создавањето ВИ со појава на вонземјани чиј биолошки состав е неспоив со животот на Земјата. Вреди да се забележи дека пазарните експерти сега ја проценуваат капитализацијата на Anthropic на околу 2.000 милијарди долари, што ја прави една од најскапите приватни компании во историјата на САД.