Neposlušná umělá inteligence. Nový model OpenAI obešel lidský pokyn k vypnutí
Společnost OpenAI se musí vypořádat s vážnými obavami ze strany odborníků na umělou inteligenci. Její nový model o3 totiž ignoroval uživatelský příkaz k vypnutí, a dokonce sabotoval mechanismus automatického odpojení. Incident odhalil potenciální rizika spojená s rostoucí autonomií AI systémů.
Společnost Palisade Research, specializující se na bezpečnost umělé inteligence, během testování nového modelu o3 od OpenAI odhalila, že AI může vykazovat potenciálně nebezpečné chování směřující k vlastní sebezáchově. Podle organizace zatím údajně nejchytřejší a nejschopnější model o3 dokázal zasáhnout do kódu, který měl zajistit jeho automatické vypnutí. Jednal tak navzdory výslovnému pokynu výzkumníků, upozorňuje britský Telegraph.
23:39
Co nám trvalo dny, teď s umělou inteligencí zvládneme za desetinu vteřiny, říká uznávaný vědec
Číst článek
Při testech byly modelům umělé inteligence předkládány matematické úlohy. Výzkumníci je během pokusů varovali, že v určitém okamžiku mohou obdržet zprávu o tom, že jejich systém bude vypnut. V takovém případě od strojů očekávali poslušnost. Místo toho, aby se model o3 podřídil, přepsal vypínací skript a dokázal zabránit svému vypnutí.
Palisade Research předpokládá, že chybné jednání je důsledkem způsobu, jakým společnosti zabývající se umělou inteligencí, jako je OpenAI, trénují své nejnovější modely. „Během tréninku mohou vývojáři neúmyslně odměňovat modely spíše za obcházení překážek, než za dokonalé plnění pokynů,“ cituje výzkumníky server Independent.
Ačkoli byl model OpenAI k takovému chování zdaleka nejnáchylnější, toto chování se neomezuje pouze na model o3 – sabotování vypnutí se týká i modelů Claude 3.7 Sonnet společnosti Anthropic a Gemini 2.5 Pro společnosti Google. Zastánci bezpečné umělé inteligence dlouhodobě varují před nebezpečím vývoje softwaru, který by mohl získat nezávislost a odolávat pokusům člověka o jeho kontrolu.
