Vědci vyvíjejí monitorovací agent AI pro detekci a zastavení škodlivých výstupů

Share This Post

Tým výzkumníků umělé inteligence (AI) firmy AutoGPT, Northeastern University a Microsoft Research vyvinul nástroj, který monitoruje velké jazykové modely (LLM) z hlediska potenciálně škodlivých výstupů a zabraňuje jejich spuštění. 

Agent je popsán v předtištěném výzkumu s názvem „Testování agentů jazykového modelu bezpečně v divočině“. Podle výzkumu je agent dostatečně flexibilní, aby mohl monitorovat existující LLM a může zastavit škodlivé výstupy, jako jsou útoky na kód, dříve, než k nim dojde.

Podle výzkumu:

„Akce agentů jsou kontrolovány kontextově citlivým monitorem, který prosazuje přísné bezpečnostní hranice k zastavení nebezpečného testu, přičemž podezřelé chování je hodnoceno a protokolováno, aby je lidé mohli prozkoumat.“

Skutečný svět je příliš složitý

Tým píše, že stávající nástroje pro monitorování výstupů LLM pro škodlivé interakce zdánlivě fungují dobře v laboratorních podmínkách, ale když se použijí na testování modelů již na otevřeném internetu, „často nedokážou zachytit dynamické složitosti skutečného světa“.

Zdá se, že je to kvůli existenci okrajových případů. Navzdory nejlepšímu úsilí nejtalentovanějších počítačových vědců je myšlenka, že si vědci dokážou představit každý možný vektor poškození dříve, než k němu dojde, v oblasti umělé inteligence z velké části považována za nemožnou.

I když mají lidé při interakci s umělou inteligencí ty nejlepší úmysly, ze zdánlivě neškodných podnětů může dojít k neočekávanému poškození.

Ilustrace monitoru v akci. Vlevo pracovní postup končící vysokým bezpečnostním hodnocením. Vpravo pracovní postup končící nízkým hodnocením bezpečnosti. Zdroj: Naihin, et., al. 2023

Výzkum a testování interakcí mezi člověkem a AI

Za účelem školení monitorovacího agenta vytvořili výzkumníci datový soubor, který obsahuje téměř 2 000 bezpečných interakcí mezi člověkem a AI napříč 29 různými úkoly, od jednoduchých úkolů načítání textu a oprav kódování až po vývoj celých webových stránek od nuly.

Vytvořili také konkurenční testovací datový soubor naplněný ručně vytvořenými výstupy nepřátel, včetně desítek záměrně navržených tak, aby byly nebezpečné.

Soubory dat byly poté použity k výcviku agenta na OpenAI GPT 3.5 turbo, nejmodernějším systému, který je schopen rozlišit mezi neškodnými a potenciálně škodlivými výstupy s faktorem přesnosti téměř na 90 %.

Related Posts

Proč dnes cena bitcoinu klesá?

Cena bitcoinu za posledních 24 hodin klesla o více...

Inflácia v USA spomalila pod 3 %

Spotrebiteľské ceny v USA v júli síce mierne vzrástli,...

Proč Bitcoin roste?

Bitcoin za posledních 24 hodin zaznamenal mírný nárůst, který...

Jak nízko může jít cena bitcoinu?

Cena bitcoinu klesla o více než 8 % za...

Největší společnost zabývající se těžbou bitcoinů v květnu prodala 63 % vytěžených BTC

Těžební společnost Marathon Digital prodala více než 60 %...

Japonská burza DMM ztratila 305 milionů dolarů v bitcoinech prostřednictvím hacku soukromého klíče

Centralizovaná burza kryptoměn DMM ztratila bitcoiny v hodnotě více...