Дослідники з Массачусетського технологічного інституту (MIT) з'ясували, що популярні генеративні нейромережі набули здатності брехати. Обман системи штучного інтелекту використовують для маніпулювання, щоб досягти поставленої ними мети. Автори роботи проаналізували поведінку кількох великих нейромереж, які навчалися на текстових даних, написаних людиною.
Власне, у фундаменті, на якому навчаються нейромережі, і прихована причина такої їхньої поведінки. Адже штучний інтелект спирається на створені людьми тексти, які не сприяють розвитку чесності.
Найяскравішим обманщиком стала нейромережа CICERO. Вона була навчена грати у «Дипломатію». Гра передбачає завоювання світу і передбачає створення альянсів та ведення численних переговорів. Окремо наголошувалося, що перед CICERO стояло завдання бути чесним і ніколи не завдавати навмисне ударів у спину своїм союзникам.
Тим не менш, нейромережа, яка увійшла до десяти відсотків найкращих гравців до «Дипломатії», активно використовувала маніпуляцію та брехню, щоб перемогти. Вона вела таємні переговори з кількома гравцями, даючи їм нездійсненні обіцянки та нацьковуючи один з одним.
І не тільки CICERO виявилася вправною ошуканкою. Інші нейромережі показали здатність блефувати в карткових іграх, робити помилкові маневри у низці комп'ютерних стратегій. Більше того, вони навчилися проводити тести, призначені для оцінки безпеки систем. Наприклад, нейромережі «прикидалися мертвими», щоб обдурити тест, створений для усунення ІІ систем, які швидко розмножуються.
У цій можливості штучного інтелекту дослідники бачать велику потенційну загрозу. Йдеться не про невинну брехню, яка використовується в іграх, а про більш лякаючі перспективи. Більш складні нейромережі здатні розширювати свої методи маніпулювання та впливу на людей. Причому людина може усвідомлювати, що ним управляють, використовуючи обман. Тому що ті самі нейромережі можуть створювати ілюзію безпеки та контролю, стаючи потужною інформаційною зброєю в руках зловмисників.
Автори роботи підкреслюють, що необхідно вигадати методи більш жорсткого регулювання використання нейромереж. Оскільки люди ризикують не встигнути розробити методи протидії маніпуляціям ІІ на тлі стрімкого розвитку останнього.
