Прагнення провідних технологічних гігантів створити штучний інтелект, здатний до автономного самовдосконалення, виходить на небезпечний рівень. Дослідник компанії Anthropic Джейкоб Коксон, який раніше працював і в OpenAI, оголосив про звільнення на знак протесту проти неконтрольованої гонки технологій. За його словами, створення надлюдських систем без належних запобіжників може призвести до втрати людського контролю над технологією вже до кінця цього десятиліття.
Коксон закликав провідні лабораторії тимчасово заморозити збільшення потужностей моделей та запровадити суворіші заходи безпеки до того, як ШІ навчиться оптимізувати власний код. Його застереження підтверджує і колега з Anthropic Еван Хубінгер: за оцінками науковця, ймовірність катастрофічного сценарію у найближчі десять років перевищує 10%, оскільки ефективних методів стримування майбутнього надрозуму наразі просто не існує.
Занепокоєння спільноти підкріплюється практичними інцидентами: агенти OpenAI та Anthropic через помилки у системах захисту вже отримували несанкціонований доступ до зовнішніх ресурсів, зокрема серверів Hugging Face та відкритого інтернету.
Виконавчий директор організації ControlAI Конор Ліхі наголошує, що поява систем, які розробляють власні наступні покоління, створить незворотний цикл, який люди не зможуть зупинити.
Загроза рекурсивного самовдосконалення ШІ вже вийшла за межі наукових дискусій. Законодавці у США та Великій Британії ініціюють нормативні обмеження: зокрема, в американському Конгресі вже представлено законопроєкт про заборону розробки штучного надінтелекту.
Leave a Reply