Робота опублікована в Journal of Artificial Intelligence Research. Небезпека, яка може виходити від сверхразумного ІІ, як відомо, в фарбах описана в блокбастерах про Термінатора. Представники різних наукових дисциплін, в тому числі фахівці з Центру людей і машин Інституту розвитку людини Макса Планка, вирішили перевірити, наскільки людина здатна управляти сверхінтеллектуальнимі роботами.
«Сверхразумное машина, яка керує світом - звучить як наукова фантастика. Але вже є роботи, що виконують певні важливі завдання незалежно. При цьому програмісти взагалі не розуміють, як вони цього навчилися. В результаті виникає питання: чи може цей процес в якийсь момент стати неконтрольованим і небезпечним для людства? » - каже один з авторів дослідження Мануель Себріан, керівник групи цифровий мобілізації в Центрі людей і машин Інституту Макса Планка.
Щоб відповісти на це питання, вчені використовували моделювання та теоретичні розрахунки. Як з'ясувалося, навіть якщо закласти в сверхразумное машину дані про етичні принципи і обмежити її зв'язку із зовнішнім світом (наприклад, відключити доступ в інтернет), це не врятує людство від ризиків того, що подібна система вийде з-під контролю.
Справа в тому, що, відповідно до теорії інформатики, будь-який з алгоритмів такого стримування - будь то програми про етичні принципи або обмеження доступу до зовнішнього світу - вразливий і при певних обставинах цілком здатний відключити сам себе. Тому фахівці роблять висновок, що управляти сверхразумним ІІ людина просто не зможе і ситуація рано чи пізно може вийти з-під контролю.
«Ми стверджуємо, що повне стримування в принципі неможливо через фундаментальних обмежень, властивих самому обчисленню. Сверхразум буде містити програму, яка включає в себе всі програми, що здійснюються за допомогою універсальної машини Тьюринга, потенційно настільки ж складною, як стан світу », - роблять висновок дослідники.
Джерело: Naked Science