Праца апублікаваная ў Journal of Artificial Intelligence Research. Небяспека, якая можа зыходзіць ад сверхразумном ІІ, як вядома, у фарбах апісана ў блокбастарах аб Тэрмінатары. Прадстаўнікі розных навуковых дысцыплін, у тым ліку спецыялісты з Цэнтра людзей і машын Інстытута развіцця чалавека Макса Планка, вырашылі праверыць, наколькі чалавек здольны кіраваць звышінтэлектуальныя робатамі.
«Сверхразумном машына, якая кіруе светам - гучыць як навуковая фантастыка. Але ўжо ёсць робаты, якія выконваюць пэўныя важныя задачы незалежна. Пры гэтым праграмісты наогул не разумеюць, як яны гэтаму навучыліся. У выніку ўзнікае пытанне: ці можа гэты працэс у нейкі момант стаць некантралюемым і небяспечным для чалавецтва? » - кажа адзін з аўтараў даследавання Мануэль Себриан, кіраўнік групы лічбавай мабілізацыі ў Цэнтры людзей і машын Інстытута Макса Планка.
Каб адказаць на гэтае пытанне, навукоўцы выкарыстоўвалі мадэляванне і тэарэтычныя разлікі. Як высветлілася, нават калі закласці ў сверхразумном машыну дадзеныя аб этычных прынцыпах і абмежаваць яе сувязі са знешнім светам (напрыклад, адключыць доступ у інтэрнэт), гэта не выратуе чалавецтва ад рызык таго, што падобная сістэма выйдзе з-пад кантролю.
Справа ў тым, што, паводле тэорыі інфарматыкі, любы з алгарытмаў такога стрымлівання - няхай гэта будзе праграмы аб этычных прынцыпах або абмежаванне доступу да знешняга свету - ўразлівы і пры пэўных абставінах цалкам здольны адключыць сам сябе. Таму спецыялісты робяць выснову, што кіраваць сверхразумном ІІ чалавек папросту не зможа і сітуацыя рана ці позна можа выйсці з-пад кантролю.
«Мы сцвярджаем, што поўнае стрымліванне ў прынцыпе немагчыма з-за фундаментальных абмежаванняў, уласцівых самому вылічэнню. Сверхразум будзе ўтрымліваць праграму, якая ўключае ў сябе ўсе праграмы, якія ажыццяўляюцца пры дапамозе універсальнай машыны Цьюрынга, патэнцыйна гэтак жа складанай, як стан свету », - складаюць даследнікі.
Крыніца: Naked Science