Калі ў амерыканскіх баевіках на здымках са спадарожніка спецагенты павялічвалі нумар аўтамабіля да цалкам чытанага стану, мы смяяліся. Начальнік стаіць над кампутарнікам, прымушае маштабаваць, а потым «палепшыць» карцінку. Да такой ступені, што на маніторы з'яўляецца інфармацыя, якая на самой справе не можа ўтрымлівацца ў малюнку. Для людзей, якія больш-менш разбіраюцца ў апрацоўцы фатаграфій, такое здавалася фантастыкай. Ды і сёння, у прынцыпе, гэта застаецца фантастыкай. Але! Тэхналогія NVIDIA DLSS робіць гэтую фантастыку трохі бліжэй да рэальнасці.
Калі у 2018 годзе NVIDIA ўяўляла новае пакаленне відэакарт на микроархитектуре Turing, асноўнай фокус увагі геймераў быў засяроджаны на трасіроўку прамянёў: відэакарты RTX 2000-ы серыі сталі першымі, якія падтрымліваюць гэтую тэхналогію на апаратным узроўні дзякуючы RT-ядрам.
Але таксама ў «Цюрынгіі» былі і тэнзарнае ядра. Яны, выкарыстоўваючы вынікі глыбокага навучання нейрасецівы, паляпшалі згладжванне, павялічвалі прадукцыйнасць і дазвол малюнка, якое ствараецца гульнёй. Тэхналогія атрымала назву DLSS - Deep Lerning Super Sampling.
Па сутнасці, гэта адзін з прасунутых відаў тэхналогіі згладжвання ў гульнях. Кампутарныя геймеры знаёмыя з імі па загадкавым TAA, FXAA, MSAA, 8x, 4x і т. Д. У наладах карцінкі ў гульні. За гэтымі загадкавымі абрэвіятурамі крыюцца розныя варыяцыі згладжвання карцінкі. Яна складаецца з пікселяў, усе лініі ў кадры складаюцца з гэтых пікселяў, але з дапамогай квадратаў намаляваць дыяганальную лінію няпроста, яна будзе адлюстроўвацца лесвічкамі. А калі такіх ліній і лесвічак на межах палігонаў на экране шмат, карцінка пачынае мітусіцца ў вачах.
Уся шматстатнасць тэхналогій згладжвання займаецца тым, што прыбірае гэтыя лесвічкі ў меру сваіх магчымасцяў і магутнасцяў карыстацкага кампутара. Яны змяняюць колер пікселяў на межах і робяць пераходы больш плыўнымі. Рознымі спосабамі, па рознаму нагружаючы жалеза і дэманструючы трохі розны канчатковы вынік аж да замыливания карцінкі. Але ў нас аповяд не пра ўсё гэта разнастайнасці, у якім можна папросту ўгразнуць, а пра пачаткоўца, які вырашыў перавярнуць гульню з ног на галаву: забяспечыць дакладную карцінку і разгрузіць жалеза.
Магія ў дзеянні
Першая ітэрацыя тэхналогіі DLSS была неадназначнай і шмат у чым абмежаванай. Яна патрабавала навучання штучнага інтэлекту пад кожную новую гульню, падтрымку з боку распрацоўнікаў рэгулярнымі дапілваньне і выпуск спецыяльных драйвераў для відэакарты з выхадам гульні. Напрыклад, у гульні 2019 года Control арыгінальная тэхналогія павышала частату змены кадраў аж да 70%. У большасці сцэн якасць малюнка было выдатным, але рухаюцца аб'екты прыносілі шмат праблем. Арыгінальнай DLSS, да прыкладу, было няпроста спраўляцца з лопасцямі турбін, якія круціліся ў адной са сцэн гульні. Таксама былі праблемы з межамі дробных дэталяў у кадры.
Вясной 2020 года NVIDIA выпусціла версію DLSS 2.0 і для дэманстрацыі свайго прагрэсу зноў паказала Control. Там ужо і з лопасцямі усё было ў парадку, і дробныя аб'екты сталі выразней, межы сталі больш рэзкімі і прамаляваныя і павысілася агульная прадукцыйнасць гульні.
Была перапрацаваная мадэль штучнага інтэлекту, якая стала ў два разы хутчэй арыгінальнай версіі. Яна выкарыстоўвае тэнзарнае ядра больш эфектыўна, ліквідуе абмежаванне на колькасць падтрымоўваных відэакарт, налад якасці і дазволаў.
Арыгінальная тэхналогія меркавала навучанне нейрасецівы пад кожную новую гульню. DLSS 2.0 стала больш універсальнай, яе стала прасцей імплементаваць у гульні.
Як працуе гэтая магія? У NVIDIA ёсць спецыяльны фреймворк, які навучае глыбокую нейрасецівы. Навучанне заключаецца ў тым, што нейрасецівы скормліваюць дзясяткі тысяч эталонных малюнкаў у высокім дазволе. Сапраўды высокім - 16К. Гэтыя выявы ствараюцца магутным суперкампутарам падчас афлайн-рэндэрынгу гульні з нізкай частатой змены кадраў. Дзякуючы такому нацягванне нейрасецівы ў наступным на аснове зыходнага малюнка ў нізкім якасці здольная ствараць кадр ў высокім дазволе ўжо на карыстацкім прыладзе. У гэтым яна абапіраецца на атрыманыя веды падчас навучання.
Калі нейрасецівы сама стварае кадры з узораў нізкага дазволу, іх параўноўваюць з ўзорамі ў дазволе 16К і аб усіх адрозненнях і вушаках паведамляюць назад нейрасецівы. З кожным цыклам зверкі нейрасецівы навучаецца і паляпшае свае вынікі. Канчатковыя ў выглядзе драйвераў дабіраюцца да карыстацкіх відэакарт, і ў гульнях пачынае адбывацца магія.
Для карэктнай працы нейрасецівы DLSS 2.0 ёй патрэбныя ўваходныя дадзеныя. Іх падае гульнявой рухавічок. Першая порцыя дадзеных - выява ў нізкім дазволе без згладжвання. Другая - вектары руху для гэтых малюнкаў. Вектары - гэта інфармацыя пра тое, у якім кірунку са зменай кожнага кадра рухаюцца аб'екты на гэтым кадры. Па сутнасці, гэта такая карта перасоўванняў пікселяў па кадры.
Нейрасецівы стварае кадр ў высокім дазволе і, ведаючы вектары яго змены, на гэтай аснове павышае дазвол наступнага кадра. Літаральна попиксельно вызначае, як павысіць дазвол у наступным кадры.
перашкоды ўкаранення
У выпадку з першай ітэрацыі DLSS распрацоўнікам гульняў даводзілася працаваць у цесным супрацоўніцтве з NVIDIA, каб дадаць падтрымку ў сваю гульню. Рухавічку глыбокага навучання патрабавалася шмат малюнкаў з гульні. Другая версія DLSS стала больш даступнай, яна навучаецца на агульных малюнках, ёй не патрэбныя уступныя дадзеныя з канкрэтнай гульні.
Дзякуючы гэтаму спіс падтрымоўваных гульняў пашырыўся да трох дзясяткаў, тады як у арыгінальнай DLSS іх было менш за дзесяць.
У пачатку гэтага года NVIDIA выпусціла убудова для імплементацыі DLSS ў гульні ў Unreal Marketplace - крама платных і бясплатных прымочак для распрацоўшчыкаў гульняў на рухавічку Unreal Engine. Але многія распрацоўшчыкі пакуль не спяшаюцца з яе даданнем у свае гульні. Шмат у чым гэта звязана з распаўсюджанасцю 4K-манітораў ў геймераў. Усё ж такі найбольш уражліва DLSS 2.0 выглядае ў дазволе 4K. Там тэхналогія дазваляе дамагчыся значнага росту прадукцыйнасці, дазваляе нават відэакартам RTX 2000-ы серыі і пачатковага ўзроўню паказваць стабільны і играбельный фреймрейт у параўнанні з натыўных дазволам у 4K.
Але справа ў тым, што большасць пека-геймераў па-ранейшаму гуляюць у дазволе 1080 пікселяў - у Steam такіх карыстальнікаў больш 67%. Другое па папулярнасці дазвол - наўтбучныя: 1366 × 768 пікселяў - у 8% карыстальнікаў. На трэцім месцы з невялікім адрывам размясціліся прыстасаваныя экраны з дазволам 2560 × 1440 пікселяў. 4K маніторы пакуль застаюцца доляй энтузіястаў: крыху больш за 2% ад карыстальнікаў Steam.
Канкурэнт ад AMD
DLSS - прапрыетарных тэхналогія NVIDIA. Працуе толькі на відэакартах серыі RTX, у якіх ёсць тэнзарнае ядра. Яны займаюцца вылічэннямі, звязанымі з алгарытмамі штучнага інтэлекту. Галоўны супернік NVIDIA - кампанія AMD працуе над сваёй альтэрнатывай DLSS, якую называюць FidelityFX Super Resolution. Але пакуль практычна ніякай канкрэтнай інфармацыі аб гэтай распрацоўцы няма.
Вядома толькі, што ў «чырвоных» будзе важнае перавага. AMD паабяцала, што зробіць тэхналогію адкрытай і крос-платформавай. Гэта значыць, што тэхналогія можа прыйсці на кансолі новага пакалення, якія выкарыстоўваюць графічную архітэктуру RDNA 2 ад AMD.
Нядаўна AMD зладзіў прэзентацыю новай відэакарты Radeon RX 6700 XT. Многія спадзяваліся, што падчас гэтага івэнту раскажуць і пра FidelityFX Super Resolution. У кулуарах прэзентацыі патлумачылі, што AMD не спяшаецца з выпускам тэхналогіі для адной топавай карты, а замест гэтага хоча, каб яна была ва ўсіх сэнсах крос-платформавай.
Тэхналогія AMD павінна быць чымсьці падобнай з DLSS. А таму патэнцыйнае прысутнасць нейросетевая згладжвання на кансолях PS5 і Xbox Series выклікае вялікую цікавасць, бо далёка не ва ўсіх гульнях яны могуць паказаць 60 кадраў у секунду ў дазволе 4K.
Але ўсе гэтыя развагі застаюцца пакуль толькі спекуляцыямі. Магчыма, да канца гэтага года AMD ўсё ж такі раскажа больш пра сваю распрацоўцы. А пакуль працягваем сачыць за тым, як ахвотна распрацоўшчыкі гульняў будуць ўкараняць у свае прадукты DLSS.
Наш канал у Telegram. Далучайцеся!
Ёсць пра што рассказать? Пішыце ў наш телеграм-бот. Гэта ананімна і хутка
Перадрукоўка тэксту і фатаграфій Onliner без дазволу рэдакцыі забаронена. [email protected]