Jak neurosetka poprawia obraz w grach? O technologii DLSS.

Anonim
Jak neurosetka poprawia obraz w grach? O technologii DLSS. 1908_1
Jak neurosetka poprawia obraz w grach? O technologii DLSS. 1908_2
Jak neurosetka poprawia obraz w grach? O technologii DLSS. 1908_3
Jak neurosetka poprawia obraz w grach? O technologii DLSS. 1908_4
Jak neurosetka poprawia obraz w grach? O technologii DLSS. 1908_5

Kiedy w amerykańskich bojownikach na zdjęciach z satelity specjalne agenci zwiększyli liczbę samochodu do w pełni przeczytanego stanu, roześmiałymy. Szef stoi nad komputerem, czyni go skalowaniem, a następnie "poprawić" obraz. W takim stopniu informacje pojawiają się na monitorze, które nie mogą być w rzeczywistości zawarte na obrazie. Dla osób bardziej lub mniej zdemontowanych w przetwarzaniu fotografii, wydawało się fantastyczne. Tak, a dziś zasadniczo pozostaje fantastyczna. Ale! Technologia NVIDIA DLSS sprawia, że ​​ta fantastyczna jest trochę bliższa rzeczywistości.

Kiedy Nvidia zaprezentowała nową generację kart wideo na markroarchitecture turining, głównym celem graczy koncentrowało się na Ray Trace: Karty wideo RTX z serii 2000 stały się pierwszym, który wspiera tę technologię na poziomie sprzętu ze względu na RT jądro.

Ale także w "Thuringami" były też jądra tarza. Używając wyników głębokiej nauki sieci neuronowej, poprawiły wygładzanie, zwiększyły wydajność i rozdzielczość obrazu, który jest tworzony przez grę. Technologia otrzymała nazwę DLSS - głęboka samotna próbka.

W rzeczywistości jest to jeden z zaawansowanych typów technologii wygładzania w grach. Gracze komputerowi znają je na tajemniczym Tai, FXAA, MSAA, 8X, 4X itp. W ustawieniach obrazu w grze. Poprzez te tajemnicze skróty, różne odmiany wygładzających się zdjęć leżą. Składa się z pikseli, wszystkie linie w ramce składają się z tych pikseli, ale przy pomocy kwadratów do narysowania linii przekątnej nie jest łatwa, zostanie wyświetlona z dyszlem. A kiedy takie linie i panie na granicach wielokątów na ekranie, obraz zaczyna bogaty w oczy.

Cała różnorodność technologii wygładzających jest zaangażowana w usunięcie tych pań, aby zmierzyć swoje możliwości i moc komputera niestandardowego. Zmieniają kolor pikseli na granicach i dokonać przejścia bardziej płynne. Różne sposoby, na różne sposoby, ładowanie żelaza i wykazując nieco inny wynik końcowy bezpośrednio do rzeźby obrazu. Ale nie mamy opowieści o tym całym kolektorze, w którym można łatwo się ugasić, ale o nowicjuszu, który postanowił włączyć grę z nóg na głowie: aby zapewnić jasny obraz i wyładuj żelazo.

Magia w akcji

Pierwsza iteracja technologii DLSS była niejednoznaczna i w dużej mierze ograniczona. Wymagał treningu sztucznej inteligencji pod każdą nową grą, wsparcie od programistów poprzez regularne wykończenie i wydanie sterowników specjalnych dla karty graficznej z wydaniem gry. Na przykład w 2019 roku kontrola gry, oryginalna technologia podniosła częstotliwość zmiany ramki do 70%. W większości scen jakości obrazu była doskonała, ale ruchome obiekty przyniosły wiele problemów. Na przykład oryginalne DLSS nie było łatwe w radzeniu sobie z ostrzami turbinowymi, które wirujące w jednej z sceny gry. Były też problemy z granicami małych szczegółów w ramce.

Wiosną 2020 r. Nvidia wydała wersję DLSS 2.0, a kontrola wykazywała ponownie, aby zademonstrować ich postępy. Było już z ostrzami, wszystko było w porządku, a małe przedmioty stały się wyraźniejsze, granice stały się ostrzejsze i narysowane i zwiększyły ogólną wydajność gry.

Sztuczny model inteligencji został przerobiony, który stał się dwa razy szybszy niż oryginalna wersja. Wykorzystuje jądra Tensora skuteczniej, eliminuje limit liczby obsługiwanych kart wideo, jakości i uprawnień.

Oryginalna technologia przyjęła szkolenie sieci neuronowej pod każdą nową grą. DLSS 2.0 stało się bardziej wszechstronne, stało się łatwiejsze do wdrożenia w grach.

Jak ta magiczna praca? NVIDIA ma specjalne ramy, które uczy głębokiej sieci neuronowej. Szkolenie polega na tym, że sieci neuronowe pasują dziesiątki tysięcy obrazów referencyjnych w wysokiej rozdzielczości. Naprawdę wysoki - 16k. Obrazy są tworzone przez potężny superkomputer podczas renderowania offline o niskiej częstotliwości ramek. Dzięki temu rozpraszaniu neurallet jest następnie oparty na obrazie źródłowym w niskiej jakości zdolnej do tworzenia ramki w wysokiej rozdzielczości już na urządzeniu użytkownika. W tym celu opiera się na wiedzy zdobytej podczas treningu.

Gdy sama sieć neuronowa tworzy ramki z próbek niskiej rozdzielczości, są one porównywane ze standardami w rozdzielczości 16K oraz o wszystkich różnicach i ławice są zgłaszane do sieci neuronowej. Przy każdym cyklu, pojednanie jest dostrojony i poprawia wyniki. Ostatecznie w formie sterowników dostają się do niestandardowych kart wideo, a magia zaczyna występować w grach.

W celu prawidłowej obsługi sieci neuronowej DLSS 2.0 wymaga wejścia. Ich silnik gier zapewnia. Pierwszą częścią danych jest obraz w niskiej rozdzielczości bez wygładzania. Po drugie - wektory ruchu dla tych obrazów. Wektory są informacjami o tym, jakie obiekty kierunku na tej ramie poruszają się w tej ramce. W istocie jest to taka mapa ruchów pikseli przez ramę.

Neurala tworzy ramkę w wysokiej rozdzielczości i, poznając wektory jego zmiany, na tej podstawie zwiększa zgodę następnej klatki. Dosłownie pikselly określa, jak zwiększyć rozdzielczość w następnej klatce.

Prepanse realizacji

W przypadku pierwszej iteracji deweloperzy DLSS musieli pracować w ścisłej współpracy z NVIDIA, aby dodać wsparcie do ich gry. Silnik wylotowy wymagał wielu zdjęć z gry. Druga wersja DLSS stała się bardziej dostępna, studiuje na wspólnych obrazach, nie wymaga danych wprowadzających z określonej gry.

Dzięki temu lista obsługiwanych gier rozszerzyła się do trzech tuzina, a oryginalne DLS miały mniej niż dziesięć.

Na początku tego roku NVIDIA wydała wtyczkę, aby wdrożyć DLSS do gry w Unreal Marketplace - płatny i bezpłatny sklep jazdy dla deweloperów gry na Unreal Silnik. Ale wielu deweloperów nie spieszy się z jego dodatkiem do ich gier. Jest to w dużej mierze ze względu na występowanie monitorów 4k w grach. Wciąż najbardziej imponujące DLSS 2.0 wygląda w rozdzielczości 4K. Tam technologia pozwala osiągnąć znaczny wzrost wydajności, umożliwia kartę wideo RTX z serii 2000th i początkowym poziomie, aby pokazać stabilną i grającą ramy w porównaniu z rozdzielczością odżywczą w 4K.

Ale faktem jest, że większość Geimers wciąż gra w rozwiązywaniu 1080 pikseli - istnieje ponad 67% takich użytkowników w Steam. Druga rozdzielczość to laptop: 1366 × 768 pikseli - 8% użytkowników. W trzecim miejscu z małym przejściem, niestandardowe ekrany o rozdzielczości 2560 × 1440 pikseli. Monitory 4K nadal pozostają wielu entuzjastami: nieco ponad 2% użytkowników pary.

Konkurent z AMD.

DLSS - NVIDIA Wodacyjna technologia. Działa tylko na kartach wideo serii RTX, które mają jądra Tensora. Są one obliczane związane ze sztucznymi algorytmami wywiadowczych. NVIDIA Main Rival - AMD pracuje nad jego alternatywą dla DLSS, która nazywa się super rozdzielczości Fidelityfx. Ale do tej pory istnieją praktycznie żadne konkretne informacje na temat tego rozwoju.

Wiadomo tylko, że "czerwony" będzie miało ważną przewagę. AMD obiecał, że technologia otwartej i krzyżowej platformy. Oznacza to, że technologia może dojść do konsoli nowej generacji, która korzysta z architektury graficznej RDNA 2 z AMD.

Ostatnio, AMD ułożył prezentację nowej karty wideo Radeon RX 6700 XT. Wielu miało nadzieję, że podczas tego wydarzenia powiedzianoby o super rozdzielczości Fidelityfx. W ścigach boczni prezentacje wyjaśniły, że AMD nie jest w pośpiechu z wydaniem technologii na jedną górną kartę, a zamiast tego chce, aby był w każdym sensie platformy krzyżowej.

Technologia AMD musi być nieco podobna do DLSS. A ponieważ potencjalna obecność sieci neuronowej wygładzającą się na konsoli PS5 i serii Xbox jest bardzo interesująca, tak daleko od wszystkich gier, które mogą pokazać 60 klatek na sekundę w rozdzielczości 4K.

Ale wszystkie te argumenty pozostają tylko spekulacjami. Być może do końca tego roku, AMD nadal będzie mówić więcej o jego rozwoju. W międzyczasie nadal zapewnić, że gra będzie w stanie wdrożyć DLSS w swoich produktach.

Nasz kanał w telegramie. Dołącz teraz!

Czy coś jest coś powiedzieć? Napisz do naszego telegramu. Jest anonimowo i szybki

Przedruk tekst i zdjęcia Onliner bez rozwiązywania redaktorów jest zabronione. [email protected].

Czytaj więcej