Niedawno ujawniono Polyphony Digital Gran Turismo Sophienowy system jazdy ze sztuczną inteligencją, który pojawi się w Gran Turismo 7. Technologia została opracowana we współpracy z 25-osobowym zespołem Sony AI, z wykorzystaniem najnowszych osiągnięć w uczeniu maszynowym. Badania zespołu zostały opublikowane w: Natura A GT Sophy przetestowało (i pokonało!) jednych z najlepszych kierowców Gran Turismo na świecie w Wydarzenie na żywo w Tokio w zeszłym roku.
Jednak ujawnienie GT Sophy wywołało prawie tyle pytań, ile odpowiedziało. Jak dokładnie działa ta technologia? Jak to właściwie zostanie zintegrowane? GT7A jakie są ograniczenia?
Aby pomóc odpowiedzieć na wszystkie te pytania, przestudiowaliśmy Natura Publikacja rozmawiała z twórcą serii Gran Turismo, Kazunorim Yamauchi i dyrektorem Sony AI America Peterem Wurmanem w ekskluzywnym wywiadzie. Tego się nauczyliśmy.
Jak właściwie działa Sophie?
Jako „gracz”, Sophie postrzega wirtualne środowisko Gran Turismo jako mapę statyczną, z liniami lewą, prawą i środkową zdefiniowanymi jako punkty 3D. Tor przed Sophy jest podzielony na 60 równomiernie rozmieszczonych segmentów, przy czym długość każdego segmentu jest obliczana dynamicznie na podstawie prędkości pojazdu. Każdy klip reprezentuje około 6 sekund podróży w dowolnym momencie.
Sophy ma również dostęp do pewnych informacji o tym, co samochód robi w swoim otoczeniu, w tym prędkości 3D, prędkości kątowej, przyspieszenia, obciążenia każdej opony i kątów poślizgu opon. Jest również świadomy postępu pojazdu wzdłuż toru, nachylenia powierzchni toru, kierunku pojazdu do linii środkowej toru i przednich krawędzi. Sophy jest powiadamiana przez grę, jeśli pojazd dotknie lub wyjedzie poza domyślne granice toru gry.
Jeśli chodzi o sterowanie, Sophy ma dostęp tylko do przyspieszania, hamowania i sterowania w lewo/prawo. Może modulować te wejścia tylko z częstotliwością 10 Hz, czyli mniej więcej co 100 milisekund. Nie ma dostępu do zmiany biegów, kontroli trakcji, balansu hamulców ani żadnych innych parametrów normalnie dostępnych dla graczy.
Te zmienne środowiskowe i ograniczony wkład są przedstawiane Sophie, a następnie rozpoczyna pracę. Wykorzystując zaawansowane algorytmy „uczenia maszynowego”, nieustannie podąża ścieżką. Jest to „nagradzane” – sportowo – przez poruszanie się po torze w jak najkrótszym czasie i „karane” – znowu, w kategoriach sportowych – jeśli natkniesz się na ściany lub inne samochody lub wyjedziesz poza tory.
„GT Sophy została przeszkolona za pomocą uczenia się przez wzmacnianie” — wyjaśnił dyrektor Sony AI America Peter Wehrmann. „Zasadniczo przyznaliśmy jej nagrody za postępy na torze lub wyprzedzanie innego samochodu oraz kary za zjazd z toru lub zderzenie z innymi samochodami. Aby upewnić się, że nauczyła się, jak zachowywać się w konkurencyjnych scenariuszach wyścigowych, umieściliśmy dealera w wiele różnych sytuacji wyścigowych z kilkoma różnymi typami przeciwników.Z wystarczającą praktyką, metodą prób i błędów, był w stanie nauczyć się radzić sobie z innymi samochodami.Istniała bardzo cienka granica między byciem wystarczająco agresywnym, aby utrzymać swoją linię jazdy, a byciem zbyt agresywne i powodujące wypadki i karane ”.
Worman opisał następnie najtrudniejsze wyzwania związane z rzeczywistym przetwarzaniem danych. Najtrudniejsze było wymyślenie, jak najefektywniej prezentować te informacje sieciom neuronowym. Na przykład metodą prób i błędów odkryliśmy, że kodowanie około 6 sekund nadjeżdżającego toru było wystarczającą informacją, aby GT Sophy mogła podejmować decyzje dotyczące linii jazdy” – wyjaśnił. „Kolejnym dużym wyzwaniem było zrównoważenie sygnałów nagrody i kary, aby uzyskać agent, który był jednocześnie agresywny i sportowy”.
Sophy robi to wszystko w czasie rzeczywistym, na prawdziwej PlayStation 4 ze specjalną edycją Gran Turismo Sport raportuje wymagane dane pozycyjne i akceptuje wejścia sterujące przez połączenie sieciowe. Kod Sophy jest wykonywany przez serwery, które komunikują się z PlayStation przez sieć. Aby przyspieszyć ten proces, Sophy kontroluje 20 samochodów poruszających się jednocześnie po torze. Wyniki są przesyłane do serwerów wyposażonych w układy NVIDIA V100 lub A100 oraz procesory graficzne na poziomie serwera zaprojektowane do przetwarzania danych AI i uczenia maszynowego.
Należy zauważyć, że ten rodzaj mocy obliczeniowej jest potrzebny tylko do „stworzenia” Sophy, a nie do jej uruchomienia. Proces uczenia maszynowego ostatecznie prowadzi do „modeli”, które można następnie wdrożyć na skromniejszym sprzęcie.
„Nauka Sophy jest przetwarzana równolegle z zasobami obliczeniowymi w chmurze, ale jeśli tylko wdrażasz już nabytą sieć, lokalne PS5 jest więcej niż wystarczające” – wyjaśnił Kazunori Yamauchi. „Ta asymetria mocy obliczeniowej jest ogólną cechą sieci neuronowych”.
Czym Sophie jest inna?
AI w grach wyścigowych zawsze była rodzajem „czarnej skrzynki”. Twórcy gier rzadko omawiają, jak to faktycznie działa, ale jest to ważna część gier wyścigowych, z którą wchodzą w interakcje wszyscy gracze. Chcieliśmy dowiedzieć się więcej o tym, jak sztuczna inteligencja Gran Turismo działała w przeszłości i co wyróżnia Sophy.
Jak pokazał nam Kazunori Yamauchi, proces uczenia maszynowego zapewnia Sophy więcej zasad zachowania niż ludzcy programiści, ale ta strategia ma również swoje wady.
Yamauchi-san wyjaśnia: „Sztuczna inteligencja do tej pory opierała się na regułach, więc w zasadzie działa jako program „jeśli-to””. Ale bez względu na to, ile takich reguł zostanie dodanych, nie poradzi sobie z warunkami i środowiskami innymi niż te określone. Z drugiej strony, Sophy generuje ogromną ilość ukrytych reguł, z którymi ludzie nie mogą sobie poradzić, w swojej warstwie sieciowej. Dzięki temu są w stanie dostosować się do różnych warunków i środowisk. Ale ponieważ zasady te są dorozumiane, oznacza to, że nie jest możliwe nauczenie ich „konkretnego zachowania”, które byłoby proste dla sztucznej inteligencji opartej na regułach. „
Jak Sophie pojawiłaby się w? Gran Turismo 7
Chociaż Sophy została opracowana w ciągu ostatnich kilku lat przy użyciu Gran Turismo SportTechnologia pojawi się po raz pierwszy w rzeczywistości Gran Turismo 7 W przyszłej aktualizacji gry. Ogłoszenie Kazunoriego Yamauchiego zawierało niewiele szczegółów, więc byliśmy podekscytowani mogąc go zapytać.
„Możliwe, że Sophie pojawi się przed graczem w trzech formach” – wyjaśnił Yamauchi-san. „Jako nauczyciel uczący zawodników jazdy, uczeń, który uczy się sportowej rywalizacji od zawodników i jako przyjaciel, który się z nim ściga. Nie wykluczałbym możliwości ustawienia Spec B, gdzie zawodnikiem jest dyrektor wyścigu i Sophie jest kierowcą”.
Sophy można również wykorzystać jako narzędzie w samej grze. „W zasadzie możliwe jest użycie Sophy do ustawień BOP” – dodał Yamauchi. „Gdyby chodziło tylko o wyrównanie czasów okrążeń różnych samochodów, można to zrobić teraz. Ale ponieważ ustawienia BoP nie dotyczą tylko czasów okrążeń, nie zostawimy tego wszystkiego Sophie, ale z pewnością pomoże to w tworzeniu BoP-ów ”.
Sophie wciąż się uczy
Gdy Sophy została ujawniona, byliśmy ciekawi jej ograniczeń. Zespół Sony AI jest w pełni świadomy tego, jak Sophy może ulepszyć, a sama technologia wciąż jest aktywnie rozwijana.
Na przykład w obecnej iteracji Sophy jest szkolona na określonych ścieżkach w określonych warunkach, ale zespół oczekuje, że technologia będzie w stanie się dostosować. „Te wersje GT Sophy były trenowane na określonych kombinacjach torów pojazdów” – wyjaśnił Warman. „Poprawa osiągów dealera na równi z modyfikacjami osiągów pojazdu jest częścią naszej przyszłej pracy. Ta wersja GT Sophy również nie została przeszkolona pod kątem różnic środowiskowych, ale oczekujemy, że technologie będą nadal działać w tych warunkach”.
Gdy Sophy zadebiutowała jako superkierowca, który jest w stanie pokonać najlepszych graczy Gran Turismo na świecie, od razu pojawiły się pytania i obawy dotyczące jej zdolności przystosowania się do mniej konkurencyjnych kierowców.
Według Petera Wehrmanna, Sophy może się dostosować, dosłownie jeżdżąc jak nowszy kierowca, a nie tylko sztucznie zwalniając. „To także część naszej przyszłej pracy” — wyjaśnił dyrektor Sony AI America. „Naszym celem jest stworzenie czynnika, który w trybie „wolnym” prowadzi się jak mniej doświadczony kierowca, a nie jest w jakiś sposób upośledzony, na przykład arbitralnie przyspieszając lub zwalniając z naruszeniem fizyki”.
Początkowym celem Sony AI było opracowanie szybszej i bardziej konkurencyjnej sztucznej inteligencji, którą mogli następnie wykorzystać, aby opracować narzędzie ogólnego przeznaczenia, które sprawi, że gra będzie przyjemniejsza dla wszystkich. „Naszym celem w tym projekcie było pokazanie, że możemy stworzyć agenta, który może ścigać się z najlepszymi graczami na świecie. Naszym ostatecznym celem jest stworzenie agenta, który może zapewnić graczom wszelkiego rodzaju ekscytujące wrażenia wyścigowe” – podkreślił Warman.
Więcej szczegółów
Badania i rozwój, które dotyczą współczesnych gier wideo – zwłaszcza gier Gran Turismo – są zwykle chronione jako tajemnice handlowe. To sprawia, że przejrzystość rozwoju Sophy jest bardziej odświeżająca i niesamowicie fajna dla zainteresowanych.
Jeśli chcesz sięgnąć głębiej i dowiedzieć się więcej o wewnętrznych działaniach Sophy, możesz przeczytać pełny recenzowany artykuł w numerze z 10 lutego 2022 r. Natura Magazyn naukowy. Artykuł i streszczenie Dostępne do pobrania z abonamentem. Bezpłatny dostęp do NaturaSprawdź w lokalnej bibliotece lub na uniwersytecie.
Z pewnością dowiemy się jeszcze więcej o Sophy GT7Został wydany 4 marca 2022 r. I jak zwykle będziemy uważnie śledzić wszelkie wiadomości, gdy tylko zostaną ujawnione. Bądźcie czujni!
Obejrzyj więcej artykułów na temat Gran Turismo Sophy i Kazunoriego Yamauchiego.
. „Nieuleczalny entuzjasta muzyki. Bacon geek. Badacz internetu. Hipsterski miłośnik telewizji”.