Inworld AI NPC GDC 2024 Hands-on – NVIDIA en Ubisoft tonen een glimp van de toekomst

De vooruitgang op het gebied van neurale netwerken is de afgelopen jaren aanzienlijk geweest, te beginnen met de initiële ontwikkeling van Generative Pre-trained Transformers. Met de voortdurende verbetering van de grafische kaarten en Tensor Cores van NVIDIA zijn de mogelijkheden van deze netwerken enorm toegenomen. In het verleden werden deze netwerken voornamelijk gebruikt voor tekstgebaseerde invoer, maar NVIDIA heeft nu TensorRT geïntegreerd voor deep learning en audioverwerking. Tijdens twee interactieve demonstraties met Inworld AI-technologie op GDC 2024 konden we de mogelijkheden van zowel Ubisoft’s NEO NPC’s als NVIDIA’s Covert Protocol testen.

Vraag het aan een willekeurige DM die een sessie van Dungeons & Dragons heeft geleid waaraan ik de afgelopen tien jaar heb deelgenomen: het leukste aspect is het verleggen van de grenzen van de campagne (en het eigen morele kompas). In beide demo’s kreeg ik de volledige controle over de ervaring via spraakopdrachten, terwijl mijn begeleider vanaf de zijlijn toekeek, mogelijk aantekeningen maakte of overwoog of hij de sessie moest beëindigen. Tegen de tijd dat ik het NEO NPCs-programma van Ubisoft kon uitproberen, had ik mijn tweede kop koffie al vóór 10.00 uur gedronken en zat ik boordevol ideeën met een PG-13-rating.

Tijdens mijn praktische ervaring met de Inworld-demonstratie van Ubisoft Paris kreeg ik de gelegenheid om de krachtige combinatie van Inworld’s AI Character Engine en NVIDIA’s Audio2Face automatische gezichtsanimaties uit te testen. Het concept van ‘authenticiteit’ werd tijdens mijn sessie meerdere keren benadrukt, en ik ontdekte dat het grotendeels juist was. De ontwikkelaars hadden ervoor gezorgd dat ze door het gebruik van vangrails de illusie in stand hielden dat ze door een beanie-dragende stedeling genaamd Bloom voor ‘het verzet’ waren gerekruteerd.

Ubisoft gebruikte een pop-uplijst om gamificatie op te nemen in de Inworld AI-ervaring. Deze lijst beval verschillende activiteiten aan, zoals het leren over het megakorps en het verzet, om op holistisch niveau aan deel te nemen. Ondanks mijn pogingen om het gesprek ergens anders heen te sturen, bracht Bloom consequent die onzichtbare barrières ter sprake en maakte grappige opmerkingen over mijn vragen voordat hij de focus weer op het verzet verlegde. Mijn daden, of beter gezegd mijn woorden, kregen gedurende de hele demonstratie een aanhoudende reactie. Toen ik mijn unieke vaardigheden als barista en crypto-liefhebber noemde, waarbij ik liever de naam Poncho droeg dan Nelson, was Bloom hier graag mee akkoord en wisselden we anekdotes uit voordat we sloten met mijn uiteindelijke doel: inzicht krijgen in het doel van de demo.

Het tweede deel van de demo ging over in een open brainstormsessie met Iron, een prominent vrouwelijk lid van het verzet dat een hogere rang leek te hebben dan Bloom. Mijn doel deze keer was het bedenken van manieren om een ​​kluis te infiltreren. Terwijl ik met een controller in de hand door de virtuele briefingruimte navigeerde, presenteerde Ubisoft me lijsten en trefwoorden om discussie op gang te brengen en samenwerking met Iron aan te moedigen bij het vinden van een oplossing voor een rustige inbraak na de brunch.

Ondanks dat ik over alle benodigde gereedschappen beschikte, probeerde ik ze op meer onconventionele manieren in elkaar te zetten. Hoewel een ladder een praktische optie was om toegang te krijgen tot een gebouw op de tweede verdieping, daagde ik mezelf uit om buiten de gebaande paden te denken en deze te gebruiken om een ​​beveiligingscamera in de gang te bereiken. Door een polaroidfoto van de bewaakte gang op te hangen, kon ik de camera misleiden en binnenkomen. Het neerhalen van de bewaker die mijn pad van het balkon naar het kantoor blokkeerde, was een taak die elke Metal Gear Solid-speler gemakkelijk kon volbrengen, maar het overbrengen van mijn plan via spraakopdrachten bleek een uitdaging. Mijn pogingen om Iron ervan te overtuigen een grijphaak in een jachtgeweer te laden of te vertrouwen op de overmatig gebruikte tactiek om in een kartonnen doos te sluipen, waren zinloos. Dat was ik vastbesloten

De Covert Protocol-demo gepresenteerd door NVIDIA was een meer ongestructureerde ervaring, met als doel het kamernummer te achterhalen van een persoon van interesse die in een luxueus vijfsterrenhotel verblijft. Mijn gekozen coverstory was die van een koerier die illegale goederen vervoerde waarvoor een directe handtekening nodig was voor vrijgave. Ik merkte dat het eerste niet-speelbare personage dat ik tegenkwam, een piccolo, veel ontvankelijker was voor mijn suggesties vergeleken met Bloom en Iron. Hoewel onze gesprekken vooral reactionair waren, leek hij wel open te staan ​​voor het idee van een voetmassage of karaoke gaan spelen zodra mijn missie was volbracht. Ondanks mijn pogingen kon ik de AI niet overtuigen om ter plekke showtunes te zingen, maar hij zei wel dat zijn favoriete karaoke-nummer

De twee andere AI-NPC’s waren niet zo flexibel in hun reacties en leken niet geïnteresseerd in contact met iemand buiten het verhaal. Alles veranderde echter toen ik opzij een werkbadge tegenkwam. Toen ik het eenmaal had verkregen, werden beide AI-persoonlijkheden ontvankelijker voor mijn verzoeken en leverden ze waardevolle informatie met betrekking tot mijn doel. Deze plotselinge gedragsverandering was een beetje schokkend en nam af van de meeslepende ervaring. Hoewel ik de noodzaak van doelstellingen in de gameplay begrijp, voelde het beperkend om tot specifieke taken te worden gedwongen in plaats van de vrijheid te hebben om rollenspellen te spelen en keuzes te maken.

Ondanks de schijnbare absurditeit van mijn verzoeken, zolang ik mijn vragen binnen de grenzen van de PG-13 hield en alles wat echt obsceen was vermeed, waren de taalmodellen meer dan bereid hieraan gehoor te geven en reageerden ze vaak met slimme en tot nadenken stemmende opmerkingen. De algehele kwaliteit van de ervaring met deze karakters en taalmodellen hangt uiteindelijk af van de training die ze krijgen en de verwerkingskracht die nodig is om onconventionele verzoeken te interpreteren. Zowel Ubisoft als NVIDIA hebben hun unieke aanpak gedemonstreerd voor het creëren van realistische gesprekken met spelers, terwijl ze toch grenzen behouden, wat gunstig zou kunnen zijn voor toekomstige game-integratie. Het valt nog te bezien of deze tools zullen worden geïmplementeerd voordat de huidige consolegeneratie eindigt, maar mijn aanvankelijke scepsis heeft plaatsgemaakt voor nieuwsgierigheid en opwinding over het potentieel van AI-aangedreven NPC’s.