Az NVIDIA bemutatta a Lyra 2.0-t, egy olyan mesterséges intelligenciára épülő technológiát, amely egyetlen állóképből képes bejárható, háromdimenziós környezetet létrehozni. A fejlesztés különlegessége, hogy nem egyszerűen mozgóképpé alakítja a fényképet: a felhasználó maga határozhatja meg a kamera útvonalát, miközben a rendszer folyamatosan új nézőpontokat generál, és igyekszik megőrizni a virtuális tér következetességét. A technológia az NVIDIA Spatial Intelligence Lab kutatóinak munkája, és két fontos területet kapcsol össze: a videógenerálást és a 3D-s rekonstrukciót. A hagyományos képgeneráló rendszerek egyik legnagyobb problémája, hogy hosszabb folyamatok során könnyen elveszítik a korábban létrehozott környezet részleteit. Emiatt egy korábban látott épület vagy tárgy más formában jelenhet meg, amikor a kamera később visszatér ugyanarra a helyszínre. Ezt nevezik térbeli felejtésnek. A másik gyakori hiba az időbeli elcsúszás, amikor az apró vizuális eltérések fokozatosan összeadódnak, és a környezet egyre kevésbé hasonlít az eredeti elképzelésre – ezt nézzétek meg:
Turn a single image into a 3D world you can explore with Lyra 2.0. By combining video generation with 3D reconstruction, our researchers create environments along a camera path you choose. Lyra draws on earlier views and learns to correct accumulating visual errors, helping the world stay consistent as you explore and return to familiar places. Paper, code, and demos: https://t.co/NbtE0I9SVc
— NVIDIA AI (@NVIDIAAI) November 6, 2026
A Lyra 2.0 ezek ellen egy térbeli memóriarendszert alkalmaz, amely a korábbi képkockákból és azok geometriai információiból dolgozik. Amikor a felhasználó egy már korábban bejárt területre navigál, a modell képes előkeresni a releváns korábbi nézeteket, így kisebb eséllyel kell teljesen újra kitalálnia az adott helyszínt. A kutatók emellett arra is megtanították a rendszert, hogy felismerje és korrigálja a saját korábbi generálása során keletkezett hibákat. Az elkészült (piszok látványos!) környezetek nem csupán videóként használhatók. A rendszer a létrehozott jeleneteket 3D Gaussian Splatting formátumba, illetve hagyományosabb 3D-hálókká is képes rekonstruálni, így azok valós időben renderelhetők, és akár más alkalmazásokba is exportálhatók. Az NVIDIA például az Isaac Sim robotikai szimulációs környezetével is bemutatta a technológia lehetőségeit. Ez azt jelenti, hogy a Lyra 2.0 nemcsak látványos virtuális helyszínek létrehozására lehet alkalmas, hanem robotok tanításához és különféle szimulációkhoz is hasznos alapot adhat, sőt, rengeteg más helyen alkalmazhatják még!
A teljesítmény terén is történt előrelépés: a kutatók egy gyorsított változatot készítettek, amely a korábbi 35 helyett mindössze négy zajcsökkentési lépést használ a videógenerálás során. Az NVIDIA mérései alapján egy 80 képkockás szakasz elkészítése egy GB200-as grafikus processzoron nagyjából 15 másodpercet vesz igénybe, szemben a teljes modell körülbelül 194 másodperces eredményével. Ez azonban még nem jelent valós idejű, korlátlan világépítést, és a rendszer jelenleg elsősorban statikus környezetekkel boldogul, a mozgó objektumok és a dinamikusan változó jelenetek kezelése továbbra is kihívást jelent. A videojáték-fejlesztés szempontjából mindez különösen izgalmas lehet. A technológia hosszabb távon segíthet a pályatervezésben, a környezetek prototípusainak elkészítésében, vagy akár nagyobb virtuális terek gyors felépítésében is. Fontos azonban, hogy a Lyra 2.0 még nem képes egyetlen fényképből teljes értékű videojátékot készíteni: a működő játékmenet, a karakterek, az animációk és a szabályrendszerek továbbra is külön fejlesztést igényelnek. Az NVIDIA kutatása mindenesetre újabb lépés afelé, hogy a mesterséges intelligencia ne csak képeket és videókat hozzon létre, hanem valóban bejárható digitális világok megalkotásában is részt vegyen. Ti mit szóltok hozzá?
Borítókép forrása: NVIDIA
