A videojátékok és digitális szimulációk évtizedek óta küzdenek az NPC-k (Non-Player Characters) korlátaival. A hagyományos játékfejlesztésben ezek a karakterek többnyire statikus, előre programozott állapotgépek vagy merev döntési fák mentén működnek. Bár vizuálisan lenyűgöző világokat tudunk alkotni, a bennük élő karakterek gyakran csak "díszletként" szolgálnak: ismétlődő dialógusokkal, korlátozott reakciókészséggel és a valódi célirányos viselkedés hiányával rendelkeznek. Felmerül a lehetőség, hogy az NPC-k belső viselkedését immár nagy nyelvi modellek segítségével valósítsuk meg, amelyek így sokkal proaktívabb részévé válhatnak a játékoknak.

A hallgató feladata egy olyan város szimuláció megvalósítása, ahol különféle szerepeket nagy nyelvi modell-alapú NPC-k látják el. A feladat teljesítéséhez nem szükséges saját grafikus motor készítése. A szimuláció során egyes NPC-k kívülről utasíthatóak új célok elérésére, továbbá az ágensek kollaborálhatnak egymással céljaik elérése érdekében.

A hallgató feladatainak részletezése:

• a jelenlegi kutatások eredményeinek megismerése
• a modern ágenskeretrendszerek (OpenAI Agents SDK, A2A) megismerése
• egy legegyszerűsített város szimuláció elkészítése (pl.: néhány helyszín különféle rendeltetéssel és szereplőkkel)
• az NPC ágensek promptolása és lehetséges kiegészítése szükséges külső eszközökkel (tudásbázis, eszközhasználat)
• szimulációs szcenáriók készítése az ágensek viselkedésének megfigyeléséhez
• az ágensek működésének nyomon követhetőségét segítő funkció elkészítése
• az ágensek kollaborációjának vizsgálata különféle szcenáriókon keresztül

A téma megalapozását önállólabor keretein belül el lehet kezdeni, melyet szakdolgozat / TDK formájában folytatni lehet a későbbi félévek során.

Szükséges kompetenciák

A feladat sikeres megoldásához elemi programozói tudás (Python), valamint a nagy nyelvi modellek programozásának (promptolásának) alapszintű ismerete szükséges.

Megszerezhető képességek

A munka során a hallgató az alábbi modern technológiákban szerezhet gyakorlati jártasságot:

• LLM-ágens architektúrák és prompt engineering.
• Model Context Protocol (MCP) alkalmazása külső eszközök integrációjára.
• Retrieval-augmented generation (RAG), GraphRAG.
• LLM-alapú MI rendszerek nyomkövetése.

Irodalmak a tájékozódáshoz

1. Antropic: Model Context Protocol (MCP)
2. OpenAI Agents SDK és Google Agent to agent (A2A)
3. Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein, "Generative Agents: Interactive Simulacra of Human Behavior," 2023, https://arxiv.org/abs/2304.03442
4. Guanzhi Wang et al., "Voyager: An Open-Ended Embodied Agent with Large Language Models," 2023, https://arxiv.org/abs/2305.16291
5. Shiao Hu et al., "A Survey on Large Language Model-Based Game Agents," 2024, https://arxiv.org/abs/2404.02039