Napjainkban a nagy nyelvi modellek (LLM) szerepe alapvető paradigmaváltáson megy keresztül: statikus szöveggenerátorokból proaktív, autonóm ágensekké válnak. Ezek a modellek már képesek összetett logikai láncolatok mentén döntéseket hozni, célirányos eszközhasználattal (tool-use) interakcióba lépni szoftveres környezetükkel, multimodális bemeneteik révén pedig értelmezni a vizuális világot. Ez a fejlődés közvetlenül veti fel a kérdést: miként alkalmazható ez a kognitív kapacitás a fizikai térben mozgó robotikai eszközök vezérlésére? A technológia validálásához a modern robotszimulációs keretrendszerek biztosítanak ideális alapot, ahol a fizikai korlátok és költségek nélkül, egyedileg konfigurálható szcenáriók mentén elemezhető az LLM-alapú ágensek döntéshozatali mechanizmusa és a vezérlés stabilitása.

A hallgató feladata egy olyan LLM-ágens megtervezése és megvalósítása, amely képes egy szimulációs környezetben különféle szcenáriókban vezérelni egy fizikai ágens viselkedését.

A hallgató feladatainak részletezése:

• a jelenlegi megoldások áttekintése, irodalomkutatás,
• a szimulációs környezet és az LLM ágensek összekapcsolhatóságának vizsgálata,
• a vezérlést megvalósító ágens működésének a megtervezése és megvalósítása,
• az LLM-ágens alapú vezérlés megvalósítása a kiválasztott szimulációs környezetben,
• LLM-ágens viselkedésének vizsgálata különféle esettanulmányok segítségével.

A téma megalapozását önállólabor keretein belül el lehet kezdeni, melyet szakdolgozat formájában folytatni lehet a későbbi félévek során. A téma csapatban is elvégezhető.

Szükséges kompetenciák

A feladat sikeres megoldásához elemi programozói tudás (Python), robotvezérlési alapismeretek, valamint a nagy nyelvi modellek programozásának (promptolásának) alapszintű ismerete szükséges.

Irodalmak a tájékozódáshoz

1. Antropic: Model Context Protocol (MCP)
2. OpenAI Agents SDK és PydanticAI
3. Cyberbotics: Robotics simulation with Webots (https://cyberbotics.com/)
4. ALRM: Agentic LLM for Robotic Manipulation (https://arxiv.org/pdf/2601.19510)