Integrált nagy nyelvi modellek
VIMIMSMB002-00 | Hiányzó szak: AI MSc | Kredit: 5 | Hivatalos tantárgyi adatlap
A tantárgy célkitűzése
Mészáros Tamás
docens
tárgyfelelős
A tantárgy részletes tematikája
Elméleti részek
Bevezetés *
A tárgyterület és
a tantárgy áttekintése, alapfogalmak, áttekintő irodalmak,
célkitűzések, alkalmazási területek és esettanulmányok, alapvető
eszközök kísérletezésre
A természetesnyelv-feldolgozás (Natural Language Processing, NLP) és nyelvi modellek. *
Szövegreprezentációk, NLP pipeline, statisztikai és tudásalapú nyelvi modellek, gépi tanulás és NLP (klasszikus módszerek)
Szóbeágyazás-modellek. *?
Rejtett szemantika tanulása korpuszból (szóbeágyazás), kontextuális szóbeágyazások
Szóbeágyazások alkalmazásai *?
Keresőrendszerek, dokumentum-klasszifikáció.
Nagy nyelvi modellek (Large Language Models, LLM).
Tulajdonságaik, létrehozásuk, offline / online, feladatosztályok, performance and benchmarking
Prompttervezés.
Zero-shot, few-shot, CoT
Finomhangolás és transzfertanulás.
sequence models and attention, scaling, transfer learning and fine tuning, adattisztítás, RLHF
LLM-integrációs technikák áttekintése. *?
LLMs
with External Tools and APIs: Building LLM-augmented systems that can
access external tools, code, documents, or knowledge bases (e.g.,
tool-use, agents, API calling).
Kereséssel kiterjesztett generálás (Retrieval-Augmented Generation, RAG). *?
Egy RAG rendszer felépítési lehetőségei, alkalmazások vállalati környezetben, knowledge graph extraction and incorporation
Ágensalapú viselkedés megvalósítása nagy nyelvi modellekkel (agentic LLM). *
MI
ágensek nagy nyelvi modellekre épülő megvalósítása, működésük részletes
bemutatása (környezetészlelés, instrukciókövetés, kommunikáció és
akcióvégrehajtás), egyszerű megvalósításuk online szolgáltatásokkal (pl.
OpenAI AgentKit, Google Vertex AI Agent Builder).
Nagy nyelvi modellek eszközhasználata (LLM tooling). *
Külső
eszközt igénylő megfigyelések és beavatkozások az ágensek
környezetében, eszközleírások készítése, eszközválasztás és -futtatás, a
Model Context Protocol (MCP) bemutatása.
LLM Eszközök fejlesztése *
Az
eszközfejlesztés lépései, tipikus megvalósítási környezetek, MCP
eszközök bemutatása (esettanulmányok), MCP gyűjtemények, az ágensek
önálló eszközfejlesztése (kódgenerálás).
Mesterséges intelligencia rendszerek integrálása nagy nyelvi modellekkel: magyarázatgenerálás (explainable AI). *
Az
LLM-alapú alkalmazások megfigyelhetősége, nyomkövetési és telemetria
lehetőségek (pl. OpenAI SDK és Arize Phoenix), működésük
magyarázhatóságának kihívásai és lehetséges megoldások.
Nagy nyelvi modellek megbízhatósági és biztonsági kérdései.
Evaluation,
Safety, and Deployment: Approaches for evaluating LLM quality, handling
hallucinations, enforcing guardrails, and deploying LLMs responsibly at
scale. A mesterséges intelligencia szabályozásának (pl. EU AI Act) és
megfelelőségi tesztelésének áttekintése, értékelvűség (human-alignment),
MI ágensekre jellemző egyedi problémák (megtévesztés, kihasználás,
elrejtés stb.), működési védőkorlátok (guardrails) típusai és
megvalósításuk.
Teljesítmény és fenntarthatóság *?
Az
LLM-alapú rendszerek teljesítménymérése, az objektív kiértékelhetőség
kérdése, jellemző metrikák és benchmarkok, MI ágensek költségelemzése és
fenntarthatósági jellemzőik, esettanulmányok SLM és LLM modellek
felhasználásával.
Gyakorlati részek
NLP feldolgozólánc megvalósítása *
Szóbeágyazások gyakorlati alkalmazása *
Lokális LLM-futtatás: ollama, vllm. *?
A
helyi modellfuttatás célja és működése, futtatókörnyezetek és
erőforrások, néhány jellemző megvalósítási eszköz gyakorlati kipróbálása
egyszerű feladatokon.
LLM-programozói felületek használata.
LLM rendszerek programozott használata (pl. OpenAI API és SDK), a prompttervezés alapjai, egyszerű LLM-alkalmazás fejlesztése.
OpenAI prompttervezés.
RAG rendszerek megvalósítása. *?
LLM eszközhasználat
Egyszerű MCP-eszközök fejlesztése, MCP szerver felépítése és megvalósítása.
OpenAI Agents SDK. *
Az
ágensfejlesztési eszközcsalád és programozási környezet megismerése
gyakorlati példákon keresztül, egyszerű ágensek készítése.
LLM alkalmazások működésének megfigyelése
Nyomkövető és telemetria eszközök (pl. OpenAI SDK és Arize Phoenix) kipróbálása.
Teljesítmény- és költségmérés
LLM
rendszerek teljesítményének és erőforrás-használatának mérése
eszközhasználattal és anélkül különféle gyakorlati benchmarkok
felhasználásával.
Házi feladatok értékelési és erőforráskérdései
Esettanulmányok az ágensek teljesítményének és erőforrás-használatának mérésére.
Biztonságossági vizsgálatok
Emergens
és nem kívánt viselkedések vizsgálata, kísérletek LLM-rendszerek
viselkedési anomáliáival, egyszerű védőkorlátok beépítése.
Házi feladatok bemutatói
Érdekesebb házi feladatok bemutatói és közös diszkussziója.
BME-MIT