Tanszéki konzulens: 

Mészáros Tamás docens Szoba: IE437 Tel.: +36 1 463-2899 Email: meszaros (*) mit * bme * hu

A tanszéken számos projekt keretében fejlesztettünk kognitív zavarok detektálását és megelőzését célzó számítógépes játékokat, és készítettünk egy webes rendszert azok befogadására. Ezen fejlesztések egyik leágazása ez a témakiírás, amelyben alapvetően természetesnyelv-feldolgozási (NLP) módszerek (statisztikai és generatív nyelvi modellek) alkalmazását vizsgáljuk.

Célkitűzés

A feladat célja olyan megoldások kifejlesztése, amelyekben NLP eszközök segítenek különféle (az enyhe zavaroktól a demenciáig terjedő) kognitív problémák kezelésében. A kidolgozandó eljárások a felhasználótól érkező (képi, hang- és szöveges) adatokra épülnek, azokat különféle MI eljárásokkal feldolgozzák, majd egy egyénre/feladatra szabott generatív nyelvi modellel diagnosztikai és terápiás funkciókat valósítanak meg.

A feladat részletei

A feladat megoldása során alapvetően két területre fókuszálunk: adatgyűjtés és modellépítés.

Az adatgyűjtés célja minél nagyobb mennyiségű szöveget beszerezni a felhasználótól, amelyet azután különböző statisztikai és információkinyerési eszközzel elemzünk (hangulatelemzés, stilometria, névelem-felismerés, információkinyerés, kivonatolás stb.). Ennek során képi és hangadatok csatolása és elemzése is megtörténhet (lásd: képannotáló memóriajáték fejlesztése témakiírásom).

Ezután az összegyűjtött adatokra építve egy olyan nyelvi nyelvi modellt hozhatunk létre, amelyik valamilyen diagnosztikai vagy terápiás cél megvalósításában segíthet. Például egy generatív nyelvi modellt, amelyik párbeszédes formában képes különféle diagnosztikai és terápiás feladatokat végrehajtani (memóriatesztek, kérdés-válasz játékok, önéletrajz-terápia stb.). Egyes modellek akár további adatgyűjtésre is használhatók (például életrajzi adatok, emlékek felidézésével).

A hallgató feladatai a következőkre terjedhetnek ki (egyéni megbeszélés alapján):

• a feladathoz kapcsolódó szakirodalom és hasonló alkalmazások áttekintése;
• szöveges adatok feldolgozási eljárásainak vizsgálata a fenti célok megvalósítására;
• adatgyűjtés és -feldolgozás tervezése és megvalósítása;
• különféle nyelvi modellek lehetséges felhasználásainak vizsgálata;
• nagy nyelvi modellek kiválasztása, alkalmazási sémák kialakítása, prompt-tervezés, modellek finomhangolása;
• párbeszédalapú diagnosztikai és terápiás eljárások megvalósítása;
• kísérleti mobiltelefonos és webes alkalmazások fejlesztése.

Irodalmak a tájékozódáshoz

bAIgrapher
GPT-4 and Neurologists in Screening for Mild Cognitive Impairment in the Elderly: A Comparative Analysis Study
Demens GPT: GPT-D: Inducing Dementia-related Linguistic Anomalies by Deliberate Degradation of Artificial Neural Language Models
Can LLMs like GPT-4 outperform traditional AI tools in dementia diagnosis? Maybe, but not today
Predicting dementia from spontaneous speech using large language models

Picture naming / Photo Reminiscence Therapy (pRT) + dementia

Szükséges kompetenciák - megszerezhető képességek

A feladat sikeres megoldásához elemi programozói tudás (Python) szükséges, speciális (NLP) algoritmusok és eszközök előzetes előismerete nem.
Előny, ha valaki már kísérletezett az NLP-feldolgozólánc egyes elemeivel (adattisztítás, szegmentálás, hangulatelemzés, névelem-felismerés stb.), illetve nagy nyelvi modellekkel.

A feladat megoldása során gyakorlati ismeretek szerezhetők NLP eszközök, különösen generatív nyelvi modellek használatáról.

A jelentkezés menete, mi várható a konzulenstől...

Ezen a lapon összefoglaltam, mire számítok a jelentkezőktől, illetve mi várható tőlem.