Képannotáló memóriajáték fejlesztése

Tanszéki konzulens: 
A munkatárs fényképe
associate professor
Szoba: IE437
Tel.:
+36 1 463-2899
Email: meszaros (*) mit * bme * hu

A kiírás adatai

A téma státusza: 
Aktív (aktuális, lehet rá jelentkezni)
Kiírás éve: 
2023
A kiírás jellege: 
szorgalmi feladat, önálló labor, szakdolgozat/diplomaterv

Idős korban a szellemi „jólét” fenntartása a megfelelő életminőség megőrzésének meghatározó tényezője. A tanszéken számos projekt keretében fejlesztettünk ezt célzó számítógépes játékokat, és készítettünk egy webes rendszert azok befogadására. Ezen fejlesztések egyik visszatérő problémája a felhasználói érdeklődés fenntartása a játékokban: idővel még a kezdetben érdekes játékok is unalmassá, ismétlődővé válnak, képanyaguk „kimerül”.

Célkitűzés

A feladat célja egy olyan képi memóriajáték megvalósítása, amely a felhasználó saját (például családi) fényképeinek felhasználó általi annotálására, illetve felidézésére épít, és így hosszabb távon is képes lehet fenntartani a megfelelő játékaktivitást.

A feladat részletei

A kialakítandó alkalmazás két üzemmóddal rendelkezik: egyrészt lehetővé kell tenni felhasználói fényképek feltöltését és azok teljes (kép szintű), illetve részleges (vizuális kijelölésen alapuló) annotációját; másrészt ki kell alakítani a feltöltött teljes képekre és azok részleteire vonatkozó annotációk játékos visszakérdezését. A képek és annotációik tárolására egy szerveralkalmazást kell fejleszteni Python környezetben, illetve meg kell vizsgálni a képek gépi annotációjának (arc- és tárgyfelismerés) lehetőségét is.

A hallgató feladatának a következőkre kell kiterjednie:

  • a feladathoz kapcsolódó szakirodalom és hasonló alkalmazások áttekintése,
  • a képannotáló és a játékmód kialakítása, az alkalmazás működésének megtervezése,
  • web- és mobilalkalmazás fejlesztése a kétféle üzemmód megvalósítására,
  • szerveroldali alkalmazás létrehozása a feltöltött képek és annotációik kezelésére,
  • a képek lehetséges gépi annotációjának vizsgálata.

Irodalmak a tájékozódáshoz

Picture naming / Photo Reminiscence Therapy (pRT) + dementia
Smile: Capturing and Sharing Personal Photos to Stimulate Social Relations and Support Self-Identity in Dementia
Picgo: designing reminiscence and storytelling for the elderly with photo annotation
(Egyetemi hálózatból célszerű hozzáférni a cikkekhez.)

Szükséges kompetenciák - megszerezhető képességek

A feladat sikeres megoldásához elemi programozói tudás (Python, Javascript / Typescript) szükséges, speciális (pl. NLP) algoritmusok és eszközök (pl. képi annotátorok) előzetes előismerete nem.

A feladat megoldása során gyakorlati ismeretek szerezhetők egyrészt kliens- és szerveroldali webprogramozásban, másrészt gépi annotálóeszközök terén.

A jelentkezés menete, mi várható a konzulenstől...

Ezen a lapon összefoglaltam, mire számítok a jelentkezőktől, illetve mi várható tőlem.

 

© 2010-2024 BME MIT