Előadások: MI használata kritikus rendszerekben

Tanszékünk aktívan foglalkozik azzal a nagy társadalmi jelentőségű, de bonyolult kérdéssel, hogy hogyan lehet megbízható módon alkalmazni mesterséges intelligencia (MI) módszereket kritikus rendszerekben (lásd pl. Trustworthy AI kezdeményezés). Munkatársaink a közelmúltban két előadást is tartottak ebben a témában akadémiai és ipari résztvevőknek.

Prof. Pataricza AndrásTowards using ML in critical applications” címmel tartott előadást az AIME 2018 Academia - Industry Matching Event rendezvényen. A rendezvényen akadémiai és ipari szakértők osztották meg tapasztalataikat és elképzeléseiket a gépi tanulás és vizuális analitika témáiban.  Pataricza András az előadásban felhívta a figyelmet arra, hogy bár a mesterséges intelligencia és a gépi tanulás rendkívül hatékony egy-egy specifikus probléma megoldásában, egyre jelentősebb kérdés, hogy megbízhatunk-e bennük, és milyen feltételekkel használhatjuk ezeket kritikus alkalmazásokban (pl. autonóm vezetés, kiber-fizikai rendszerek). A közelmúlt halálos balesetei is egyre inkább felhívták a figyelmet erre az egyre égetőbb problémára.

A fő kihívások közé tartozik, hogy az MI módszerek sokszor valószínűségi alapon, fekete dobozként működnek, így a kiadott eredmények értelmezhetősége kérdéses. Előadásában példákat mutatott arra, hogy az MI terület legújabb legújabb eredményeit (pl. Explainable Artificial Intelligence, XAI) hogyan lehet kombinálni a hibatűrő számítástechnika bevett megoldásaival (pl. önellenőrző rutinok, kétcsatornás architektúra, csomagoló komponensek). Ezeknek a módszereknek a segítségével az MI módszereket használó komponens esetleges hibája esetén is biztosítani lehet a rendszerszintű biztonságos működést.

Az előadás itt érhető el.

 

Dr. Vörös AndrásTesting Techniques for Critical Deep Learning Applications” címmel tartott előadást a HUSTEF konferencián. A Hungarian Software Testing Forum nemzetközi részvételű ipari konferencia, 650+ résztvevőjével a legnagyobb szoftverteszteléssel foglalkozó hazai rendezvény. A konferencián fejlesztő- és tesztmérnökök, tesztelési vezetők vettek részt, akik a mesterséges intelligenciát használó komponensek ellenőrzési kihívásairól és lehetőségeiről kaptak így naprakész információkat.

Vörös András előadásában ismertette, hogy milyen kihívások és tipikus hibák fordulnak elő mély neurális hálókat (deep neural network) használó megoldások tesztelése során (pl. az adathalmaz hiányosságai, úgynevezett adversarial attack-ok).

Az előadás ezután bemutatta, hogy milyen módszerek állnak rendelkezésre a neurális hálókat használó szoftverkomponensek ellenőrzésére és a helyes működés biztosítására. Vörös András a legújabb kutatási eredményeket összefoglalva kitért a formális verifikáció, a fuzzing, a szimbolikus végrehajtás és a differenciális tesztelés módszereire is.

Az eladás második felében pedig ismertetett egy, a tanszéken kifejlesztett rendszerszintű tesztelést megvalósító innovatív módszert. A módszer alapja, hogy az autonóm komponens környezetét és a vele szemben támasztott biztonsági és robusztussági követelményeket metamodellekben ábrázoljuk, majd ezek alapján diverz és valóságos környezeti elrendezéseket generálunk, amikben az autonóm komponensek - szimulátorban vagy valós környezetben is - végrehajthatók, kiértékelhetők és monitorozhatók. A módszer különösen alkalmas a robusztusság teszteléséhez szükséges extrém környezetek szisztematikus generálására.

Az előadás fóliái itt érhetők el, az előadásról készült videó pedig itt tekinthető meg.

Az előadásokban bemutatott kutatási eredmények a tanszék több munkatársának és hallgatójának közreműködésével valósultak meg (Dr. Majzik István, Dr. Micskei Zoltán, Dr. Szatmári Zoltán, Semeráth Oszkár, Földvári András, Rabatin Gábor), és építenek a tanszék kutatási projektjeinek korábbi eredményeire (R3-COP, R5-COP, MTA-BME Lendület Kiberfizikai Rendszerek Kutatócsoport).

A kutatásokat részben az EMMI Felsőoktatási Intézményi Kiválóság Program támogatta – a BME-FIKP: Mesterséges Intelligencia MI/SC alprojektek keretében.

© 2010-2019 BME MIT