NVidia Deep Learning Institute: második egész napos workshop (Fundamentals of Natural Language Processing)

2018. december 18-án immár második alkalommal rendeztünk egész napos NVidia Deep Learning Institute (DLI) workshop-ot, melynek a témája a természetes nyelvfeldolgozás (Natural Language Processing, NLP) volt mély tanulás segítségével. A workshop során a résztvevők megismerkedtek a természetes nyelvfeldolgozás legfőbb kihívásaival, a szavak vektorként történő ábrázolásával, ezen túl szöveg osztályozási és fordítási feladatokat oldottunk meg deep learning segítségével.

Az NVIDIA Deep Learning Institute célkitűzése, hogy segítséget nyújtson a mérnököknek, adattudósoknak, kutatóknak és fejlesztőknek, hogy a szakterületük kihívásait AI és deep learning segítségével minden korábbinál nagyobb hatékonysággal tudják megoldani.

A workshopot reggel 9-kor Dr. Magyar Gábor, a Távközlési és Médiainformatikai Tanszék vezetője nyitotta meg, melyet egy körülbelül 45 perces előadás követett a természetes nyelvfeldolgozás alapvető kérdéseiről és kihívásairól.

A természetes nyelvfeldolgozás az emberi (természetes) nyelvek elemzésével, értelmezésével és modellezésével foglalkozó tudományág. Napjainkban egyik elsődleges és sok esetben leghatékonyabb technikája a mély tanulás, melyhez jellemzően nagy mennyiségű szöveges adatbázist használunk fel (pl. Wikipedia teljes adatbázisát). Az NLP témakörhöz köthetőek a chatbotok, a gépi fordítás, a plágium detekció vagy például szöveges kritikák alapján a felhasználói hangulat, szentiment megadása.

Ezt követően három blokkban következett 1–1 előadás, melyet minden esetben un. hands-on lab követett. A hands-on lab során a résztvevők saját laptopjukon, nagy teljesítményű GPU-kkal felszerelt, NVidia által biztosított felhőben oldottak meg NLP-hez köthető, az előadáshoz kapcsolódó feladatokat.

Elsőként szóbegyágyazásokkal foglalkoztunk, megismertük a leginkább elterjedt módszereket és szemantikai szempontból elemeztünk mondatokat, hogy helyesek vagy helytelenek-e. Délben — egy órás szünet keretében — pizzáztunk, beszélgettünk, networkingeltünk.

Délután, a második fő témaként író klasszifikációval foglalkoztunk szóbeágyazás és LSTM (Long Short-Term Memory) rekurrens neurális hálózatok segítségével. Alexander Hamilton és Thomas Jefferson által ír művekkel tanítottunk mély neurális hálózatot, és később, a tanítás során nem használt művekről döntöttük el a betanított hálózatok segítségével, hogy ki írta.

A nap harmadik nagy témaköre a mély tanulás alapú gépi fordítás, azaz a Neural Machine Translation (NMT) volt. Napjaink fordítógépei, mint például a Google Translate is, szinte egytől-egyig mély tanulás alapon működnek. Ebben a blokkban megismerkedtünk a sequence-to-sequence (Seq2seq) modellekkel, és az attention módszerrel. A résztvevők egy olyan forráskódot írtak meg, mely különféle szöveges dátumokat (pl. 24th September, 2018 vagy 2018, Sept. 24) tanult meg standard formátumú, számítógéppel könnyen értelmezhető dátummá alakítani (pl. 20180924).

Az egyes blokkokat egyéni feladatok követték, melyek helyes megoldása esetén a résztvevők NVidia DLI certifikátot kaptak a workshop sikeres teljesítéséről.

A workshopot Dr. Gyires-Tóth Bálint, NVidia DLI minősített oktató és egyetemi nagykövet vezette, Sevinj Yolchuyeva és Hajgató Gergely, deep learning-es PhD hallgatók segítették a résztvevők munkáját.

A kezdő és középhaldó szintű workshopot előzetes deep learning ismeretek nélkül is sikeresen el lehetett végezni. A résztvevők saját laptopokon dolgoztak böngészőn keresztül az NVidia Cloud-ban.

A workshopnak az EIT Digital adott helyet a budapesti EIT Digital Co-Location Center-ben, illetve a kiváló helyszínen túl kávéval és sós/édes aprósüteményekkel segítették a résztvevők minél hatékonyabb munkáját. Ezúton is köszönjük az EIT Digital közreműködését és segítségét!

Az esemény az alábbi szervezetek támogatásával jött létre:

Nem tudtál eljönni? Lemaradtál?

A jövőben is különböző témákkal (pl. Deep Learning based Computer Vision, Natural Language Processing, Working with Multiple Datatypes, Multi-GPU trainings, stb.) további egész napos DLI Workshop-okat fogunk szervezni.