VU Matematikos ir informatikos Duomenų mokslo studijų programos absolventė Jaunė Malūkaitė tikrai gali pasakyti, kad VU – vieta užaugti. Mergina bakalauro studijas baigė Magna cum laude diplomu, planuoja mokslus tęsti prestižiniame Jungtinės Karalystės Kembridžo universitete, o prie visų pasiekimų įgyvendinimo prisidėjo ir galimybė pasinaudoti VU turimo superkompiuterio resursais. Pokalbis su Jaune apie studijas, HPC išteklių panaudojimą moksliniame darbe ir ateities planus.
Jaunė Malūkaitė. Asmeninio archyvo nuotr.
Jaune, ne per seniausiai apsigynei bakalauro darbą. Kokios mintys sukasi galvoje? Kokia tema rašei? Kaip ją pasirinkai?
Šiuo metu galvoje kyla įvairiausios mintys, kadangi didelis gyvenimo puslapis beveik baigtas, liko tik gauti bakalauro diplomą. Šiek tiek keista pagalvoti, jog nereikės sėdėti vakarais bei savaitgaliais prie bakalauro darbo ir kol kas sunku suvokti ir atsipalaiduoti, bet tikrai smagu pamatyti, kiek toli nueita.
Mano bakalauro tema „Transformerių taikymas EKG signalų analizėje širdies aritmijos klasifikavimui“, o ją pasiūlė mano bakalauro vadovė. Ši tema mane iškart labai sudomino, kadangi giliojo mokymosi transformerio architektūra yra viena iš naujesnių technologijų bei apie ją buvau daug girdėjusi darbinėje aplinkoje, todėl labai norėjau ir pati pabandyti tai pritaikyti praktiškai. Taigi, per daug gilių svarstymų ir nebuvo, norėjau kuo greičiau pradėti į ją gilintis.
Savo darbo rašymui pasinaudojai HPC resursais. Kokius darbus padėjo atlikti superkompiuteris? Kokie buvo pagrindiniai darbo rezultatai ir kaip HPC prisidėjo prie jų?
Mano bakalauro darbui atlikti superkompiuteris labai stipriai prisidėjo, kadangi analizei atlikti turėjau didelius duomenų kiekius (vien apmokymo duomenų aibėje buvo apie 400 tūkstančių eilučių) ir sukonstruotą modelį sudarė nemažas parametrų skaičius, eksperimentų metu siekiantis ir 1811536 dydį. Taigi, tokius modelius apmokyti su pridėtomis įvairiomis hiperparametrų gardelėmis lokaliai būčiau užtrukusi tikrai žymiai ilgiau nei naudojant HPC centro suteiktus GPU resursus.
Pagrindiniai darbo rezultatai buvo širdžiai žalingo pūpsnio klasifikavimo metrikų pagerinimas naudojant transformerio modelį bei mano sugalvotą transformerio modelių ansamblį. HPC resursų turėjimas prisidėjo prie greitesnių rezultatų gavimo, o tada jau prie jų aprašymo dviejuose straipsniuose.
VU superkompiuteris. Justino Auškelio nuotr.
Kodėl pasirinkai naudoti HPC vietoje įprastų skaičiavimo metodų?
Apie HPC resursus turėjome porą paskaitų universitete bei įvairius panašius išteklius esu naudojusi darbinėje aplinkoje, todėl tai nebuvo itin naujas dalykas. Galbūt iš pradžių buvo šiek tiek sunkiau įsivažiuoti, rasti lengviausią naudojimo būdą, tačiau nuo pat bakalauro darbo pradžios buvo aišku, jog be HPC resursų neišsiversiu. Be to, superkompiuterio naudojimą rekomendavo mano bakalauro darbo vadovė.
Kiek laiko užėmė duomenų apdorojimas ar skaičiavimai naudojant HPC?
Didžiąją dalį duomenų apdorojimo dariau lokaliai, kadangi dar nebuvau įgudusi HPC naudojime, todėl taip atrodė paprasčiau, nors mano asmeninis kompiuteris ir mėgdavo garsiai paūžti. Vėliau įvairius klasių perkodavimus, koreliacijų skaičiavimą tarp signalų reikšmių atlikinėjau naudojant HPC ir, žinoma, viskas truko žymiai greičiau, nes lokaliai darant būtų reikėję daug laiko resursų. Daugiausiai superkompiuterį naudojau eksperimentų atlikimams, kai vienas transformerio modelio apmokymas trukdavo apie 15-20 minučių, tačiau mokymo procese naudojau hiperparametrų gardelę, todėl viskas išaugdavo iki apytiksliai pusantros valandos.
Kokie buvo pirmieji įspūdžiai apie HPC naudojimo procesą?
Paskaitų metu atrodė, jog nėra labai sunku naudoti HPC, tačiau visgi kilo keblumų, kadangi naudojant resursus per, tarkime, „Jupyter Hub“, programa vis „užšaldavo“. Tada pradėjau naudoti resursus per „VSCode“ programinę įrangą, atsisiuntus „Remote-SSH“ priedėlį, su kuriuo labai lengvai galėjau prisijungti prie superkompiuterio, atsidaryti reikiamus dokumentus, norimus atsisiųsti. Taip pat lygiagrečiai galėdavau prisidėti lokalius aplankalus, taigi, vieni metu matydavau skirtingus programinius kodus, kas mano atveju buvo labai patogu. Atradus šį naudojimo metodą, viskas palengvėjo ir buvo patogu naudoti gautus išteklius. Be to, išmokau daug naujų dalykų, tai įspūdžiai – patys geriausi!
Ar buvo kokių nors netikėtų rezultatų arba atradimų, kurie tapo galimi tik dėl HPC naudojimo?
Kadangi HPC naudojimas padėjo gauti rezultatus žymiai greičiau, turėjau progą pamėginti apjungti transformerio architektūrą bei „ResNET“ tinklą, nors į ją detaliai nesigilinau, bet buvo įdomu pamėginti. HPC naudojimas prisidėjo ir prie transformerio modelių ansamblio konstravimo, kadangi jis susidėjo iš trijų transformerio modelio dalių, taigi, vienos dalies apmokymas man lokaliai būtų trukęs labai ilgai, o ką jau kalbėti apie trijų dalių apmokymą... Sukonstruotas ansamblio modelis pagerino transformerio modelio klasifikavimo metrikas, todėl džiugu buvo turėti resursus, kurie padėjo apmokyti bei ištestuoti tokį modelį ir idėją paversti bakalauro darbo bei mokslinio straipsnio dalimi.
Jaunė diplomų įteikimų ceremonijoje. Asmeninio archyvo nuotr.
Kaip Tavo darbo vadovė vertino HPC naudojimą darbe?
Mano bakalauro darbo vadovė labai teigiamai vertino superkompiuterio naudojimą bakalauro darbe bei man jį ir rekomendavo naudoti. Be to, vadovė papasakojo apie papildomus resursus, kurių galima paprašyti, o galiausiai mano atveju taip ir nutiko, kad jų prireikė, kadangi turimus išnaudojau.
Kokią naudą ar privalumus matai HPC naudojime akademiniams tyrimams?
Matau labai daug privalumų HPC naudojime. Visų pirma, giliojo mokymosi įvairios architektūros naudojimas, pavyzdžiui, modelių apmokymas, dažnu atveju užima nemažai laiko, todėl jo sutaupyti ir žymiai daugiau eksperimentų atlikti galima naudojant HPC resursus nei lokaliai. Tada galima išmėginti įvairius scenarijus, gauti daugiau rezultatų bei padaryti galbūt tikslesnes išvadas. Taip pat turint HPC resursus galima išbandyti įvairesnių modelių, bibliotekų, funkcijų, kurios aprašytos akademiniuose darbuose, yra daugiau galimybių ne tik atkurti moksliniuose straipsniuose minimus modelius, tačiau ir pačiai(-iam) pamodifikuoti juos ar sukonstruoti kažką naujo.
Kokius patarimus duotum kitiems studentams, kurie galbūt svarsto naudoti HPC savo tyrimuose?
Patarimas būtų nebijoti pabandyti pasinaudoti HPC resursais savo darbuose, nors gali atrodyti sunkiau nei iš tikrųjų yra, ir tai mane buvo pristabdę išbandyti HPC naudojimą kursiniame darbe. Tačiau viskas greitai perprantama, na, gal ne viskas, o didžioji dalis, taigi, pasidaro daug kas paprasta, o ir ateityje tokios žinios tikrai gali praversti. Dar vienas patarimas būtų naudoti „VSCode“ per „SSH remote“, kadangi nereikia dažnai suvedinėti prisijungimo duomenų, nereikia jų naudoti norint atsisiųsti dokumentus į lokalią aplinką bei nereikia naudoti terminalo komandų norint kažką pakeisti dokumente, kadangi viską galima atlikti per pačią programą.
Neseniai atsiėmei bakalauro diplomą. Kokie ateities planai?
Artimiausios ateities planai yra vasarą toliau dirbti mylimoje IBM įmonėje, o nuo rugsėjo kraustytis į Jungtinę Karalystę, kadangi esu gavusi kvietimą studijuoti Duomenų intensyviojo mokslo magistro programoje Kembridžo universitete.