IT wiki

VU MIF STSC

User Tools

Site Tools


hpc

Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
hpc [2021/06/30 08:21] – [Įvadas į OpenMPI] rolnashpc [2024/02/21 12:50] (esamas) – [Singularity] rolnas
Linija 2: Linija 2:
  
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
- 
-**TESTUOJAMA iki 2021m rugpjūčio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.** 
  
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
Linija 18: Linija 16:
 ====== Programinė įranga ====== ====== Programinė įranga ======
  
-**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|Qlustar 11]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 18.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS.+**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|Qlustar 12]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 20.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis neveikia.
  
 Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose). Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
  
-Su komanda [[https://sylabs.io/guides/3.2/user-guide/index.html|singularity]] galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose ''/apps/local/hpc'', ''/apps/local/nvidia'', ''/apps/local/intel'' arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius.+===== Singularity ===== 
 + 
 +Su komanda [[https://sylabs.io/guides/3.2/user-guide/index.html|singularity]] galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose ''/apps/local/hpc'', ''/apps/local/nvidia'', ''/apps/local/intel'', ''/apps/local/lang'' arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius. 
 + 
 +Su singularity galite paruošti savo konteinerį, pvz: 
 +<code shell> 
 +$ singularity build --sandbox /tmp/python docker://python:3.8 
 +$ mkdir ~/workdir 
 +$ singularity exec -H ~/workdir:$HOME -w /tmp/python pip install paketas 
 +$ singularity build python.sif /tmp/python 
 +$ rm -rf /tmp/python 
 +</code> 
 + 
 +Tam kad pasinaudoti tokiu konteineriu, patariama (kad nesusikirstų su esamais python paketais namų kataloge) - pakeisti jame namų katalogą. 
 +<code shell> 
 +$ mkdir ~/workdir 
 +$ singularity exec -H ~/workdir:$HOME python.sif python3 ... 
 +</code> 
 + 
 +Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių. 
 + 
 +Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingą biblioteką ''libfakeroot-sysv.so'' kopijuojame į konteinerį, pvz: 
 +<code shell> 
 +$ singularity build --sandbox /tmp/python docker://ubuntu:20.04 
 +$ cp /libfakeroot-sysv.so /tmp/python/ 
 +$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get update 
 +$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.8 ... 
 +$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get clean 
 +$ rm -rf /tmp/python/libfakeroot-sysv.so /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia) 
 +$ singularity build python.sif /tmp/python 
 +$ rm -rf /tmp/python 
 +</code> 
 + 
 +===== Hadoop =====
  
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu. Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
  
-Su [[https://hpc.mif.vu.lt/hub|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|Jupyter Lab]] aplinka.+===== JupyterHub =====
  
-====== Registracija ======+Su [[https://hpc.mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
  
-PST gali naudotis tik registruoti VU MIF kompiuterių tinklo naudotojaiEsami VU MIF tinklo naudotojai PST gali naudotis be papildomos registracijos.+<code shell> 
 +$ python3.8 -m pip install --upgrade pip setuptools wheel 
 +$ python3.8 -m pip install --ignore-installed batchspawner jupyterlab 
 +</code>
  
-Registracijai reikia užpildyti [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymo formą]] ir pateikti ten nurodytu adresuParaišką patenkinus, suteikiamas VU MIF kompiuterių tinklo naudotojo vardas. Jei esate VU darbuotojas ar studentas ir registracijos metu nurodėte savo VU el. pašto adresą. Tada įvesti savo pradinį slaptažodį, galite per pamiršto slaptažodžio pakeitimo procedūrą, naudodami VU E.tapatybės duomenis. Kitu atveju teks atvykti į VU MIF Didlaukio g. 47, 302/304 kab. darbo metu, dėl tikslaus laiko galite pasitikslinti tel. 8 5219 5005 arba 8 5219 5006.+Taip pat jūs galite pasinaudoti savo pasidarytu konteineriu per JupyterHub. Tame konteineryje reikia instaliuoti ''batchswapner'' ir ''jupyterlab'' paketus bei sukurti script'ą ''~/.local/bin/batchspawner-singleuser'' su vykdymo teisėmis (''chmod +x ~/.local/bin/batchspawner-singleuser''
 +<code shell> 
 +#!/bin/sh 
 +exec singularity exec --nv myjupyterlab.sif batchspawner-singleuser "$@" 
 +</code> 
 +====== Registracija ======
  
-Su suteiktu (pasirinktu) naudotojo vardu ir savo įvestu slaptažodžiu įgyjama teisė jungtis prie serverio uosis.mif.vu.lt, VU MIF mokymo klasių ir dalies VU MIF darbo vietų kompiuterių.+  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **500 CPU-h ir 60 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]
  
-Adresu [[https://hpc.mif.vu.lt|Waldur]] yra savitarnos portalas, kur su savo universiteto (eduGAIN arba LITNET tinkle) prisijungimu galima pačiam susikurti VU MIF HPC prisijungimą ir prašyti gauti prieigą prie šių resursų.+  * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]]. 
 + 
 +  * **Kitiems naudotojams (ne VU bendruomenės nariams)** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdUMDE1QUo3Slo3UVYwTjM4TDMyTEdZT0tSNi4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, turite atvykti adresu VU MIF Didlaukio g. 47, 302/304 kab. darbo metu, prisijungimo duomenims gauti. Dėl tikslaus laiko būtina susitarti tel. 8 5219 5005 arba 8 5219 5006. Gavus duomenis [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]].
  
 ====== Prisijungimas ====== ====== Prisijungimas ======
Linija 42: Linija 83:
 Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją.
  
-Jeigu naudojate Kerberos:+Jeigu naudojate **Kerberos**:
  
-  * Prisijungiate į Linux aplinką VU MIF klasėje arba viešame terminale savo VU MIF naudotojo vardu ir slaptažodžiu +  * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu 
-  *  **arba** su ssh ar putty programa prisijungiate į **uosis.mif.vu.lt** savo VU MIF naudotojo vardu ir slaptažodžiu. +  *  **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu. 
-  * Su komanda **klist** patikrinkite ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**. +  * Su komanda **klist** patikrinkitear turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**. 
-  * Jungiatės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).+  * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.
  
-Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus): +Jeigu naudojate **SSH raktus** (pvz: jei norite kopijuoti didelius failus): 
 +  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
-  *     Prisijungiate su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).+  *     Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio)
 + 
 +Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
  
 ====== Bendra failų sistema (Lustre) ====== ====== Bendra failų sistema (Lustre) ======
Linija 68: Linija 111:
  
 ^Eilė (partition) ^Laiko limitas ^RAM    ^Pastabos| ^Eilė (partition) ^Laiko limitas ^RAM    ^Pastabos|
-^main             ^7d            ^7000MB  ^CPU telkinys| +^main             ^nėra          ^7900MB  ^CPU telkinys| 
-^gpu              ^48h           ^12000MB ^GPU telkinys| +^gpu              ^nėra          ^12700MB ^GPU telkinys| 
-^power            ^48h           ^2000MB  ^IBM Power9 telkinys|+^power            ^nėra          ^8000MB  ^IBM Power9 telkinys|
  
-Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas.+Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas (nėra).
  
 **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis. **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis.
Linija 83: Linija 126:
  
 <code shell mpi-test-job.sh> <code shell mpi-test-job.sh>
-#!/bin/sh+#!/bin/bash
 #SBATCH -p main #SBATCH -p main
 #SBATCH -n4 #SBATCH -n4
 +module load openmpi
 mpicc -o mpi-test mpi-test.c mpicc -o mpi-test mpi-test.c
 mpirun mpi-test mpirun mpi-test
 </code> </code>
 +
 +Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas" (taikomas ne VU MIF naudotojams, VU MIF naudotojai -- account parametro nurodyti neturi).
 +
 +<code shell mpi-test-job.sh>
 +#!/bin/bash
 +#SBATCH --account=alloc_xxxx_projektas
 +#SBATCH -p main
 +#SBATCH -n4
 +#SBATCH --time=minutes
 +module load openmpi
 +mpicc -o mpi-test mpi-test.c
 +mpirun mpi-test
 +</code>
 +
  
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
--p short - į kokią eilę siųsti (main, gpu, power). + 
--n4 - kiek procesorių rezervuoti.+ -p short - į kokią eilę siųsti (main, gpu, power). 
 + 
 + -n4 - kiek procesorių rezervuoti (**PASTABA:** nustačius naudotinų branduolių skaičių x, tačiau realiai programiškai išnaudojant mažiau, apskaitoje vis tiek bus skaičiuojami visi x "užprašyti" branduoliai, todėl rekomenduojame apsiskaičiuoti iš anksto).
  
 Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/scratch/lustre**, nes jis turi egzistuoti skaičiavimo mazge ir ten yra kuriamas užduoties išvesties failas **slurm-JOBID.out**, nebent nukreiptas kitur parametrais -o arba -i (jiems irgi patariama naudoti bendrą failų sistemą). Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/scratch/lustre**, nes jis turi egzistuoti skaičiavimo mazge ir ten yra kuriamas užduoties išvesties failas **slurm-JOBID.out**, nebent nukreiptas kitur parametrais -o arba -i (jiems irgi patariama naudoti bendrą failų sistemą).
Linija 124: Linija 184:
 ====== Interaktyvios užduotys (SLURM) ====== ====== Interaktyvios užduotys (SLURM) ======
  
-Interaktyvias užduotis galima pradėti vykdyti su komanda srun:+Interaktyvias užduotis galima vykdyti su komanda srun:
  
 <code> <code>
Linija 144: Linija 204:
 $ ssh -X hpc $ ssh -X hpc
 $ srun --pty $SHELL $ srun --pty $SHELL
 +</code>
 +
 +**power** telkinyje interaktyvias užduotis galima vykdyti su
 +
 +<code>
 +$ srun -p power --mpi=none --pty $SHELL
 </code> </code>
  
Linija 168: Linija 234:
 ===== MPI programų kompiliavimas ===== ===== MPI programų kompiliavimas =====
  
-Paprastos MPI programos pavyzdys yra kataloge /scratch/lustre/test/openmpi. **mpicc** (**mpiCC**, **mpif77**, **mpif90**) yra apvalkalai C (C++, F77, F90) kompiliatoriams, kurie automatiškai įtraukia į komandų eilutę reikiamus **MPI** intarpų (include) ir bibliotekų failus.+Paprastos MPI programos pavyzdys yra kataloge ''/scratch/lustre/test/openmpi''. **mpicc** (**mpiCC**, **mpif77**, **mpif90**, **mpifort**) yra apvalkalai C (C++, F77, F90, Fortran) kompiliatoriams, kurie automatiškai įtraukia į komandų eilutę reikiamus **MPI** intarpų (include) ir bibliotekų failus.
  
 +<code>
 $ mpicc -o foo foo.c $ mpicc -o foo foo.c
 $ mpif77 -o foo foo.f $ mpif77 -o foo foo.f
 $ mpif90 -o foo foo.f $ mpif90 -o foo foo.f
 +</code>
 ===== MPI programų vykdymas ===== ===== MPI programų vykdymas =====
  
-MPI programos startuojamos su mpirun arba mpiexec programa. Daugiau apie jas galima sužinoti su komanda man mpirun arba man mpiexec.+MPI programos startuojamos su **mpirun** arba **mpiexec** programa. Daugiau apie jas galima sužinoti su komanda **man mpirun** arba **man mpiexec**.
  
 Paprasta (SPMD) programa gali būti startuojama su tokia mpirun komandų eilute. Paprasta (SPMD) programa gali būti startuojama su tokia mpirun komandų eilute.
  
 +<code>
 $ mpirun foo $ mpirun foo
 +</code>
 +
 +Bus naudojami visi paskirti procesoriai pagal tai, kiek jų buvo užsakyta. Jeigu norite panaudoti mažiau, tai **mpirun** nurodykite parametrą ''-np kiekis''. Nerekomenduojama ilgesnį laiką naudoti mažiau nei rezervuota, nes neišnaudoti CPU lieka laisvi. 
 +
 +**DĖMESIO:** griežtai draudžiama naudoti didesnį kiekį CPU nei buvo rezervuotą, nes tai gali turėti įtakos kitų užduočių vykdymui.
 +
 +Daugiau apie instaliuotą **OpenMPI** yra [[https://www.open-mpi.org|OpenMPI]] puslapyje.
 +
 +====== Užduočių efektyvumas ======
 +
 +  * Prašome išnaudoti ne mažiau 50% užsakyto CPU kiekio.
 +  * Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta.
 +  * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau CPU, tai bus neefektyvus resursų naudojimas. Be to, gali veikti netgi lėčiau, nes gali būti naudojama kita (nei vykdančio) procesoriaus atmintis.
 +
 +====== Resursų limitai ======
 +
 +Jeigu jūsų užduotys nestartuoja dėl **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes** priežasties,
 + turite pasitikrinti, ar užduotims dar liko neišnaudotų CPU/GPU resursų iš mėnesio limito.
 +
 +//Pirmasis būdas peržiūrėti, kiek išnaudota resursų://
 +
 +<code>
 +sreport -T cpu,mem,gres/gpu cluster AccountUtilizationByUser Start=0101 End=0131 User=USERNAME
 +</code>
 +
 +kur **USERNAME** - jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip ''$(date +%m01)'' ir ''$(date +%m31)'', kas nurodo einamojo mėnesio pirmą ir paskutinę dienas.
 +
 +**DĖMESIO**: naudojimas pateikiamas minutėmis, pateiktą skaičių reikia dalinti iš 60, gausite išnaudotas valandas.
 +
 +//Antrasis būdas peržiūrėti, kiek išnaudota resursų://
 +
 +<code>
 +sshare -l -A USERNAME_mif -p -o GrpTRESRaw,GrpTRESMins,TRESRunMins
 +</code>
 +
 +kur **USERNAME** - MIF naudotojo vardas. Arba parametre **-A** nurodyti tą paskyrą, kurios naudojimą reikia pažiūrėti. Duomenys yra pateikiami cpu/gpu minutėmis: 
 +  * **GrpTRESRaw** - kiek išnaudota. 
 +  * **GrpTRESMins** - koks yra limitas. 
 +  * **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
 +
 +====== Mokymų medžiaga ======
 +
 +Toliau pateikiama informacija apie mokymus, kurie vyko 2021m gruodžio mėn.
 +
 +===== 1 mokymų dalis =====
 +
 +  * Trumpai apie HPC, kas tai yra, kam jo reikia
 +  * Kokie HPC būna, koks yra VU ir kokia MIF dalis
 +  * Kaip prisijungti MIF darbuotojams / studentams prie HPC
 +  * SSH rakto kūrimas ir naudojimas Windows aplinkoje
 +  * WinScp naudojimas Windows aplinkoje
 +
 +  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
 +  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
 +
 +===== 2 mokymų dalis =====
 +
 +  * Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
 +  * Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
 +  * Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
 +  * Python/R/julia ar kitų kalbų paketų diegimas
 +  * Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
 +  * Darbas su MPI
 +  * Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
 +  * Papildomų resursų užsakymai (Waldur)
 +
 +  * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
 +  * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
 +
 +===== 3 mokymų dalis =====
 +
 +  * GPU skaičiavimai
 +  * CUDA programinio kodo spartinimui naudojant GPU
 +  * Programavimas Python Jupyter-notebooks su GPU
 +  * Simuliacinių skaičiavimų pavyzdys
 +  * Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
 +  * Mašininio mokymo pavyzdys naudojant vieną GPU
 +  * Mašininio mokymo pavyzdys naudojant kelis GPU
 +
 +  * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
 +  * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
 +
 +====== Nuorodos ======
  
-Tai naudos visus paskirtus procesorius, pagal tai, kiek jų buvo sakytaJeigu norima pasinaudoti mažiau, tai mpirun galima nurodyti parametrą -np kiekisNepageidaujama ilgesniam laikui naudoti mažiau, nei rezervuota, nes neišnaudoti CPU lieka laisviDidesnį kiekį, nei rezervuotą, yra griežtai draudžiama naudoti, nes tai gali turėti įtakos kitų užduočių vykdymui.+  * [[waldur|HPC Waldur portalo aprašymas]] 
 +  * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]] 
 +  * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]] 
 +  * [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]] 
 +  * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]] 
 +  * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija
  
-Daugiau apie instaliuotą OpenMPI yra [[https://www.open-mpi.org|OpenMPI]] puslapyje.  
hpc.1625041265.txt.gz · Keista: 2021/06/30 08:21 vartotojo rolnas

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki