Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/12/28 09:20] – [Nuorodos ir mokymo medžiaga] mif28585
+++ hpc [2022/02/24 10:33] – [Registracija] rolnas
@@ Linija 2: / Linija 2: @@
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
-**Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
@@ Linija 67: / Linija 65: @@
 Su suteiktu (pasirinktu) naudotojo vardu ir savo įvestu slaptažodžiu įgyjama teisė jungtis prie serverio **uosis.mif.vu.lt**, VU MIF mokymo klasių ir dalies VU MIF darbo vietų kompiuterių.
-Adresu [[https://hpc.mif.vu.lt|Waldur]] yra savitarnos portalas, kur su savo universiteto (eduGAIN arba LITNET tinkle) prisijungimu galima pačiam susikurti VU MIF HPC prisijungimą ir prašyti gauti prieigą prie šių resursų.
+Adresu [[https://hpc.mif.vu.lt|Waldur]] yra savitarnos portalas, kur su savo universiteto (eduGAIN arba LITNET tinkle) prisijungimu galima pačiam susikurti HPC prisijungimą. Daugiau info apie tai [[waldur|čia]].
 ====== Prisijungimas ======
@@ Linija 116: / Linija 114: @@
 <code shell mpi-test-job.sh>
-#!/bin/sh
+#!/bin/bash
 #SBATCH -p main
 #SBATCH -n4
@@ Linija 123: / Linija 121: @@
 mpirun mpi-test
 </code>
+Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas".
+<code shell mpi-test-job.sh>
+#!/bin/bash
+#SBATCH --account=alloc_xxxx_projektas
+#SBATCH -p main
+#SBATCH -n4
+#SBATCH --time=minutes
+module load openmpi
+mpicc -o mpi-test mpi-test.c
+mpirun mpi-test
+</code>
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
@@ Linija 231: / Linija 243: @@
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
-====== Nuorodos ir mokymo medžiaga ======
+====== Resursų limitai ======
+Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**,
+ tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito.
-**1 mokymų dalis**
+Peržiūrėti kiek išnaudota resursų
- - Trumpai apie HPC, kas tai yra, kam jo reikia
+<code>
+sreport -T cpu,mem,gres/gpu cluster AccountUtilizationByUser Start=0101 End=0131 User=USERNAME
+</code>
- - Kokie HPC būna, koks yra VU ir kokia MIF dalis
+kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip ''$(date +%m01)'' ir ''$(date +%m31)'', kas nurodo einamojo mėnesio pirmą ir paskutines dienas.
- - Kaip prisijungti MIF darbuotojams / studentams prie HPC
+Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60.
- - SSH rakto kūrimas ir naudojimas Windows aplinkoje
+Kitas būdas pažiūrėti limitus ir jų išnaudojimą
- - WinScp naudojimas Windows aplinkoje
+<code>
+sshare -l -A USERNAME_mif -p -o GrpTRESRaw,GrpTRESMins,TRESRunMins
+</code>
- * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
- * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
-**2 mokymų dalis**
- - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
- - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
- - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
- - Python/R/julia ar kitų kalbų paketų diegimas
- - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
- - Darbas su MPI
- - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
- - Papildomų resursų užsakymai (Waldur)
+kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
- * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+====== Mokymų medžiaga ======
- * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
+Toliau pateikiama informacija apie mokymus, kurie vyko 2021m gruodžio mėn.
-**3 mokymų dalis**
+===== 1 mokymų dalis =====
-- GPU skaičiavimai
+  * Trumpai apie HPC, kas tai yra, kam jo reikia
+  * Kokie HPC būna, koks yra VU ir kokia MIF dalis
+  * Kaip prisijungti MIF darbuotojams / studentams prie HPC
+  * SSH rakto kūrimas ir naudojimas Windows aplinkoje
+  * WinScp naudojimas Windows aplinkoje
-- CUDA programinio kodo spartinimui naudojant GPU
+  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
-- Programavimas Python Jupyter-notebooks su GPU
+===== 2 mokymų dalis =====
-- Simuliacinių skaičiavimų pavyzdys
+  * Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+  * Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+  * Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+  * Python/R/julia ar kitų kalbų paketų diegimas
+  * Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+  * Darbas su MPI
+  * Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+  * Papildomų resursų užsakymai (Waldur)
-- Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
+  * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
-- Mašininio mokymo pavyzdys naudojant vieną GPU
+===== 3 mokymų dalis =====
-- Mašininio mokymo pavyzdys naudojant kelis GPU
+  * GPU skaičiavimai
+  * CUDA programinio kodo spartinimui naudojant GPU
+  * Programavimas Python Jupyter-notebooks su GPU
+  * Simuliacinių skaičiavimų pavyzdys
+  * Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
+  * Mašininio mokymo pavyzdys naudojant vieną GPU
+  * Mašininio mokymo pavyzdys naudojant kelis GPU
- * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
- * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
+====== Nuorodos ======
+  * [[waldur|HPC Waldur portalo aprašymas]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]
   * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
-  * pagalba@mif.vu.lt - problemų su PST registracija
+  * pagalba@mif.vu.lt - problemų su **HPC** registracija