Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2022/02/01 10:56] – eduardas
+++ hpc [2022/02/24 10:23] – [Mokymų medžiaga] rolnas
@@ Linija 2: / Linija 2: @@
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
-**Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
@@ Linija 116: / Linija 114: @@
 <code shell mpi-test-job.sh>
-#!/bin/sh
+#!/bin/bash
 #SBATCH -p main
 #SBATCH -n4
@@ Linija 127: / Linija 125: @@
 <code shell mpi-test-job.sh>
-#!/bin/sh
+#!/bin/bash
 #SBATCH --account=alloc_xxxx_projektas
 #SBATCH -p main
 #SBATCH -n4
+#SBATCH --time=minutes
 module load openmpi
 mpicc -o mpi-test mpi-test.c
@@ Linija 244: / Linija 243: @@
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
-====== Nuorodos ir mokymo medžiaga ======
+====== Resursų limitai ======
+Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**,
+ tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito.
-**1 mokymų dalis**
+Peržiūrėti kiek išnaudota resursų
- - Trumpai apie HPC, kas tai yra, kam jo reikia
+<code>
+sreport -T cpu,mem,gres/gpu cluster AccountUtilizationByUser Start=0101 End=0131 User=USERNAME
+</code>
- - Kokie HPC būna, koks yra VU ir kokia MIF dalis
+kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip ''$(date +%m01)'' ir ''$(date +%m31)'', kas nurodo einamojo mėnesio pirmą ir paskutines dienas.
- - Kaip prisijungti MIF darbuotojams / studentams prie HPC
+Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60.
- - SSH rakto kūrimas ir naudojimas Windows aplinkoje
+Kitas būdas pažiūrėti limitus ir jų išnaudojimą
- - WinScp naudojimas Windows aplinkoje
+<code>
+sshare -l -A USERNAME_mif -p -o GrpTRESRaw,GrpTRESMins,TRESRunMins
+</code>
+kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
- * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+====== Mokymų medžiaga ======
- * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
-**2 mokymų dalis**
+**1 mokymų dalis**
- - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+  * Trumpai apie HPC, kas tai yra, kam jo reikia
+  * Kokie HPC būna, koks yra VU ir kokia MIF dalis
+  * Kaip prisijungti MIF darbuotojams / studentams prie HPC
+  * SSH rakto kūrimas ir naudojimas Windows aplinkoje
+  * WinScp naudojimas Windows aplinkoje
- - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
- - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+**2 mokymų dalis**
- - Python/R/julia ar kitų kalbų paketų diegimas
+  * Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+  * Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+  * Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+  * Python/R/julia ar kitų kalbų paketų diegimas
+  * Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+  * Darbas su MPI
+  * Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+  * Papildomų resursų užsakymai (Waldur)
- - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+  * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
- - Darbas su MPI
- - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
- - Papildomų resursų užsakymai (Waldur)
- * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
- * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
 **3 mokymų dalis**
-- GPU skaičiavimai
+  * GPU skaičiavimai
+  * CUDA programinio kodo spartinimui naudojant GPU
-- CUDA programinio kodo spartinimui naudojant GPU
+  * Programavimas Python Jupyter-notebooks su GPU
+  * Simuliacinių skaičiavimų pavyzdys
-- Programavimas Python Jupyter-notebooks su GPU
+  * Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
+  * Mašininio mokymo pavyzdys naudojant vieną GPU
-- Simuliacinių skaičiavimų pavyzdys
+  * Mašininio mokymo pavyzdys naudojant kelis GPU
-- Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
-- Mašininio mokymo pavyzdys naudojant vieną GPU
-- Mašininio mokymo pavyzdys naudojant kelis GPU
- * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
+  * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
- * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
+====== Nuorodos ======
+  * [[http://hpc.mif.vu.lt|HPC Waldur portalas]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]
   * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
-  * pagalba@mif.vu.lt - problemų su PST registracija
+  * pagalba@mif.vu.lt - problemų su **HPC** registracija