hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
hpc [2021/12/16 12:47] – [Paketinis užduočių vykdymas (SLURM)] mif28585 | hpc [2022/02/17 12:54] – [Resursų limitai] rolnas | ||
---|---|---|---|
Linija 2: | Linija 2: | ||
Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | ||
- | |||
- | **Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.** | ||
VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | ||
Linija 116: | Linija 114: | ||
<code shell mpi-test-job.sh> | <code shell mpi-test-job.sh> | ||
- | #!/bin/sh | + | #!/bin/bash |
#SBATCH -p main | #SBATCH -p main | ||
#SBATCH -n4 | #SBATCH -n4 | ||
Linija 123: | Linija 121: | ||
mpirun mpi-test | mpirun mpi-test | ||
</ | </ | ||
+ | |||
+ | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | ||
+ | |||
+ | <code shell mpi-test-job.sh> | ||
+ | #!/bin/bash | ||
+ | #SBATCH --account=alloc_xxxx_projektas | ||
+ | #SBATCH -p main | ||
+ | #SBATCH -n4 | ||
+ | #SBATCH --time=minutes | ||
+ | module load openmpi | ||
+ | mpicc -o mpi-test mpi-test.c | ||
+ | mpirun mpi-test | ||
+ | </ | ||
+ | |||
Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | ||
Linija 128: | Linija 140: | ||
-p short - į kokią eilę siųsti (main, gpu, power). | -p short - į kokią eilę siųsti (main, gpu, power). | ||
- | -n4 - kiek procesorių rezervuoti (PASTABA: nustačius naudotinų branduolių skaičių x, tačiau realiai programiškai išnaudojant mažiau, apskaitoje vis tiek bus skaičiuojami visi x " | + | -n4 - kiek procesorių rezervuoti (**PASTABA:** nustačius naudotinų branduolių skaičių x, tačiau realiai programiškai išnaudojant mažiau, apskaitoje vis tiek bus skaičiuojami visi x " |
Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/ | Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/ | ||
Linija 230: | Linija 242: | ||
* Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta. | * Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta. | ||
* Jeigu naudosite parametrą '' | * Jeigu naudosite parametrą '' | ||
+ | |||
+ | ====== Resursų limitai ====== | ||
+ | |||
+ | Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**, | ||
+ | tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito. | ||
+ | |||
+ | Peržiūrėti kiek išnaudota resursų | ||
+ | |||
+ | < | ||
+ | sreport -T cpu, | ||
+ | </ | ||
+ | |||
+ | kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip '' | ||
+ | |||
+ | Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60. | ||
+ | |||
+ | Kitas būdas pažiūrėti limitus ir jų išnaudojimą | ||
+ | |||
+ | < | ||
+ | sshare -l -A USERNAME_mif -p -o GrpTRESRaw, | ||
+ | </ | ||
+ | |||
+ | kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių. | ||
====== Nuorodos ir mokymo medžiaga ====== | ====== Nuorodos ir mokymo medžiaga ====== | ||
Linija 272: | Linija 307: | ||
* [[https:// | * [[https:// | ||
+ | |||
+ | **3 mokymų dalis** | ||
+ | |||
+ | - GPU skaičiavimai | ||
+ | |||
+ | - CUDA programinio kodo spartinimui naudojant GPU | ||
+ | |||
+ | - Programavimas Python Jupyter-notebooks su GPU | ||
+ | |||
+ | - Simuliacinių skaičiavimų pavyzdys | ||
+ | |||
+ | - Mašininio mokymo projektas (duomenys/ | ||
+ | |||
+ | - Mašininio mokymo pavyzdys naudojant vieną GPU | ||
+ | |||
+ | - Mašininio mokymo pavyzdys naudojant kelis GPU | ||
+ | |||
+ | * [[https:// | ||
+ | |||
+ | * [[https:// | ||
* [[http:// | * [[http:// |
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas