hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
hpc [2021/12/14 09:55] – [Nuorodos] mif04031 | hpc [2022/02/24 10:21] – [Mokymų medžiaga] rolnas | ||
---|---|---|---|
Linija 2: | Linija 2: | ||
Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | ||
- | |||
- | **Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.** | ||
VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | ||
Linija 29: | Linija 27: | ||
$ singularity exec -w /tmp/python pip install paketas | $ singularity exec -w /tmp/python pip install paketas | ||
$ singularity build python.sif /tmp/python | $ singularity build python.sif /tmp/python | ||
- | $ rm -r /tmp/python | + | $ rm -rf /tmp/python |
</ | </ | ||
Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
+ | |||
+ | Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/ | ||
+ | <code shell> | ||
+ | $ singularity build --sandbox /tmp/python docker:// | ||
+ | $ mkdir / | ||
+ | $ fakeroot singularity exec -B / | ||
+ | $ fakeroot singularity exec -B / | ||
+ | $ fakeroot singularity exec -B / | ||
+ | $ rm -rf / | ||
+ | $ singularity build python.sif /tmp/python | ||
+ | $ rm -rf /tmp/python | ||
+ | </ | ||
Kataloge ''/ | Kataloge ''/ | ||
Linija 42: | Linija 52: | ||
</ | </ | ||
+ | Taip pat jūs galite pasinaudoti savo pasidarytu konteineriu per JupyterHub. Tame konteineryje reikia instaliuoti '' | ||
+ | <code shell> | ||
+ | #!/bin/sh | ||
+ | exec singularity exec --nv myjupyterlab.sif batchspawner-singleuser " | ||
+ | </ | ||
====== Registracija ====== | ====== Registracija ====== | ||
Linija 99: | Linija 114: | ||
<code shell mpi-test-job.sh> | <code shell mpi-test-job.sh> | ||
- | #!/bin/sh | + | #!/bin/bash |
#SBATCH -p main | #SBATCH -p main | ||
#SBATCH -n4 | #SBATCH -n4 | ||
Linija 106: | Linija 121: | ||
mpirun mpi-test | mpirun mpi-test | ||
</ | </ | ||
+ | |||
+ | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | ||
+ | |||
+ | <code shell mpi-test-job.sh> | ||
+ | #!/bin/bash | ||
+ | #SBATCH --account=alloc_xxxx_projektas | ||
+ | #SBATCH -p main | ||
+ | #SBATCH -n4 | ||
+ | #SBATCH --time=minutes | ||
+ | module load openmpi | ||
+ | mpicc -o mpi-test mpi-test.c | ||
+ | mpirun mpi-test | ||
+ | </ | ||
+ | |||
Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | ||
- | -p short - į kokią eilę siųsti (main, gpu, power). | + | |
- | -n4 - kiek procesorių rezervuoti. | + | -p short - į kokią eilę siųsti (main, gpu, power). |
+ | |||
+ | -n4 - kiek procesorių rezervuoti | ||
Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/ | Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/ | ||
Linija 212: | Linija 243: | ||
* Jeigu naudosite parametrą '' | * Jeigu naudosite parametrą '' | ||
- | ====== | + | ====== |
+ | |||
+ | Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**, | ||
+ | tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito. | ||
+ | |||
+ | Peržiūrėti kiek išnaudota resursų | ||
+ | |||
+ | < | ||
+ | sreport -T cpu, | ||
+ | </ | ||
+ | |||
+ | kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** | ||
+ | |||
+ | Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60. | ||
+ | |||
+ | Kitas būdas pažiūrėti limitus ir jų išnaudojimą | ||
+ | |||
+ | < | ||
+ | sshare -l -A USERNAME_mif -p -o GrpTRESRaw, | ||
+ | </ | ||
+ | |||
+ | kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių. | ||
+ | |||
+ | ====== Mokymų | ||
+ | |||
+ | |||
+ | **1 mokymų dalis** | ||
+ | |||
+ | * | ||
+ | * Trumpai apie HPC, kas tai yra, kam jo reikia | ||
+ | * Kokie HPC būna, koks yra VU ir kokia MIF dalis | ||
+ | * Kaip prisijungti MIF darbuotojams / studentams prie HPC | ||
+ | * SSH rakto kūrimas ir naudojimas Windows aplinkoje | ||
+ | * WinScp naudojimas Windows aplinkoje | ||
+ | |||
+ | * [[https:// | ||
+ | * [[https:// | ||
+ | |||
+ | **2 mokymų dalis** | ||
+ | |||
+ | - Slurm komandos darbams paleisti/ | ||
+ | |||
+ | - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms | ||
+ | |||
+ | - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) | ||
+ | |||
+ | - Python/ | ||
- | 1 mokymų dalis | + | - Singularity konteineriai: |
- | | + | |
- | - Kokie HPC būna, koks yra VU ir kokia MIF dalis | + | - Rezultatų išvedimas |
- | - Kaip prisijungti MIF darbuotojams / studentams prie HPC | + | - Papildomų resursų užsakymai (Waldur) |
- | - SSH rakto kūrimas | + | * [[https:// |
- | - WinScp naudojimas Windows aplinkoje | + | * [[https:// |
- | * [[https:// | + | |
- | * [[https:// | + | |
- | 2 mokymų dalis | + | **3 mokymų dalis** |
- | - Slurm komandos darbams paleisti/ | + | - GPU skaičiavimai |
- | - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms | + | - CUDA programinio kodo spartinimui naudojant |
- | - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) | + | - Programavimas Python Jupyter-notebooks su GPU |
- | - Python/ | + | - Simuliacinių skaičiavimų pavyzdys |
- | - Singularity konteineriai: | + | - Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/ |
- | - Darbas su MPI | + | - Mašininio mokymo pavyzdys naudojant vieną GPU |
- | - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį | + | - Mašininio mokymo pavyzdys naudojant kelis GPU |
- | - Papildomų resursų užsakymai | + | * [[https:// |
- | Nuoroda į pristatymą čia https:// | + | * [[https:// |
- | Nuoroda į pristatymo įrašą čia https:// | + | ====== Nuorodos ====== |
+ | * [[http:// | ||
* [[http:// | * [[http:// | ||
* [[https:// | * [[https:// | ||
* [[https:// | * [[https:// | ||
* [[http:// | * [[http:// | ||
- | * pagalba@mif.vu.lt - problemų su PST registracija | + | * pagalba@mif.vu.lt - problemų su **HPC** |
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas