hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
hpc [2022/02/14 13:51] – [Resursų limitai] rolnas | hpc [2022/05/24 12:48] – [Interaktyvios užduotys (SLURM)] rolnas | ||
---|---|---|---|
Linija 31: | Linija 31: | ||
Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
- | Jeigu norima | + | Jeigu reikia |
<code shell> | <code shell> | ||
$ singularity build --sandbox /tmp/python docker:// | $ singularity build --sandbox /tmp/python docker:// | ||
- | $ mkdir / | + | $ cp / |
- | $ fakeroot | + | $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get update |
- | $ fakeroot | + | $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.8 ... |
- | $ fakeroot | + | $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get clean |
- | $ rm -rf / | + | $ rm -rf / |
$ singularity build python.sif /tmp/python | $ singularity build python.sif /tmp/python | ||
$ rm -rf /tmp/python | $ rm -rf /tmp/python | ||
Linija 45: | Linija 45: | ||
Kataloge ''/ | Kataloge ''/ | ||
- | Su [[https:// | + | Su [[https:// |
<code shell> | <code shell> | ||
Linija 59: | Linija 59: | ||
====== Registracija ====== | ====== Registracija ====== | ||
- | PST gali naudotis tik registruoti VU MIF kompiuterių tinklo naudotojai. Esami **VU MIF tinklo | + | * **VU MIF tinklo |
- | Registracijai reikia | + | * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite |
- | Su suteiktu | + | * **Kitiems naudotojams |
- | + | ||
- | Adresu | + | |
====== Prisijungimas ====== | ====== Prisijungimas ====== | ||
Linija 71: | Linija 69: | ||
Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | ||
- | Jeigu naudojate Kerberos: | + | Jeigu naudojate |
- | * Prisijungiate | + | * Prisijunkite |
- | * **arba** su ssh ar putty programa | + | * **arba** su ssh ar putty programa |
- | * Su komanda **klist** patikrinkite ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, | + | * Su komanda **klist** patikrinkite, ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, |
- | * Jungiatės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio). | + | * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio). |
* **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | ||
- | Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus): | + | Jeigu naudojate |
* Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | ||
* | * | ||
- | * Prisijungiate | + | * Prisijunkite |
Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | ||
Linija 114: | Linija 112: | ||
<code shell mpi-test-job.sh> | <code shell mpi-test-job.sh> | ||
- | #!/bin/sh | + | #!/bin/bash |
#SBATCH -p main | #SBATCH -p main | ||
#SBATCH -n4 | #SBATCH -n4 | ||
Linija 122: | Linija 120: | ||
</ | </ | ||
- | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | + | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// |
<code shell mpi-test-job.sh> | <code shell mpi-test-job.sh> | ||
- | #!/bin/sh | + | #!/bin/bash |
#SBATCH --account=alloc_xxxx_projektas | #SBATCH --account=alloc_xxxx_projektas | ||
#SBATCH -p main | #SBATCH -p main | ||
#SBATCH -n4 | #SBATCH -n4 | ||
+ | #SBATCH --time=minutes | ||
module load openmpi | module load openmpi | ||
mpicc -o mpi-test mpi-test.c | mpicc -o mpi-test mpi-test.c | ||
Linija 171: | Linija 170: | ||
====== Interaktyvios užduotys (SLURM) ====== | ====== Interaktyvios užduotys (SLURM) ====== | ||
- | Interaktyvias užduotis galima | + | Interaktyvias užduotis galima vykdyti su komanda srun: |
< | < | ||
Linija 191: | Linija 190: | ||
$ ssh -X hpc | $ ssh -X hpc | ||
$ srun --pty $SHELL | $ srun --pty $SHELL | ||
+ | </ | ||
+ | |||
+ | **power** telkinyje interaktyvias užduotis galima vykdyti su | ||
+ | |||
+ | < | ||
+ | $ srun -p power --mpi=none --pty $SHELL | ||
</ | </ | ||
Linija 243: | Linija 248: | ||
====== Resursų limitai ====== | ====== Resursų limitai ====== | ||
+ | |||
+ | Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**, | ||
+ | tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito. | ||
Peržiūrėti kiek išnaudota resursų | Peržiūrėti kiek išnaudota resursų | ||
< | < | ||
- | sreport -T cpu, | + | sreport -T cpu, |
</ | </ | ||
kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip '' | kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip '' | ||
- | ====== Nuorodos ir mokymo medžiaga ====== | ||
+ | Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60. | ||
- | **1 mokymų dalis** | + | Kitas būdas pažiūrėti limitus ir jų išnaudojimą |
- | - Trumpai apie HPC, kas tai yra, kam jo reikia | + | < |
- | + | sshare | |
- | | + | </code> |
- | + | ||
- | - Kaip prisijungti MIF darbuotojams / studentams prie HPC | + | |
- | + | ||
- | - SSH rakto kūrimas ir naudojimas Windows aplinkoje | + | |
- | + | ||
- | - WinScp naudojimas Windows aplinkoje | + | |
- | + | ||
- | + | ||
- | * [[https:// | + | |
- | + | ||
- | * [[https:// | + | |
- | + | ||
- | **2 mokymų dalis** | + | |
- | + | ||
- | - Slurm komandos darbams paleisti/ | + | |
- | + | ||
- | - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms | + | |
- | + | ||
- | - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) | + | |
- | + | ||
- | - Python/ | + | |
- | + | ||
- | - Singularity konteineriai: | + | |
- | + | ||
- | - Darbas su MPI | + | |
- | + | ||
- | - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį | + | |
- | - Papildomų resursų užsakymai (Waldur) | + | kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių. |
- | * [[https:// | + | ====== Mokymų medžiaga ====== |
- | * [[https:// | + | Toliau pateikiama informacija apie mokymus, kurie vyko 2021m gruodžio mėn. |
- | **3 mokymų dalis** | + | ===== 1 mokymų dalis ===== |
- | - GPU skaičiavimai | + | * Trumpai apie HPC, kas tai yra, kam jo reikia |
+ | * Kokie HPC būna, koks yra VU ir kokia MIF dalis | ||
+ | * Kaip prisijungti MIF darbuotojams / studentams prie HPC | ||
+ | * SSH rakto kūrimas ir naudojimas Windows aplinkoje | ||
+ | * WinScp naudojimas Windows aplinkoje | ||
- | - CUDA programinio kodo spartinimui naudojant GPU | + | * [[https:// |
+ | * [[https:// | ||
- | - Programavimas Python Jupyter-notebooks su GPU | + | ===== 2 mokymų dalis ===== |
- | - Simuliacinių skaičiavimų pavyzdys | + | * Slurm komandos darbams paleisti/ |
+ | * Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms | ||
+ | * Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) | ||
+ | * Python/ | ||
+ | * Singularity konteineriai: | ||
+ | * Darbas su MPI | ||
+ | * Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį | ||
+ | * Papildomų resursų užsakymai (Waldur) | ||
- | - Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas) | + | * [[https:// |
+ | * [[https:// | ||
- | - Mašininio mokymo pavyzdys naudojant vieną GPU | + | ===== 3 mokymų dalis ===== |
- | - Mašininio mokymo pavyzdys naudojant kelis GPU | + | * GPU skaičiavimai |
+ | * CUDA programinio kodo spartinimui naudojant GPU | ||
+ | * Programavimas Python Jupyter-notebooks su GPU | ||
+ | * Simuliacinių skaičiavimų pavyzdys | ||
+ | * Mašininio mokymo projektas (duomenys/ | ||
+ | * Mašininio mokymo pavyzdys naudojant vieną GPU | ||
+ | * Mašininio mokymo pavyzdys naudojant kelis GPU | ||
- | * [[https:// | + | |
+ | * [[https:// | ||
- | * [[https:// | + | ====== Nuorodos ====== |
+ | * [[waldur|HPC Waldur portalo aprašymas]] | ||
* [[http:// | * [[http:// | ||
* [[https:// | * [[https:// | ||
* [[https:// | * [[https:// | ||
* [[http:// | * [[http:// | ||
- | * pagalba@mif.vu.lt - problemų su PST registracija | + | * pagalba@mif.vu.lt - problemų su **HPC** |
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas