en:hpc
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
en:hpc [2022/07/04 14:07] – grikiete | en:hpc [2022/07/18 14:38] – [The Links] grikiete | ||
---|---|---|---|
Line 167: | Line 167: | ||
More about SLURM opportunities you can read [[https:// | More about SLURM opportunities you can read [[https:// | ||
- | ====== | + | ====== |
- | Norint pasinaudoti PST skaičiavimo resursais, reikia formuoti užduočių scenarijus (sh arba csh). | + | Interactive tasks can be done with the //srun// command: |
- | + | ||
- | Pavyzdys: | + | |
- | + | ||
- | <code shell mpi-test-job.sh> | + | |
- | #!/bin/bash | + | |
- | #SBATCH -p main | + | |
- | #SBATCH -n4 | + | |
- | module load openmpi | + | |
- | mpicc -o mpi-test mpi-test.c | + | |
- | mpirun mpi-test | + | |
- | </code> | + | |
- | + | ||
- | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | + | |
- | + | ||
- | <code shell mpi-test-job.sh> | + | |
- | # | + | |
- | #SBATCH --account=alloc_xxxx_projektas | + | |
- | #SBATCH -p main | + | |
- | #SBATCH -n4 | + | |
- | #SBATCH --time=minutes | + | |
- | module load openmpi | + | |
- | mpicc -o mpi-test mpi-test.c | + | |
- | mpirun mpi-test | + | |
- | </ | + | |
- | + | ||
- | + | ||
- | Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | + | |
- | + | ||
- | -p short - į kokią eilę siųsti (main, gpu, power). | + | |
- | + | ||
- | -n4 - kiek procesorių rezervuoti (**PASTABA: | + | |
- | + | ||
- | Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/ | + | |
- | + | ||
- | Suformuotą scenarijų siunčiame su komanda sbatch | + | |
- | + | ||
- | '' | + | |
- | + | ||
- | kuri gražina pateiktos užduoties numerį **JOBID**. | + | |
- | + | ||
- | Laukiančios arba vykdomos užduoties būseną galima sužinoti su komanda squeue | + | |
- | + | ||
- | '' | + | |
- | + | ||
- | Su komanda scancel galima nutraukti užduoties vykdymą arba išimti ją iš eilės | + | |
- | + | ||
- | '' | + | |
- | + | ||
- | Jeigu neatsimenate savo užduočių **JOBID**, tai galite pasižiūrėti su komanda **squeue** | + | |
- | + | ||
- | '' | + | |
- | + | ||
- | Užbaigtų užduočių **squeue** jau neberodo. | + | |
- | + | ||
- | Jeigu nurodytas procesorių kiekis nėra pasiekiamas, | + | |
- | + | ||
- | Vykdomos užduoties išvestis (**output**) yra įrašoma į failą **slurm-JOBID.out**. Jei nenurodyta kitaip, tai ir klaidų (error) išvestis yra įrašoma į tą patį failą. Failų vardus galima pakeisti su komandos **sbatch** parametrais -o (nurodyti išvesties failą) ir -e (nurodyti klaidų failą). | + | |
- | + | ||
- | Daugiau apie SLURM galimybes galite paskaityti [[https:// | + | |
- | + | ||
- | ====== Interaktyvios užduotys (SLURM) ====== | + | |
- | + | ||
- | Interaktyvias užduotis galima vykdyti su komanda srun: | + | |
< | < | ||
Line 238: | Line 175: | ||
</ | </ | ||
- | Įvykdę aukščiau pateiktą komandą prisijungsite prie SLURM paskirtos skaičiavimo mazgo aplinkos ir galėsite tiesiogiai vykdyti ir derinti programas jame. | + | The above command will connect you to the compute node environment assigned to SLURM and allow you to directly run and debug programs on it. |
- | Įvykdę komandas atsijunkite nuo skaičiavimo mazgo su komanda | + | After the commands are done disconnect from the compute node with the command |
< | < | ||
Line 246: | Line 183: | ||
</ | </ | ||
- | Jeigu norima vykdyti grafines programas, tai reikia jungtis su **ssh -X** į **uosis.mif.vu.lt** | + | If you want to run graphical programs, you need to connect to **ssh -X** to **uosis.mif.vu.lt** |
< | < | ||
Line 254: | Line 191: | ||
</ | </ | ||
- | **power** | + | In **power** |
< | < | ||
Line 260: | Line 197: | ||
</ | </ | ||
- | ====== GPU užduotys | + | ====== GPU Tasks (SLURM) ====== |
- | Norint pasinaudoti | + | To use GPU you need to specify additionally |
- | Su '' | + | With '' |
- | Pavyzdys interaktyvios užduoties su 1 GPU: | + | Example of an interactive task with 1 GPU: |
< | < | ||
$ srun -p gpu --gres gpu --pty $SHELL | $ srun -p gpu --gres gpu --pty $SHELL | ||
</ | </ | ||
- | ====== | + | ====== |
- | Ubuntu 18.04 LTS yra **2.1.1** | + | Ubuntu 18.04 LTS is the packet of **2.1.1** OpenMPI |
- | Norint pasinaudoti naujesne | + | To use the newer version |
< | < | ||
module load openmpi/4.0 | module load openmpi/4.0 | ||
</ | </ | ||
- | prieš vykdant | + | before running |
- | ===== MPI programų kompiliavimas | + | ===== MPI Compiling Programs |
- | Paprastos | + | An example of a simple |
< | < | ||
Line 289: | Line 226: | ||
$ mpif90 -o foo foo.f | $ mpif90 -o foo foo.f | ||
</ | </ | ||
- | ===== MPI programų vykdymas | + | ===== Implementation of MPI Programmes |
- | MPI programos startuojamos su **mpirun** | + | MPI programs are started with **mpirun** |
- | Paprasta | + | A simple |
< | < | ||
Line 299: | Line 236: | ||
</ | </ | ||
- | Tai naudos visus paskirtus procesorius, | + | All allocated processors will be used according to the number ordered. If you want to use less, you can specify the -np quantity parameter in **mpirun**. |
- | Daugiau apie instaliuotą | + | **ATTENTION** It is strictly forbidden to use more CPU than you have reserved, as this may affect the performance of other tasks. |
- | ====== Užduočių efektyvumas ====== | + | Find more information on [[https:// |
- | * Prašome išnaudoti ne mažiau 50% užsakyto CPU kiekio. | + | ====== Task Efficiency ====== |
- | * Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta. | + | |
- | * Jeigu naudosite parametrą '' | + | |
- | ====== Resursų limitai ====== | + | * Please use at least 50% of the ordered CPU quantity. |
+ | * Using more CPUs than ordered will not improve performance, | ||
+ | * If you use the '' | ||
- | Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**, | + | ====== The Limits of Resources ====== |
- | tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito. | + | |
- | Peržiūrėti kiek išnaudota resursų | + | If your tasks don't start because of **AssocGrpCPUMinutesLimit** or **AssocGrpGRESMinutes**, |
+ | |||
+ | //The first way to see how much resources are used:// | ||
< | < | ||
Line 320: | Line 258: | ||
</ | </ | ||
- | kur **USERNAME** | + | Where the **USERNAME** |
- | Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60. | + | **NOTE** Usage of resources is given in minutes, divide the number by 60 to get hours. |
- | Kitas būdas pažiūrėti limitus ir jų išnaudojimą | + | //The second way to see how much resources are used:// |
< | < | ||
Line 330: | Line 268: | ||
</ | </ | ||
- | kur **USERNAME** MIF naudotojo vardas. Arba parametre | + | Where **USERNAME** |
+ | * **GrpTRESRaw** - how much is used. | ||
+ | * **GrpTRESMins** - what is the limit. | ||
+ | * **GGRTRESRunMins** - the remaining resources for tasks that are still running. | ||
+ | |||
+ | ====== The Links ====== | ||
+ | * [[waldur|HPC Waldur portal description]] | ||
+ | * [[https:// | ||
+ | * [[https:// | ||
+ | * [[https:// | ||
+ | * [[http:// | ||
+ | * [[pagalba@mif.vu.lt]] - registration of the **HPC** problems. | ||
en/hpc.txt · Last modified: 2024/02/21 12:50 by rolnas