IT wiki

VU MIF STSC

User Tools

Site Tools

Kelias:
hpc

Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
Next revisionBoth sides next revision
hpc [2022/02/14 13:50] – [Resursų limitai] rolnashpc [2022/02/24 10:25] – [Mokymų medžiaga] rolnas
Linija 114: Linija 114:
  
 <code shell mpi-test-job.sh> <code shell mpi-test-job.sh>
-#!/bin/sh+#!/bin/bash
 #SBATCH -p main #SBATCH -p main
 #SBATCH -n4 #SBATCH -n4
Linija 125: Linija 125:
  
 <code shell mpi-test-job.sh> <code shell mpi-test-job.sh>
-#!/bin/sh+#!/bin/bash
 #SBATCH --account=alloc_xxxx_projektas #SBATCH --account=alloc_xxxx_projektas
 #SBATCH -p main #SBATCH -p main
 #SBATCH -n4 #SBATCH -n4
 +#SBATCH --time=minutes
 module load openmpi module load openmpi
 mpicc -o mpi-test mpi-test.c mpicc -o mpi-test mpi-test.c
Linija 243: Linija 244:
  
 ====== Resursų limitai ====== ====== Resursų limitai ======
 +
 +Jeigu jūsų užduotys nestartuoja su priežastimi **AssocGrpCPUMinutesLimit** arba **AssocGrpGRESMinutes**,
 + tai pasitikrinkite ar užduotims dar liko neišnaudotų CPU/GPU resursų iš (mėnesio) limito.
  
 Peržiūrėti kiek išnaudota resursų Peržiūrėti kiek išnaudota resursų
  
 <code> <code>
-sreport -T cpu,mem,gres/gpu cluster AccountUtilizationByUser Start=0201 End=0231 User=USERNAME+sreport -T cpu,mem,gres/gpu cluster AccountUtilizationByUser Start=0101 End=0131 User=USERNAME
 </code> </code>
  
-kur ''USERNAME'' jūsų MIF naudotojo vardas, o ''Start'' ir ''End'' nurodo einamojo mėnesio pradžios ir pabaigos datas. Galima nurodyti kaip ''$(date +%m01)'' ir ''$(date +%m31)''. +kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip ''$(date +%m01)'' ir ''$(date +%m31)'', kas nurodo einamojo mėnesio pirmą ir paskutines dienas.
-====== Nuorodos ir mokymo medžiaga ======+
  
 +Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, o į valandas konvertuoti reikia dalinant iš 60.
  
-**1 mokymų dalis**+Kitas būdas pažiūrėti limitus ir jų išnaudojimą
  
- - Trumpai apie HPC, kas tai yra, kam jo reikia+<code> 
 +sshare -l -A USERNAME_mif -p -o GrpTRESRaw,GrpTRESMins,TRESRunMins 
 +</code>
  
- - Kokie HPC būna, koks yra VU ir kokia MIF dalis+kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą norima pažiūrėti. Duomenys pateikiami minutėmis. **GrpTRESRaw** - kiek išnaudota. **GrpTRESMins** - koks yra limitas. **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
  
- - Kaip prisijungti MIF darbuotojams / studentams prie HPC+====== Mokymų medžiaga ======
  
- - SSH rakto kūrimas ir naudojimas Windows aplinkoje 
  
- - WinScp naudojimas Windows aplinkoje+===== 1 mokymų dalis =====
  
 +  * Trumpai apie HPC, kas tai yra, kam jo reikia
 +  * Kokie HPC būna, koks yra VU ir kokia MIF dalis
 +  * Kaip prisijungti MIF darbuotojams / studentams prie HPC
 +  * SSH rakto kūrimas ir naudojimas Windows aplinkoje
 +  * WinScp naudojimas Windows aplinkoje
  
- * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]] +  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]] 
- +  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
- * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]+
  
 **2 mokymų dalis** **2 mokymų dalis**
  
- - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.+  * Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti. 
 +  * Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms 
 +  * Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) 
 +  * Python/R/julia ar kitų kalbų paketų diegimas 
 +  * Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas 
 +  * Darbas su MPI 
 +  * Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį 
 +  * Papildomų resursų užsakymai (Waldur)
  
- - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms +  * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]] 
- +  * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
- - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) +
- +
- - Python/R/julia ar kitų kalbų paketų diegimas +
- +
- - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas +
- +
- - Darbas su MPI +
- +
- - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį +
- +
- - Papildomų resursų užsakymai (Waldur) +
- +
- * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]] +
- +
- * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]+
  
 **3 mokymų dalis** **3 mokymų dalis**
  
-- GPU skaičiavimai +  * GPU skaičiavimai 
- +  * CUDA programinio kodo spartinimui naudojant GPU 
-- CUDA programinio kodo spartinimui naudojant GPU +  * Programavimas Python Jupyter-notebooks su GPU 
- +  * Simuliacinių skaičiavimų pavyzdys 
-- Programavimas Python Jupyter-notebooks su GPU +  * Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas) 
- +  * Mašininio mokymo pavyzdys naudojant vieną GPU 
-- Simuliacinių skaičiavimų pavyzdys +  * Mašininio mokymo pavyzdys naudojant kelis GPU
- +
-- Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas) +
- +
-- Mašininio mokymo pavyzdys naudojant vieną GPU +
- +
-- Mašininio mokymo pavyzdys naudojant kelis GPU+
  
- * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]+  * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]] 
 +  * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
  
- * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]+====== Nuorodos ======
  
 +  * [[http://hpc.mif.vu.lt|HPC Waldur portalas]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]
   * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]   * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
-  * pagalba@mif.vu.lt - problemų su PST registracija+  * pagalba@mif.vu.lt - problemų su **HPC** registracija
  
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki