IT wiki

VU MIF STSC

User Tools

Site Tools

Kelias:
hpc

Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
Next revisionBoth sides next revision
hpc [2021/11/11 10:41] – [Prisijungimas] rolnashpc [2021/12/15 13:51] – [Programinė įranga] rolnas
Linija 3: Linija 3:
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
  
-**Vyksta TESTAVIMAS iki 2021m spalio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**+**Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
  
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
Linija 32: Linija 32:
 </code> </code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių. Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
 +
 +Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingas bibliotekas kataloge ''/usr/lib/x86_64-linux-gnu/libfakeroot'' prikabiname į konteinerį, pvz:
 +<code shell>
 +$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
 +$ singularity exec -w /tmp/python mkdir -p /usr/lib/x86_64-linux-gnu/libfakeroot
 +$ fakeroot singularity exec -w /tmp/python apt-get update
 +$ fakeroot singularity exec -w /tmp/python apt-get install python3.8 ...
 +$ singularity build python.sif /tmp/python
 +$ rm -r /tmp/python
 +</code>
  
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu. Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
Linija 65: Linija 75:
  
 Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus): Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus):
-  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite [[duk:ssh_key|čia]]+  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
   *     Prisijungiate su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).   *     Prisijungiate su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
Linija 102: Linija 112:
 #SBATCH -p main #SBATCH -p main
 #SBATCH -n4 #SBATCH -n4
-module load openmpi/default+module load openmpi
 mpicc -o mpi-test mpi-test.c mpicc -o mpi-test mpi-test.c
 mpirun mpi-test mpirun mpi-test
Linija 212: Linija 222:
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
  
-====== Nuorodos ======+====== Nuorodos ir mokymo medžiaga ====== 
 + 
 + 
 +**1 mokymų dalis** 
 + 
 + - Trumpai apie HPC, kas tai yra, kam jo reikia 
 + 
 + - Kokie HPC būna, koks yra VU ir kokia MIF dalis 
 + 
 + - Kaip prisijungti MIF darbuotojams / studentams prie HPC 
 + 
 + - SSH rakto kūrimas ir naudojimas Windows aplinkoje 
 + 
 + - WinScp naudojimas Windows aplinkoje 
 + 
 + 
 + * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]] 
 + 
 + * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]] 
 + 
 +**2 mokymų dalis** 
 + 
 + - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti. 
 + 
 + - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms 
 + 
 + - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) 
 + 
 + - Python/R/julia ar kitų kalbų paketų diegimas 
 + 
 + - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas 
 + 
 + - Darbas su MPI 
 + 
 + - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį 
 + 
 + - Papildomų resursų užsakymai (Waldur) 
 + 
 + * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]] 
 + 
 + * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
  
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki