Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/11/16 19:44] – [Prisijungimas] mif70585
+++ hpc [2021/12/16 12:43] – [Paketinis užduočių vykdymas (SLURM)] mif28585
@@ Linija 3: / Linija 3: @@
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
-**Vyksta TESTAVIMAS iki 2021m spalio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
+**Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
@@ Linija 29: / Linija 29: @@
 $ singularity exec -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
-$ rm -r /tmp/python
+$ rm -rf /tmp/python
 </code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
+Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingas bibliotekas kataloge ''/usr/lib/x86_64-linux-gnu/libfakeroot'' prikabiname į konteinerį, pvz:
+<code shell>
+$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ mkdir /tmp/python/usr/lib/x86_64-linux-gnu/libfakeroot
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get update
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get install python3.8 ...
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get clean
+$ rm -rf /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
+$ singularity build python.sif /tmp/python
+$ rm -rf /tmp/python
+</code>
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
@@ Linija 42: / Linija 54: @@
 </code>
+Taip pat jūs galite pasinaudoti savo pasidarytu konteineriu per JupyterHub. Tame konteineryje reikia instaliuoti ''batchswapner'' ir ''jupyterlab'' paketus bei sukurti script'ą ''~/.local/bin/batchspawner-singleuser'' su vykdymo teisėmis (''chmod +x ~/.local/bin/batchspawner-singleuser'')
+<code shell>
+#!/bin/sh
+exec singularity exec --nv myjupyterlab.sif batchspawner-singleuser "$@"
+</code>
 ====== Registracija ======
@@ Linija 65: / Linija 82: @@
 Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus):
-  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite [[duk:ssh_key|**čia**]]
+  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
   *     Prisijungiate su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
@@ Linija 102: / Linija 119: @@
 #SBATCH -p main
 #SBATCH -n4
-module load openmpi/default
+module load openmpi
 mpicc -o mpi-test mpi-test.c
 mpirun mpi-test
@@ Linija 108: / Linija 125: @@
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
--p short - į kokią eilę siųsti (main, gpu, power).
--n4 - kiek procesorių rezervuoti.
+ -p short - į kokią eilę siųsti (main, gpu, power).
+ -n4 - kiek procesorių rezervuoti (PASTABA: nustačius naudotinų branduolių skaičių n, tačiau realiai programiškai išnaudojant mažiau, apskaitoje vis tiek bus skaičiuojami visi n "užprašyti" branduoliai, todėl rekomenduojame apsiskaičiuoti iš anksto).
 Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/scratch/lustre**, nes jis turi egzistuoti skaičiavimo mazge ir ten yra kuriamas užduoties išvesties failas **slurm-JOBID.out**, nebent nukreiptas kitur parametrais -o arba -i (jiems irgi patariama naudoti bendrą failų sistemą).
@@ Linija 212: / Linija 231: @@
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
-====== Nuorodos ======
+====== Nuorodos ir mokymo medžiaga ======
+**1 mokymų dalis**
+ - Trumpai apie HPC, kas tai yra, kam jo reikia
+ - Kokie HPC būna, koks yra VU ir kokia MIF dalis
+ - Kaip prisijungti MIF darbuotojams / studentams prie HPC
+ - SSH rakto kūrimas ir naudojimas Windows aplinkoje
+ - WinScp naudojimas Windows aplinkoje
+ * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
+**2 mokymų dalis**
+ - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+ - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+ - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+ - Python/R/julia ar kitų kalbų paketų diegimas
+ - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+ - Darbas su MPI
+ - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+ - Papildomų resursų užsakymai (Waldur)
+ * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]