Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/12/14 10:05] – [Nuorodos ir mokymo medžiaga] mif28585
+++ hpc [2021/12/28 09:20] – [Nuorodos ir mokymo medžiaga] mif28585
@@ Linija 29: / Linija 29: @@
 $ singularity exec -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
-$ rm -r /tmp/python
+$ rm -rf /tmp/python
 </code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
+Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingas bibliotekas kataloge ''/usr/lib/x86_64-linux-gnu/libfakeroot'' prikabiname į konteinerį, pvz:
+<code shell>
+$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ mkdir /tmp/python/usr/lib/x86_64-linux-gnu/libfakeroot
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get update
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get install python3.8 ...
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get clean
+$ rm -rf /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
+$ singularity build python.sif /tmp/python
+$ rm -rf /tmp/python
+</code>
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
@@ Linija 42: / Linija 54: @@
 </code>
+Taip pat jūs galite pasinaudoti savo pasidarytu konteineriu per JupyterHub. Tame konteineryje reikia instaliuoti ''batchswapner'' ir ''jupyterlab'' paketus bei sukurti script'ą ''~/.local/bin/batchspawner-singleuser'' su vykdymo teisėmis (''chmod +x ~/.local/bin/batchspawner-singleuser'')
+<code shell>
+#!/bin/sh
+exec singularity exec --nv myjupyterlab.sif batchspawner-singleuser "$@"
+</code>
 ====== Registracija ======
@@ Linija 108: / Linija 125: @@
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
--p short - į kokią eilę siųsti (main, gpu, power).
--n4 - kiek procesorių rezervuoti.
+ -p short - į kokią eilę siųsti (main, gpu, power).
+ -n4 - kiek procesorių rezervuoti (**PASTABA:** nustačius naudotinų branduolių skaičių x, tačiau realiai programiškai išnaudojant mažiau, apskaitoje vis tiek bus skaičiuojami visi x "užprašyti" branduoliai, todėl rekomenduojame apsiskaičiuoti iš anksto).
 Užduoties pradinis einamasis katalogas yra dabartinis katalogas (**pwd**) prisijungimo mazge iš kur paleidžiama užduotis, nebent parametru -D pakeistas į kitą. Pradiniam einamajam katalogui naudokite PST bendros failų sistemos katalogus **/scratch/lustre**, nes jis turi egzistuoti skaičiavimo mazge ir ten yra kuriamas užduoties išvesties failas **slurm-JOBID.out**, nebent nukreiptas kitur parametrais -o arba -i (jiems irgi patariama naudoti bendrą failų sistemą).
@@ Linija 217: / Linija 236: @@
 **1 mokymų dalis**
-- Trumpai apie HPC, kas tai yra, kam jo reikia
+ - Trumpai apie HPC, kas tai yra, kam jo reikia
-- Kokie HPC būna, koks yra VU ir kokia MIF dalis
+ - Kokie HPC būna, koks yra VU ir kokia MIF dalis
-- Kaip prisijungti MIF darbuotojams / studentams prie HPC
+ - Kaip prisijungti MIF darbuotojams / studentams prie HPC
-- SSH rakto kūrimas ir naudojimas Windows aplinkoje
+ - SSH rakto kūrimas ir naudojimas Windows aplinkoje
-- WinScp naudojimas Windows aplinkoje
+ - WinScp naudojimas Windows aplinkoje
-* [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
-* [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
+ * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
 **2 mokymų dalis**
-- Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+ - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+ - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+ - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+ - Python/R/julia ar kitų kalbų paketų diegimas
+ - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+ - Darbas su MPI
+ - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+ - Papildomų resursų užsakymai (Waldur)
+ * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
+**3 mokymų dalis**
-- Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+- GPU skaičiavimai
-- Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+- CUDA programinio kodo spartinimui naudojant GPU
-- Python/R/julia ar kitų kalbų paketų diegimas
+- Programavimas Python Jupyter-notebooks su GPU
-- Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+- Simuliacinių skaičiavimų pavyzdys
-- Darbas su MPI
+- Mašininio mokymo projektas (duomenys/modelis jų įkėlimas/atsisiuntimas)
-- Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+- Mašininio mokymo pavyzdys naudojant vieną GPU
-- Papildomų resursų užsakymai (Waldur)
+- Mašininio mokymo pavyzdys naudojant kelis GPU
-* [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/MgH6Y9NNA63bQpA|GPU skaičiavimai HPC insfrastruktūroje (skaidrės)]]
-* [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
+ * [[https://drive.mif.vu.lt/s/9Zpzxzq4XCyMozp|GPU skaičiavimai HPC insfrastruktūroje (video) ]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]