Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/12/14 09:55] – [Nuorodos] mif04031
+++ hpc [2021/12/15 15:53] – [Programinė įranga] rolnas
@@ Linija 29: / Linija 29: @@
 $ singularity exec -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
-$ rm -r /tmp/python
+$ rm -rf /tmp/python
 </code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
+Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingas bibliotekas kataloge ''/usr/lib/x86_64-linux-gnu/libfakeroot'' prikabiname į konteinerį, pvz:
+<code shell>
+$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ mkdir /tmp/python/usr/lib/x86_64-linux-gnu/libfakeroot
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get update
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get install python3.8 ...
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get clean
+$ rm -rf /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
+$ singularity build python.sif /tmp/python
+$ rm -rf /tmp/python
+</code>
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
@@ Linija 42: / Linija 54: @@
 </code>
+Taip pat jūs galite pasinaudoti savo pasidarytu konteineriu per JupyterHub. Tame konteineryje reikia instaliuoti *batchswapner* ir ''jupyterlab'' paketus bei sukurti script'ą ''~/.local/bin/batchspawner-singleuser'' su vykdymo teisėmis (''chmod +x ~/.local/bin/batchspawner-singleuser'')
+<code shell>
+#!/bin/sh
+exec singularity exec --nv myjupyterlab.sif batchspawner-singleuser "$@"
+</code>
 ====== Registracija ======
@@ Linija 214: / Linija 231: @@
 ====== Nuorodos ir mokymo medžiaga ======
-mokymų dalis
+**1 mokymų dalis**
  - Trumpai apie HPC, kas tai yra, kam jo reikia
-- Kokie HPC būna, koks yra VU ir kokia MIF dalis
+ - Kokie HPC būna, koks yra VU ir kokia MIF dalis
+ - Kaip prisijungti MIF darbuotojams / studentams prie HPC
+ - SSH rakto kūrimas ir naudojimas Windows aplinkoje
+ - WinScp naudojimas Windows aplinkoje
-- Kaip prisijungti MIF darbuotojams / studentams prie HPC
-- SSH rakto kūrimas ir naudojimas Windows aplinkoje
+ * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
-- WinScp naudojimas Windows aplinkoje
+ * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
-  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC skaidrės]]
-  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC video ]]
-mokymų dalis
+**2 mokymų dalis**
-- Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+ - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
-- Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+ - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
-- Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+ - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
-- Python/R/julia ar kitų kalbų paketų diegimas
+ - Python/R/julia ar kitų kalbų paketų diegimas
-- Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+ - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
-- Darbas su MPI
+ - Darbas su MPI
-- Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+ - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
-- Papildomų resursų užsakymai (Waldur)
+ - Papildomų resursų užsakymai (Waldur)
-Nuoroda į pristatymą čia https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8
+ * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
-Nuoroda į pristatymo įrašą čia https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS
+ * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]