Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/12/08 10:08] – [Nuorodos] mif28585
+++ hpc [2021/12/15 14:41] – [Programinė įranga] rolnas
@@ Linija 29: / Linija 29: @@
 $ singularity exec -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
-$ rm -r /tmp/python
+$ rm -rf /tmp/python
 </code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
+Jeigu norima papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingas bibliotekas kataloge ''/usr/lib/x86_64-linux-gnu/libfakeroot'' prikabiname į konteinerį, pvz:
+<code shell>
+$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ mkdir /tmp/python/usr/lib/x86_64-linux-gnu/libfakeroot
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get update
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get install python3.8 ...
+$ fakeroot singularity exec -B /usr/lib/x86_64-linux-gnu/libfakeroot -w /tmp/python apt-get clean
+$ rm -rf /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
+$ singularity build python.sif /tmp/python
+$ rm -rf /tmp/python
+</code>
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
@@ Linija 102: / Linija 114: @@
 #SBATCH -p main
 #SBATCH -n4
-module load openmpi/default
+module load openmpi
 mpicc -o mpi-test mpi-test.c
 mpirun mpi-test
@@ Linija 212: / Linija 224: @@
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
-====== Nuorodos ======
+====== Nuorodos ir mokymo medžiaga ======
+**1 mokymų dalis**
+ - Trumpai apie HPC, kas tai yra, kam jo reikia
+ - Kokie HPC būna, koks yra VU ir kokia MIF dalis
+ - Kaip prisijungti MIF darbuotojams / studentams prie HPC
+ - SSH rakto kūrimas ir naudojimas Windows aplinkoje
+ - WinScp naudojimas Windows aplinkoje
+ * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
+**2 mokymų dalis**
+ - Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+ - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+ - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+ - Python/R/julia ar kitų kalbų paketų diegimas
+ - Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+ - Darbas su MPI
+ - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+ - Papildomų resursų užsakymai (Waldur)
+ * [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+ * [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
@@ Linija 218: / Linija 270: @@
   * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
-  * [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC skaidrės]]
-  * [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC video ]]
   * pagalba@mif.vu.lt - problemų su PST registracija