Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2022/07/18 14:38] – [Nuorodos] grikiete
+++ hpc [2025/03/31 12:35] (esamas) – [Registracija] mif28585
@@ Linija 6: / Linija 6: @@
 ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM        ^HDD    ^Tinklas ^Pastabos|
-^main        ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
+^main/main2  ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
-^gpu         ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
+^gpu/gpu2    ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
 ^power       ^2/2    ^32  ^4   ^1024GB/32GB ^1.8TB ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://www.ibm.com/products/power-systems-ac922|IBM Power System AC922]]|
@@ Linija 16: / Linija 16: @@
 ====== Programinė įranga ======
-**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|Qlustar 11]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 18.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS.
+**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/13/HPCstack/hpc-user-manual.html|Qlustar 13]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 22.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis neveikia.
 Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
+===== Singularity =====
 Su komanda [[https://sylabs.io/guides/3.2/user-guide/index.html|singularity]] galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose ''/apps/local/hpc'', ''/apps/local/nvidia'', ''/apps/local/intel'', ''/apps/local/lang'' arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius.
@@ Linija 24: / Linija 26: @@
 Su singularity galite paruošti savo konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://python:3.8
+$ singularity build --sandbox /tmp/python docker://python:3.10
-$ singularity exec -w /tmp/python pip install paketas
+$ mkdir ~/workdir /tmp/python/scratch
+$ singularity exec -H ~/workdir:$HOME -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
 $ rm -rf /tmp/python
 </code>
+Tam kad pasinaudoti tokiu konteineriu, patariama (kad nesusikirstų su esamais python paketais namų kataloge) - pakeisti jame namų katalogą.
+<code shell>
+$ mkdir ~/workdir
+$ singularity exec -H ~/workdir:$HOME python.sif python3 ...
+</code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
 Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingą biblioteką ''libfakeroot-sysv.so'' kopijuojame į konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ singularity build --sandbox /tmp/python docker://ubuntu:22.04
 $ cp /libfakeroot-sysv.so /tmp/python/
+$ mkdir /tmp/python/scratch
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get update
-$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.8 ...
+$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.10 ...
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get clean
 $ rm -rf /tmp/python/libfakeroot-sysv.so /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
@@ Linija 42: / Linija 53: @@
 $ rm -rf /tmp/python
 </code>
+===== Hadoop =====
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
-Su [[https://hpc.mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
+===== JupyterHub =====
+Su [[https://mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
 <code shell>
-$ python3.7 -m pip install --upgrade pip setuptools wheel
+$ python3.8 -m pip install --upgrade pip setuptools wheel
-$ python3.7 -m pip install --ignore-installed batchspawner jupyterlab
+$ python3.8 -m pip install --ignore-installed batchspawner jupyterlab
 </code>
@@ Linija 59: / Linija 74: @@
 ====== Registracija ======
-  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **100 CPU-h ir 6 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
+  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **1000 CPU-h ir 100 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
   * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]].
@@ Linija 69: / Linija 84: @@
 Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją.
-Jeigu naudojate **Kerberos**:
+Jeigu naudojate **Kerberos** (tik MIF naudotojams):
   * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu
   *  **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu.
   * Su komanda **klist** patikrinkite, ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**.
-  * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
+  * Junkitės į serverį **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.
-Jeigu naudojate **SSH raktus** (pvz: jei norite kopijuoti didelius failus):
+Jeigu naudojate **SSH raktus**:
   * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
-  *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
+  * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas į Waldur HPC naudotojo lauką.
-  *     Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
+  * **MIF** naudotojai turi įkelti savo ssh rakto viešą (public) dalį per [[https://mif.vu.lt/ldap/sshkey.php]].
+  * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
 Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
@@ Linija 97: / Linija 113: @@
 ^Eilė (partition) ^Laiko limitas ^RAM	   ^Pastabos|
-^main             ^7d            ^7000MB  ^CPU telkinys|
+^main             ^nėra          ^7900MB  ^CPU telkinys|
-^gpu              ^48h           ^12000MB ^GPU telkinys|
+^gpu              ^nėra          ^12700MB ^GPU telkinys|
-^power            ^48h           ^2000MB  ^IBM Power9 telkinys|
+^power            ^nėra          ^8000MB  ^IBM Power9 telkinys|
-Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas.
+Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas (nėra).
 **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis.
@@ Linija 119: / Linija 135: @@
 mpirun mpi-test
 </code>
-Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas" (taikomas ne VU MIF naudotojams, VU MIF naudotojai -- account parametro nurodyti neturi).
-<code shell mpi-test-job.sh>
-#!/bin/bash
-#SBATCH --account=alloc_xxxx_projektas
-#SBATCH -p main
-#SBATCH -n4
-#SBATCH --time=minutes
-module load openmpi
-mpicc -o mpi-test mpi-test.c
-mpirun mpi-test
-</code>
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
@@ Linija 211: / Linija 213: @@
 ====== Įvadas į OpenMPI ======
-Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai.
+Norint pasinaudoti **OpenMPI** reikia įrašyti
-Norint pasinaudoti naujesne **4.0.1** versija reikia naudoti
 <code>
-module load openmpi/4.0
+module load openmpi
 </code>
 prieš vykdant MPI komandas.
@@ Linija 254: / Linija 255: @@
  turite pasitikrinti, ar užduotims dar liko neišnaudotų CPU/GPU resursų iš mėnesio limito.
-**Pirmasis būdas peržiūrėti, kiek išnaudota resursų:**
+//Pirmasis būdas peržiūrėti, kiek išnaudota resursų://
 <code>
@@ Linija 264: / Linija 265: @@
 **DĖMESIO**: naudojimas pateikiamas minutėmis, pateiktą skaičių reikia dalinti iš 60, gausite išnaudotas valandas.
-**Antrasis būdas peržiūrėti, kiek išnaudota resursų:**
+//Antrasis būdas peržiūrėti, kiek išnaudota resursų://
 <code>
@@ Linija 270: / Linija 271: @@
 </code>
-kur **USERNAME** - MIF naudotojo vardas. Arba parametre **-A** nurodyti tą paskyrą, kurios naudojimą reikia pažiūrėti. Duomenys yra pateikiami taip pat minutėmis:
+kur **USERNAME** - MIF naudotojo vardas. Arba parametre **-A** nurodyti tą paskyrą, kurios naudojimą reikia pažiūrėti. Duomenys yra pateikiami cpu/gpu minutėmis:
   * **GrpTRESRaw** - kiek išnaudota.
   * **GrpTRESMins** - koks yra limitas.
@@ Linija 322: / Linija 323: @@
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]
-  * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
+  * [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
+  * [[https://chtc.cs.wisc.edu/uw-research-computing/hpc-spack-install|Install Software Using Spack]]
   * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija