Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2022/09/30 07:41] – [Programinė įranga] rolnas
+++ hpc [2025/11/10 11:03] (esamas) – [Resursų limitai] mif28585
@@ Linija 6: / Linija 6: @@
 ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM        ^HDD    ^Tinklas ^Pastabos|
-^main        ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
+^main/main2  ^35/36  ^48  ^0   ^384GiB     ^1.5TB/233GB ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
-^gpu         ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
+^gpu/gpu2    ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
 ^power       ^2/2    ^32  ^4   ^1024GB/32GB ^1.8TB ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://www.ibm.com/products/power-systems-ac922|IBM Power System AC922]]|
 Iš viso	**40/41** mazgų, **1912** CPU cores su **17TB** RAM, **32** GPU su **1TB** RAM.
+**HDD** nurodyti lokaliai pasiekiami greiti **SSD** diskai laikiniems skaičiavimų failams, naudoti tik **$TMPDIR** ir pasibaigus užduočiai - išvalomi.
 Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, jei jos yra įjungtos).
@@ Linija 16: / Linija 18: @@
 ====== Programinė įranga ======
-**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|Qlustar 12]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 20.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS (neveikia).
+**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/13/HPCstack/hpc-user-manual.html|Qlustar 13]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 22.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis **neveikia**.
 Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
+===== Singularity =====
 Su komanda [[https://sylabs.io/guides/3.2/user-guide/index.html|singularity]] galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose ''/apps/local/hpc'', ''/apps/local/nvidia'', ''/apps/local/intel'', ''/apps/local/lang'' arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius.
@@ Linija 24: / Linija 28: @@
 Su singularity galite paruošti savo konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://python:3.8
+$ singularity build --sandbox /tmp/python docker://python:3.10
-$ singularity exec -w /tmp/python pip install paketas
+$ mkdir ~/workdir /tmp/python/scratch
+$ singularity exec -H ~/workdir:$HOME -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
 $ rm -rf /tmp/python
 </code>
+Tam kad pasinaudoti tokiu konteineriu, patariama (kad nesusikirstų su esamais python paketais namų kataloge) - pakeisti jame namų katalogą.
+<code shell>
+$ mkdir ~/workdir
+$ singularity exec -H ~/workdir:$HOME python.sif python3 ...
+</code>
 Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
 Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingą biblioteką ''libfakeroot-sysv.so'' kopijuojame į konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://ubuntu:18.04
+$ singularity build --sandbox /tmp/python docker://ubuntu:22.04
 $ cp /libfakeroot-sysv.so /tmp/python/
+$ mkdir /tmp/python/scratch
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get update
-$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.8 ...
+$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.10 ...
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get clean
 $ rm -rf /tmp/python/libfakeroot-sysv.so /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
@@ Linija 42: / Linija 55: @@
 $ rm -rf /tmp/python
 </code>
+===== Hadoop =====
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
-Su [[https://hpc.mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
+===== JupyterHub =====
+Su [[https://mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
 <code shell>
-$ python3.7 -m pip install --upgrade pip setuptools wheel
+$ python3 -m pip install --upgrade pip setuptools wheel
-$ python3.7 -m pip install --ignore-installed batchspawner jupyterlab
+$ python3 -m pip install --ignore-installed batchspawner jupyterlab
 </code>
@@ Linija 59: / Linija 76: @@
 ====== Registracija ======
-  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **500 CPU-h ir 60 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
+  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **1000 CPU-h ir 100 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
   * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]].
@@ Linija 69: / Linija 86: @@
 Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją.
-Jeigu naudojate **Kerberos**:
+Jeigu naudojate **Kerberos** (tik MIF naudotojams):
   * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu
   *  **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu.
   * Su komanda **klist** patikrinkite, ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**.
-  * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
+  * Junkitės į serverį **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.
-Jeigu naudojate **SSH raktus** (pvz: jei norite kopijuoti didelius failus):
+Jeigu naudojate **SSH raktus**:
   * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
-  *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
+  * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas į Waldur HPC naudotojo lauką.
-  *     Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
+  * **MIF** naudotojai turi įkelti savo ssh rakto viešą (public) dalį per [[https://mif.vu.lt/ldap/sshkey.php]].
+  * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
 Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
@@ Linija 97: / Linija 115: @@
 ^Eilė (partition) ^Laiko limitas ^RAM	   ^Pastabos|
-^main             ^7d            ^7000MB  ^CPU telkinys|
+^main             ^nėra          ^7500MB  ^CPU telkinys|
-^gpu              ^48h           ^12000MB ^GPU telkinys|
+^gpu              ^nėra          ^12500MB ^GPU telkinys|
-^power            ^48h           ^2000MB  ^IBM Power9 telkinys|
+^power            ^nėra          ^8000MB  ^IBM Power9 telkinys|
-Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas.
+Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas (nėra).
 **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis.
@@ Linija 119: / Linija 137: @@
 mpirun mpi-test
 </code>
-Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas" (taikomas ne VU MIF naudotojams, VU MIF naudotojai -- account parametro nurodyti neturi).
-<code shell mpi-test-job.sh>
-#!/bin/bash
-#SBATCH --account=alloc_xxxx_projektas
-#SBATCH -p main
-#SBATCH -n4
-#SBATCH --time=minutes
-module load openmpi
-mpicc -o mpi-test mpi-test.c
-mpirun mpi-test
-</code>
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
@@ Linija 211: / Linija 215: @@
 ====== Įvadas į OpenMPI ======
-Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai.
+Norint pasinaudoti **OpenMPI** reikia įrašyti
-Norint pasinaudoti naujesne **4.0.1** versija reikia naudoti
 <code>
-module load openmpi/4.0
+module load openmpi
 </code>
 prieš vykdant MPI komandas.
@@ Linija 274: / Linija 277: @@
   * **GrpTRESMins** - koks yra limitas.
   * **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
+**
+Kaip suteikiami limitai mėnesiui?**
+Pateikus paraišką gauti daugiau CPU ar GPU valandų, sprendimas įprastai priimamas per 5 d.d. Mėnesio limitas padidinamas sprendimo priėmimo dieną einamajame mėnesyje, atėmus jau išnaudotą tą mėnesį turėtą limitą. Pavyzdžiui, jei naudotojas, išnaudojęs 100 GPU-h, paprašė limitus pakelti iki 600 GPU-h per mėnesį, tą mėnesį jam papildomai suteikiama 500 GPU-h. Sekantį mėnesį naudotojas turi vėl 600 GPU-h, t.y. praeito mėnesio neišnaudotas likutis nėra perkeliamas į sekantį mėnesį.
 ====== Mokymų medžiaga ======
@@ Linija 322: / Linija 329: @@
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]
   * [[https://slurm.schedmd.com/quickstart.html|Quick Start User Guide (SLURM)]]
-  * [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
+  * [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
+  * [[https://chtc.cs.wisc.edu/uw-research-computing/hpc-spack-install|Install Software Using Spack]]
   * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija