Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2024/09/24 06:36] – [Programinė įranga] rolnas
+++ hpc [2025/11/10 11:03] (esamas) – [Resursų limitai] mif28585
@@ Linija 6: / Linija 6: @@
 ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM        ^HDD    ^Tinklas ^Pastabos|
-^main/main2  ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
+^main/main2  ^35/36  ^48  ^0   ^384GiB     ^1.5TB/233GB ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
 ^gpu/gpu2    ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
 ^power       ^2/2    ^32  ^4   ^1024GB/32GB ^1.8TB ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://www.ibm.com/products/power-systems-ac922|IBM Power System AC922]]|
 Iš viso	**40/41** mazgų, **1912** CPU cores su **17TB** RAM, **32** GPU su **1TB** RAM.
+**HDD** nurodyti lokaliai pasiekiami greiti **SSD** diskai laikiniems skaičiavimų failams, naudoti tik **$TMPDIR** ir pasibaigus užduočiai - išvalomi.
 Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, jei jos yra įjungtos).
@@ Linija 16: / Linija 18: @@
 ====== Programinė įranga ======
-**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/13/HPCstack/hpc-user-manual.html|Qlustar 13]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 22.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis neveikia.
+**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/13/HPCstack/hpc-user-manual.html|Qlustar 13]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 22.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis **neveikia**.
-**main2** ir **gpu2** yra nedidelė dalis resursų, kuriuose yra senoji [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|Qlustar 12]] operacinės sistemos aplinka tam atvejui, jei naujojoje Qlustar 13 aplinkoje kažkas dar neveiktų. Taip pat paliktas senas prisijungimo mazgas **sk2.mif.vu.lt**. Jie bus pasiekiami iki 2025-02-01.
 Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
@@ Linija 62: / Linija 62: @@
 ===== JupyterHub =====
-Su [[https://hpc.mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
+Su [[https://mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
 <code shell>
-$ python3.8 -m pip install --upgrade pip setuptools wheel
+$ python3 -m pip install --upgrade pip setuptools wheel
-$ python3.8 -m pip install --ignore-installed batchspawner jupyterlab
+$ python3 -m pip install --ignore-installed batchspawner jupyterlab
 </code>
@@ Linija 76: / Linija 76: @@
 ====== Registracija ======
-  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **500 CPU-h ir 60 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
+  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **1000 CPU-h ir 100 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
   * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]].
@@ Linija 86: / Linija 86: @@
 Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją.
-Jeigu naudojate **Kerberos**:
+Jeigu naudojate **Kerberos** (tik MIF naudotojams):
   * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu
   *  **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu.
   * Su komanda **klist** patikrinkite, ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**.
-  * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
+  * Junkitės į serverį **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.
-Jeigu naudojate **SSH raktus** (pvz: jei norite kopijuoti didelius failus):
+Jeigu naudojate **SSH raktus**:
   * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
-  *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
+  * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas į Waldur HPC naudotojo lauką.
-  *     Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
+  * **MIF** naudotojai turi įkelti savo ssh rakto viešą (public) dalį per [[https://mif.vu.lt/ldap/sshkey.php]].
+  * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
 Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
@@ Linija 114: / Linija 115: @@
 ^Eilė (partition) ^Laiko limitas ^RAM	   ^Pastabos|
-^main             ^nėra          ^7900MB  ^CPU telkinys|
+^main             ^nėra          ^7500MB  ^CPU telkinys|
-^gpu              ^nėra          ^12700MB ^GPU telkinys|
+^gpu              ^nėra          ^12500MB ^GPU telkinys|
 ^power            ^nėra          ^8000MB  ^IBM Power9 telkinys|
@@ Linija 136: / Linija 137: @@
 mpirun mpi-test
 </code>
-Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas" (taikomas ne VU MIF naudotojams, VU MIF naudotojai -- account parametro nurodyti neturi).
-<code shell mpi-test-job.sh>
-#!/bin/bash
-#SBATCH --account=alloc_xxxx_projektas
-#SBATCH -p main
-#SBATCH -n4
-#SBATCH --time=minutes
-module load openmpi
-mpicc -o mpi-test mpi-test.c
-mpirun mpi-test
-</code>
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
@@ Linija 228: / Linija 215: @@
 ====== Įvadas į OpenMPI ======
-Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai.
+Norint pasinaudoti **OpenMPI** reikia įrašyti
-Norint pasinaudoti naujesne **4.0.1** versija reikia naudoti
 <code>
-module load openmpi/4.0
+module load openmpi
 </code>
 prieš vykdant MPI komandas.
@@ Linija 291: / Linija 277: @@
   * **GrpTRESMins** - koks yra limitas.
   * **TRESRunMins** - likę resursai dar vis vykdomų užduočių.
+**
+Kaip suteikiami limitai mėnesiui?**
+Pateikus paraišką gauti daugiau CPU ar GPU valandų, sprendimas įprastai priimamas per 5 d.d. Mėnesio limitas padidinamas sprendimo priėmimo dieną einamajame mėnesyje, atėmus jau išnaudotą tą mėnesį turėtą limitą. Pavyzdžiui, jei naudotojas, išnaudojęs 100 GPU-h, paprašė limitus pakelti iki 600 GPU-h per mėnesį, tą mėnesį jam papildomai suteikiama 500 GPU-h. Sekantį mėnesį naudotojas turi vėl 600 GPU-h, t.y. praeito mėnesio neišnaudotas likutis nėra perkeliamas į sekantį mėnesį.
 ====== Mokymų medžiaga ======
@@ Linija 341: / Linija 331: @@
   * [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
+  * [[https://chtc.cs.wisc.edu/uw-research-computing/hpc-spack-install|Install Software Using Spack]]
   * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija