Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2024/02/21 12:50] – [Singularity] rolnas
+++ hpc [2025/03/31 12:35] (esamas) – [Registracija] mif28585
@@ Linija 6: / Linija 6: @@
 ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM        ^HDD    ^Tinklas ^Pastabos|
-^main        ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
+^main/main2  ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
-^gpu         ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
+^gpu/gpu2    ^3/3    ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
 ^power       ^2/2    ^32  ^4   ^1024GB/32GB ^1.8TB ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://www.ibm.com/products/power-systems-ac922|IBM Power System AC922]]|
@@ Linija 16: / Linija 16: @@
 ====== Programinė įranga ======
-**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|Qlustar 12]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 20.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis neveikia.
+**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/13/HPCstack/hpc-user-manual.html|Qlustar 13]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 22.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS. Deja šiuo metu **power** dalis neveikia.
 Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
@@ Linija 26: / Linija 26: @@
 Su singularity galite paruošti savo konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://python:3.8
+$ singularity build --sandbox /tmp/python docker://python:3.10
-$ mkdir ~/workdir
+$ mkdir ~/workdir /tmp/python/scratch
 $ singularity exec -H ~/workdir:$HOME -w /tmp/python pip install paketas
 $ singularity build python.sif /tmp/python
@@ Linija 43: / Linija 43: @@
 Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/superuser teisių. Su fakeroot jas simuliuojame, o jam reikalingą biblioteką ''libfakeroot-sysv.so'' kopijuojame į konteinerį, pvz:
 <code shell>
-$ singularity build --sandbox /tmp/python docker://ubuntu:20.04
+$ singularity build --sandbox /tmp/python docker://ubuntu:22.04
 $ cp /libfakeroot-sysv.so /tmp/python/
+$ mkdir /tmp/python/scratch
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get update
-$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.8 ...
+$ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get install python3.10 ...
 $ fakeroot -l /libfakeroot-sysv.so singularity exec -w /tmp/python apt-get clean
 $ rm -rf /tmp/python/libfakeroot-sysv.so /tmp/python/var/lib/apt/lists (galima ir daugiau išvalyti, ko nereikia)
@@ Linija 59: / Linija 60: @@
 ===== JupyterHub =====
-Su [[https://hpc.mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
+Su [[https://mif.vu.lt/hub/|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
 <code shell>
@@ Linija 73: / Linija 74: @@
 ====== Registracija ======
-  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **500 CPU-h ir 60 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
+  * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, jei užtenka suteiktų resursų (mėnesio limitas - **1000 CPU-h ir 100 GPU-h**). Išnaudojus šį limitą, galima prašyti suteikti jų daugiau užpildant [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]].
   * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https://forms.office.com/Pages/ResponsePage.aspx?id=ghrFgo1UykO8-b9LfrHQEidLsh79nRJAvOP_wV9sgmdURTNUUVhJTzFGOVFWR0Y1STZBMUFNRE4yRy4u|ITAPC paslaugų užsakymo formą]]. Patvirtinus paraišką, [[https://hpc.mif.vu.lt|Waldur portale]] turite susikurti savo paskyrą. Daugiau informacijos skaitykite [[waldur|čia]].
@@ Linija 83: / Linija 84: @@
 Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją.
-Jeigu naudojate **Kerberos**:
+Jeigu naudojate **Kerberos** (tik MIF naudotojams):
   * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu
   *  **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu.
   * Su komanda **klist** patikrinkite, ar turite galiojantį Kerberos raktą (ticket). Jei rakto nėra arba jo galiojimo laikas pasibaigęs, tai reikia įvykdyti komandą **kinit**.
-  * Junkitės į mazgą **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
+  * Junkitės į serverį **hpc** su komanda **ssh hpc** (turi nereikalauti slaptažodžio).
   * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST.
-Jeigu naudojate **SSH raktus** (pvz: jei norite kopijuoti didelius failus):
+Jeigu naudojate **SSH raktus**:
   * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
-  *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
+  * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas į Waldur HPC naudotojo lauką.
-  *     Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
+  * **MIF** naudotojai turi įkelti savo ssh rakto viešą (public) dalį per [[https://mif.vu.lt/ldap/sshkey.php]].
+  * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
 Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
@@ Linija 133: / Linija 135: @@
 mpirun mpi-test
 </code>
-Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https://hpc.mif.vu.lt/. Sukurtas naudotojas bus įtrauktas į atitinkamą projektą, kuris turės tam tikrą kiekį resursų. Norint naudoti projekto resursus atliekant skaičiavimus reikia nurodyti savo alokacijos numerį. Žemiau pateiktas pavyzdys su nustatytu alokacijos parametru "alloc_xxxx_projektas" (taikomas ne VU MIF naudotojams, VU MIF naudotojai -- account parametro nurodyti neturi).
-<code shell mpi-test-job.sh>
-#!/bin/bash
-#SBATCH --account=alloc_xxxx_projektas
-#SBATCH -p main
-#SBATCH -n4
-#SBATCH --time=minutes
-module load openmpi
-mpicc -o mpi-test mpi-test.c
-mpirun mpi-test
-</code>
 Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui.
@@ Linija 225: / Linija 213: @@
 ====== Įvadas į OpenMPI ======
-Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai.
+Norint pasinaudoti **OpenMPI** reikia įrašyti
-Norint pasinaudoti naujesne **4.0.1** versija reikia naudoti
 <code>
-module load openmpi/4.0
+module load openmpi
 </code>
 prieš vykdant MPI komandas.
@@ Linija 338: / Linija 325: @@
   * [[https://docs.qlustar.com/Qlustar/12.0/HPCstack/hpc-user-manual.html|HPC User Manual (Qlustar)]]
   * [[http://www.mcs.anl.gov/research/projects/mpi/|MPI standartas]]
+  * [[https://chtc.cs.wisc.edu/uw-research-computing/hpc-spack-install|Install Software Using Spack]]
   * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija