hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
| Abiejų pusių ankstesnis pataisymasPrevious revisionKitas pataisymas | Previous revision | ||
| hpc [2022/11/30 17:29] – [Programinė įranga] rolnas | hpc [2025/11/10 11:03] (esamas) – [Resursų limitai] mif28585 | ||
|---|---|---|---|
| Linija 6: | Linija 6: | ||
| ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM ^HDD ^Tinklas ^Pastabos| | ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM ^HDD ^Tinklas ^Pastabos| | ||
| - | ^main ^35/ | + | ^main/ |
| - | ^gpu | + | ^gpu/gpu2 |
| ^power | ^power | ||
| Iš viso **40/ | Iš viso **40/ | ||
| + | |||
| + | **HDD** nurodyti lokaliai pasiekiami greiti **SSD** diskai laikiniems skaičiavimų failams, naudoti tik **$TMPDIR** ir pasibaigus užduočiai - išvalomi. | ||
| Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, | Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, | ||
| Linija 16: | Linija 18: | ||
| ====== Programinė įranga ====== | ====== Programinė įranga ====== | ||
| - | **main** ir **gpu** yra instaliuota [[https:// | + | **main** ir **gpu** yra instaliuota [[https:// |
| Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | ||
| + | |||
| + | ===== Singularity ===== | ||
| Su komanda [[https:// | Su komanda [[https:// | ||
| Linija 24: | Linija 28: | ||
| Su singularity galite paruošti savo konteinerį, | Su singularity galite paruošti savo konteinerį, | ||
| <code shell> | <code shell> | ||
| - | $ singularity build --sandbox /tmp/python docker:// | + | $ singularity build --sandbox /tmp/python docker:// |
| - | $ mkdir -p /tmp/$USER | + | $ mkdir ~/ |
| - | $ cd /tmp | + | $ singularity exec -H ~/workdir:$HOME -w /tmp/python pip install paketas |
| - | $ singularity exec -H /tmp/$USER:/ | + | |
| - | $ cd | + | |
| $ singularity build python.sif /tmp/python | $ singularity build python.sif /tmp/python | ||
| - | $ rm -rf / | + | $ rm -rf /tmp/python |
| </ | </ | ||
| + | |||
| + | Tam kad pasinaudoti tokiu konteineriu, | ||
| + | <code shell> | ||
| + | $ mkdir ~/workdir | ||
| + | $ singularity exec -H ~/ | ||
| + | </ | ||
| + | |||
| Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
| Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | ||
| <code shell> | <code shell> | ||
| - | $ singularity build --sandbox /tmp/python docker:// | + | $ singularity build --sandbox /tmp/python docker:// |
| $ cp / | $ cp / | ||
| + | $ mkdir / | ||
| $ fakeroot -l / | $ fakeroot -l / | ||
| - | $ fakeroot -l / | + | $ fakeroot -l / |
| $ fakeroot -l / | $ fakeroot -l / | ||
| $ rm -rf / | $ rm -rf / | ||
| Linija 45: | Linija 55: | ||
| $ rm -rf /tmp/python | $ rm -rf /tmp/python | ||
| </ | </ | ||
| + | |||
| + | ===== Hadoop ===== | ||
| Kataloge ''/ | Kataloge ''/ | ||
| - | Su [[https://hpc.mif.vu.lt/ | + | ===== JupyterHub ===== |
| + | |||
| + | Su [[https:// | ||
| <code shell> | <code shell> | ||
| - | $ python3.8 -m pip install --upgrade pip setuptools wheel | + | $ python3 -m pip install --upgrade pip setuptools wheel |
| - | $ python3.8 -m pip install --ignore-installed batchspawner jupyterlab | + | $ python3 -m pip install --ignore-installed batchspawner jupyterlab |
| </ | </ | ||
| Linija 62: | Linija 76: | ||
| ====== Registracija ====== | ====== Registracija ====== | ||
| - | * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, | + | * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, |
| * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https:// | * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https:// | ||
| Linija 72: | Linija 86: | ||
| Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | ||
| - | Jeigu naudojate **Kerberos**: | + | Jeigu naudojate **Kerberos** |
| * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu | * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu | ||
| * **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu. | * **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu. | ||
| * Su komanda **klist** patikrinkite, | * Su komanda **klist** patikrinkite, | ||
| - | * Junkitės į mazgą | + | * Junkitės į serverį |
| * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | ||
| - | Jeigu naudojate **SSH raktus** | + | Jeigu naudojate **SSH raktus**: |
| * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | ||
| - | * Prieš naudodami šį būdą, reikia bent kartą prisijungti | + | * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas |
| - | * | + | |
| + | * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, | ||
| Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | ||
| Linija 100: | Linija 115: | ||
| ^Eilė (partition) ^Laiko limitas ^RAM | ^Eilė (partition) ^Laiko limitas ^RAM | ||
| - | ^main | + | ^main |
| - | ^gpu ^nėra | + | ^gpu ^nėra |
| ^power | ^power | ||
| Linija 122: | Linija 137: | ||
| mpirun mpi-test | mpirun mpi-test | ||
| </ | </ | ||
| - | |||
| - | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | ||
| - | |||
| - | <code shell mpi-test-job.sh> | ||
| - | #!/bin/bash | ||
| - | #SBATCH --account=alloc_xxxx_projektas | ||
| - | #SBATCH -p main | ||
| - | #SBATCH -n4 | ||
| - | #SBATCH --time=minutes | ||
| - | module load openmpi | ||
| - | mpicc -o mpi-test mpi-test.c | ||
| - | mpirun mpi-test | ||
| - | </ | ||
| - | |||
| Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | ||
| Linija 214: | Linija 215: | ||
| ====== Įvadas į OpenMPI ====== | ====== Įvadas į OpenMPI ====== | ||
| - | Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai. | + | Norint pasinaudoti **OpenMPI** reikia |
| - | Norint pasinaudoti | + | |
| < | < | ||
| - | module load openmpi/4.0 | + | module load openmpi |
| </ | </ | ||
| prieš vykdant MPI komandas. | prieš vykdant MPI komandas. | ||
| Linija 277: | Linija 277: | ||
| * **GrpTRESMins** - koks yra limitas. | * **GrpTRESMins** - koks yra limitas. | ||
| * **TRESRunMins** - likę resursai dar vis vykdomų užduočių. | * **TRESRunMins** - likę resursai dar vis vykdomų užduočių. | ||
| + | ** | ||
| + | Kaip suteikiami limitai mėnesiui? | ||
| + | |||
| + | Pateikus paraišką gauti daugiau CPU ar GPU valandų, sprendimas įprastai priimamas per 5 d.d. Mėnesio limitas padidinamas sprendimo priėmimo dieną einamajame mėnesyje, atėmus jau išnaudotą tą mėnesį turėtą limitą. Pavyzdžiui, | ||
| ====== Mokymų medžiaga ====== | ====== Mokymų medžiaga ====== | ||
| Linija 327: | Linija 331: | ||
| * [[https:// | * [[https:// | ||
| * [[http:// | * [[http:// | ||
| + | * [[https:// | ||
| * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija | * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija | ||
hpc.1669829341.txt.gz · Keista: vartotojo rolnas