hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
| Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
| hpc [2022/09/12 14:59] – [Registracija] grikiete | hpc [2024/09/24 07:03] (esamas) – [Prisijungimas] rolnas | ||
|---|---|---|---|
| Linija 6: | Linija 6: | ||
| ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM ^HDD ^Tinklas ^Pastabos| | ^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM ^HDD ^Tinklas ^Pastabos| | ||
| - | ^main ^35/ | + | ^main/ |
| - | ^gpu | + | ^gpu/gpu2 |
| ^power | ^power | ||
| Linija 16: | Linija 16: | ||
| ====== Programinė įranga ====== | ====== Programinė įranga ====== | ||
| - | **main** ir **gpu** yra instaliuota [[https:// | + | **main** ir **gpu** yra instaliuota [[https:// |
| + | |||
| + | **main2** ir **gpu2** yra nedidelė dalis resursų, kuriuose yra senoji [[https:// | ||
| Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | ||
| + | |||
| + | ===== Singularity ===== | ||
| Su komanda [[https:// | Su komanda [[https:// | ||
| Linija 24: | Linija 28: | ||
| Su singularity galite paruošti savo konteinerį, | Su singularity galite paruošti savo konteinerį, | ||
| <code shell> | <code shell> | ||
| - | $ singularity build --sandbox /tmp/python docker:// | + | $ singularity build --sandbox /tmp/python docker:// |
| - | $ singularity exec -w /tmp/python pip install paketas | + | $ mkdir ~/workdir / |
| + | $ singularity exec -H ~/ | ||
| $ singularity build python.sif /tmp/python | $ singularity build python.sif /tmp/python | ||
| $ rm -rf /tmp/python | $ rm -rf /tmp/python | ||
| </ | </ | ||
| + | |||
| + | Tam kad pasinaudoti tokiu konteineriu, | ||
| + | <code shell> | ||
| + | $ mkdir ~/workdir | ||
| + | $ singularity exec -H ~/ | ||
| + | </ | ||
| + | |||
| Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
| Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | ||
| <code shell> | <code shell> | ||
| - | $ singularity build --sandbox /tmp/python docker:// | + | $ singularity build --sandbox /tmp/python docker:// |
| $ cp / | $ cp / | ||
| + | $ mkdir / | ||
| $ fakeroot -l / | $ fakeroot -l / | ||
| - | $ fakeroot -l / | + | $ fakeroot -l / |
| $ fakeroot -l / | $ fakeroot -l / | ||
| $ rm -rf / | $ rm -rf / | ||
| Linija 42: | Linija 55: | ||
| $ rm -rf /tmp/python | $ rm -rf /tmp/python | ||
| </ | </ | ||
| + | |||
| + | ===== Hadoop ===== | ||
| Kataloge ''/ | Kataloge ''/ | ||
| + | |||
| + | ===== JupyterHub ===== | ||
| Su [[https:// | Su [[https:// | ||
| <code shell> | <code shell> | ||
| - | $ python3.7 -m pip install --upgrade pip setuptools wheel | + | $ python3.8 -m pip install --upgrade pip setuptools wheel |
| - | $ python3.7 -m pip install --ignore-installed batchspawner jupyterlab | + | $ python3.8 -m pip install --ignore-installed batchspawner jupyterlab |
| </ | </ | ||
| Linija 69: | Linija 86: | ||
| Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | Norint prisijungti prie **PST** reikia naudoti SSH programas (ssh, putty, winscp, mobaxterm) ir Kerberos arba SSH raktų autentikaciją. | ||
| - | Jeigu naudojate **Kerberos**: | + | Jeigu naudojate **Kerberos** |
| * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu | * Prisijunkite į Linux aplinką VU MIF klasėje arba viešame terminale su savo VU MIF naudotojo vardu ir slaptažodžiu | ||
| * **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu. | * **arba** su ssh ar putty programa prisijunkite į **uosis.mif.vu.lt** su savo VU MIF naudotojo vardu ir slaptažodžiu. | ||
| * Su komanda **klist** patikrinkite, | * Su komanda **klist** patikrinkite, | ||
| - | * Junkitės į mazgą | + | * Junkitės į serverį |
| * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | * **Pirmą kartą** prisijungus turi praeiti **5min**, kad galėtumėte naudotis PST. | ||
| - | Jeigu naudojate **SSH raktus** | + | Jeigu naudojate **SSH raktus**: |
| * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | ||
| - | * Prieš naudodami šį būdą, reikia bent kartą prisijungti | + | * **Waldur** naudotojai gali prisijungti tik šiuo būdu, su ssh raktu, kuris buvo įkeltas |
| - | * | + | |
| + | * Prisijunkite su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, | ||
| Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | ||
| Linija 97: | Linija 115: | ||
| ^Eilė (partition) ^Laiko limitas ^RAM | ^Eilė (partition) ^Laiko limitas ^RAM | ||
| - | ^main ^7d | + | ^main ^nėra |
| - | ^gpu ^48h ^12000MB | + | ^gpu ^nėra |
| - | ^power | + | ^power |
| - | Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas. | + | Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas |
| **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis. | **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis. | ||
| Linija 119: | Linija 137: | ||
| mpirun mpi-test | mpirun mpi-test | ||
| </ | </ | ||
| - | |||
| - | Pateikus paraišką ITAPC ir gavus teigimą sprendimą, reikia susikurti naudotoją https:// | ||
| - | |||
| - | <code shell mpi-test-job.sh> | ||
| - | #!/bin/bash | ||
| - | #SBATCH --account=alloc_xxxx_projektas | ||
| - | #SBATCH -p main | ||
| - | #SBATCH -n4 | ||
| - | #SBATCH --time=minutes | ||
| - | module load openmpi | ||
| - | mpicc -o mpi-test mpi-test.c | ||
| - | mpirun mpi-test | ||
| - | </ | ||
| - | |||
| Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | Jame kaip specialūs komentarai yra nurodymai užduočių vykdytojui. | ||
| Linija 211: | Linija 215: | ||
| ====== Įvadas į OpenMPI ====== | ====== Įvadas į OpenMPI ====== | ||
| - | Ubuntu 18.04 LTS yra **2.1.1** versijos OpenMPI paketai. | + | Norint pasinaudoti **OpenMPI** reikia |
| - | Norint pasinaudoti | + | |
| < | < | ||
| - | module load openmpi/4.0 | + | module load openmpi |
| </ | </ | ||
| prieš vykdant MPI komandas. | prieš vykdant MPI komandas. | ||
| Linija 322: | Linija 325: | ||
| * [[http:// | * [[http:// | ||
| * [[https:// | * [[https:// | ||
| - | * [[https:// | + | * [[https:// |
| * [[http:// | * [[http:// | ||
| * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija | * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija | ||
hpc.1662994757.txt.gz · Keista: 2022/09/12 14:59 vartotojo grikiete