hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
hpc [2021/06/30 08:42] – [Registracija] rolnas | hpc [2021/12/14 10:14] – [Nuorodos ir mokymo medžiaga] mif28585 | ||
---|---|---|---|
Linija 3: | Linija 3: | ||
Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis. | ||
- | **TESTUOJAMA | + | **Vyksta TESTAVIMAS |
VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis): | ||
Linija 22: | Linija 22: | ||
Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | ||
- | Su komanda [[https:// | + | Su komanda [[https:// |
+ | |||
+ | Su singularity galite paruošti savo konteinerį, | ||
+ | <code shell> | ||
+ | $ singularity build --sandbox /tmp/python docker:// | ||
+ | $ singularity exec -w /tmp/python pip install paketas | ||
+ | $ singularity build python.sif / | ||
+ | $ rm -r / | ||
+ | </ | ||
+ | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
Kataloge ''/ | Kataloge ''/ | ||
- | Su [[https:// | + | Su [[https:// |
+ | |||
+ | <code shell> | ||
+ | $ python3.7 -m pip install --upgrade pip setuptools wheel | ||
+ | $ python3.7 -m pip install --ignore-installed batchspawner jupyterlab | ||
+ | </ | ||
====== Registracija ====== | ====== Registracija ====== | ||
Linija 32: | Linija 46: | ||
PST gali naudotis tik registruoti VU MIF kompiuterių tinklo naudotojai. Esami **VU MIF tinklo naudotojai** PST gali naudotis **be papildomos registracijos**. | PST gali naudotis tik registruoti VU MIF kompiuterių tinklo naudotojai. Esami **VU MIF tinklo naudotojai** PST gali naudotis **be papildomos registracijos**. | ||
- | Registracijai reikia užpildyti [[http:// | + | Registracijai reikia užpildyti [[http:// |
- | Su suteiktu (pasirinktu) naudotojo vardu ir savo įvestu slaptažodžiu įgyjama teisė jungtis prie serverio uosis.mif.vu.lt, | + | Su suteiktu (pasirinktu) naudotojo vardu ir savo įvestu slaptažodžiu įgyjama teisė jungtis prie serverio |
Adresu [[https:// | Adresu [[https:// | ||
Linija 51: | Linija 65: | ||
Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus): | Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus): | ||
+ | * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk: | ||
* | * | ||
* | * | ||
+ | |||
+ | Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**. | ||
====== Bendra failų sistema (Lustre) ====== | ====== Bendra failų sistema (Lustre) ====== | ||
Linija 86: | Linija 102: | ||
#SBATCH -p main | #SBATCH -p main | ||
#SBATCH -n4 | #SBATCH -n4 | ||
+ | module load openmpi | ||
mpicc -o mpi-test mpi-test.c | mpicc -o mpi-test mpi-test.c | ||
mpirun mpi-test | mpirun mpi-test | ||
Linija 195: | Linija 212: | ||
* Jeigu naudosite parametrą '' | * Jeigu naudosite parametrą '' | ||
- | ====== Nuorodos ====== | + | ====== Nuorodos |
+ | |||
+ | |||
+ | **1 mokymų dalis** | ||
+ | |||
+ | - Trumpai apie HPC, kas tai yra, kam jo reikia | ||
+ | |||
+ | - Kokie HPC būna, koks yra VU ir kokia MIF dalis | ||
+ | |||
+ | - Kaip prisijungti MIF darbuotojams / studentams prie HPC | ||
+ | |||
+ | - SSH rakto kūrimas ir naudojimas Windows aplinkoje | ||
+ | |||
+ | - WinScp naudojimas Windows aplinkoje | ||
+ | |||
+ | |||
+ | * [[https:// | ||
+ | |||
+ | * [[https:// | ||
+ | |||
+ | **2 mokymų dalis** | ||
+ | |||
+ | - Slurm komandos darbams paleisti/ | ||
+ | |||
+ | - Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms | ||
+ | |||
+ | - Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch) | ||
+ | |||
+ | - Python/ | ||
+ | |||
+ | - Singularity konteineriai: | ||
+ | |||
+ | - Darbas su MPI | ||
+ | |||
+ | - Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį | ||
+ | |||
+ | - Papildomų resursų užsakymai (Waldur) | ||
+ | |||
+ | * [[https:// | ||
+ | |||
+ | * [[https:// | ||
* [[http:// | * [[http:// |
hpc.txt · Keista: 2024/09/24 07:03 vartotojo rolnas