Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.

--- hpc [2021/11/10 12:01] – [Programinė įranga] rolnas
+++ hpc [2021/12/14 10:05] – [Nuorodos ir mokymo medžiaga] mif28585
@@ Linija 3: / Linija 3: @@
 Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
-**Vyksta TESTAVIMAS iki 2021m spalio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
+**Vyksta TESTAVIMAS iki 2021m gruodžio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
 VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
@@ Linija 35: / Linija 35: @@
 Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
-Su [[https://hpc.mif.vu.lt/hub|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka.
+Su [[https://hpc.mif.vu.lt/hub|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
+<code shell>
+$ python3.7 -m pip install --upgrade pip setuptools wheel
+$ python3.7 -m pip install --ignore-installed batchspawner jupyterlab
+</code>
 ====== Registracija ======
@@ Linija 60: / Linija 65: @@
 Jeigu naudojate SSH raktus (pvz: jei norite kopijuoti didelius failus):
-  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite [[duk:ssh_key|čia]]
+  * Jei neturite SSH raktų, instrukciją kaip juos susikurti Windows aplinkoje rasite **[[duk:ssh_key|čia]]**
   *     Prieš naudodami šį būdą, reikia bent kartą prisijungti su Kerberos ir PST failų sistemoje susikurti ''~/.ssh'' katalogą ir į jį įdėti savo **ssh viešąjį raktą** (OpenSSH formatu) į failą ''~/.ssh/authorized_keys''.
   *     Prisijungiate su **ssh**, **sftp**, **scp**, **putty**, **winscp** ar kitomis **ssh** protokolą palaikančiomis programomis į **hpc.mif.vu.lt** su savo **ssh privačiu raktu** nurodydami savo VU MIF naudotojo vardą (turi nereikalauti prisijungimo slaptažodžio, bet gali reikalauti jūsų ssh privataus rakto slaptažodžio).
+Pirmą kartą prisijungus jūs **negalėsite** paleisti **SLURM užduočių** per pirmąsias **5 minutes**. Po to jums bus automatiškai sukurtas **SLURM naudotojas** ir priskirti **resursų limitai**.
 ====== Bendra failų sistema (Lustre) ======
@@ Linija 95: / Linija 102: @@
 #SBATCH -p main
 #SBATCH -n4
-module load openmpi/default
+module load openmpi
 mpicc -o mpi-test mpi-test.c
 mpirun mpi-test
@@ Linija 205: / Linija 212: @@
   * Jeigu naudosite parametrą ''--mem=X'', tai užduotis gali rezervuoti daugiau **CPUs** proporcingai norimos atminties kiekiui. Pvz: užsakius ''--mem=14000'' eilėje **main**, bus užsakyti ne mažiau 2 CPUs, jei kiti parametrai nenurodo daugiau. Jeigu jūsų užduotis naudos mažiau, tai bus neefektyvus resursų naudojimas, be to tai gali veikti lėčiau, nes gali būti naudojama kita, nei vykdančio, procesoriaus atmintis.
-====== Nuorodos ======
+====== Nuorodos ir mokymo medžiaga ======
+**1 mokymų dalis**
+- Trumpai apie HPC, kas tai yra, kam jo reikia
+- Kokie HPC būna, koks yra VU ir kokia MIF dalis
+- Kaip prisijungti MIF darbuotojams / studentams prie HPC
+- SSH rakto kūrimas ir naudojimas Windows aplinkoje
+- WinScp naudojimas Windows aplinkoje
+* [[https://drive.mif.vu.lt/s/xcK4cS8k3rZoKG9|Įvadas į HPC (skaidrės)]]
+* [[https://drive.mif.vu.lt/s/ipy3FLNGnEqm8TE|Įvadas į HPC (video) ]]
+**2 mokymų dalis**
+- Slurm komandos darbams paleisti/stabdyti ar progresui peržiūrėti.
+- Sbatch failas ir jo tipiniai parametrai CPU ir GPU particijoms
+- Darbai interaktyviu režimu ir darbai liekantys veikti po atsijungimo (Sbatch)
+- Python/R/julia ar kitų kalbų paketų diegimas
+- Singularity konteineriai: atsisiuntimas ir/arba esamų modifikavimas
+- Darbas su MPI
+- Rezultatų išvedimas ir parsisiuntimas į naudotojo kompiuterį
+- Papildomų resursų užsakymai (Waldur)
+* [[https://drive.mif.vu.lt/s/tHGtLZHbyQHpXK8|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (skaidrės)]]
+* [[https://drive.mif.vu.lt/s/mDTbB3stWe9AKyS|Užduočių valdymas, naudotojų PĮ ir CPU skaičiavimai HPC infrastruktūroje (video)]]
   * [[http://mif.vu.lt/itapc#paslaug%C5%B3-u%C5%BEsakymas|ITAPC paslaugų užsakymas]]