IT wiki

VU MIF STSC

User Tools

Site Tools


hpc_conf
no way to compare when less than two revisions

Skirtumai

Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.


hpc_conf [2021/11/18 09:39] (esamas) – sukurtas mif28585
Linija 1: Linija 1:
 +====== Įrangos aprašymas ======
  
 +Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
 +
 +**Vyksta TESTAVIMAS iki 2021m spalio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.**
 +
 +VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
 +
 +^Pavadinimas ^Mazgai ^CPU ^GPU ^RAM        ^HDD    ^Tinklas ^Pastabos|
 +^main        ^35/36  ^48  ^0   ^384GiB     ^0      ^1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/192447/intel-xeon-gold-6252-processor-35-75m-cache-2-10-ghz.html|CPU]]|
 +^gpu         ^3/   ^40  ^8   ^512GB/32GB  ^7TB   ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://ark.intel.com/content/www/us/en/ark/products/91753/intel-xeon-processor-e5-2698-v4-50m-cache-2-20-ghz.html|CPU]] [[https://en.wikipedia.org/wiki/Nvidia_DGX#DGX-1|NVIDIA DGX-1]]|
 +^power       ^2/   ^32  ^4   ^1024GB/32GB ^1.8TB ^2x10Gbit/s, 4xEDR(100Gbit/s) infiniband ^[[https://www.ibm.com/products/power-systems-ac922|IBM Power System AC922]]|
 +
 +Iš viso **40/41** mazgų, **1912** CPU cores su **17TB** RAM, **32** GPU su **1TB** RAM.
 +
 +Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, jei jos yra įjungtos).
 +
 +====== Programinė įranga ======
 +
 +**main** ir **gpu** yra instaliuota [[https://docs.qlustar.com/Qlustar/11.0/HPCstack/hpc-user-manual.html|Qlustar 11]] operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 18.04 LTS pagrindu. **power** yra instaliuota Ubuntu 18.04 LTS.
 +
 +Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda ''dpkg -l'' (prisijungimo mazge **hpc** arba **power** mazguose).
 +
 +Su komanda [[https://sylabs.io/guides/3.2/user-guide/index.html|singularity]] galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose ''/apps/local/hpc'', ''/apps/local/nvidia'', ''/apps/local/intel'', ''/apps/local/lang'' arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius.
 +
 +Su singularity galite paruošti savo konteinerį, pvz:
 +<code shell>
 +$ singularity build --sandbox /tmp/python docker://python:3.8
 +$ singularity exec -w /tmp/python pip install paketas
 +$ singularity build python.sif /tmp/python
 +$ rm -r /tmp/python
 +</code>
 +Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
 +
 +Kataloge ''/apps/local/bigdata'' yra paruošti scenarijai pasileisti savo **hadoop** užduotis pasinaudojant [[https://github.com/LLNL/magpie|Magpie]] rinkiniu.
 +
 +Su [[https://hpc.mif.vu.lt/hub|JupyterHub]] galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti [[https://jupyter.org|JupyterLab]] aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai ''batchspawner'' paketą - tada jums startuos jūsų aplinką, pvz:
 +
 +<code shell>
 +$ python3.7 -m pip install --upgrade pip setuptools wheel
 +$ python3.7 -m pip install --ignore-installed batchspawner jupyterlab
 +</code>
hpc_conf.txt · Keista: 2021/11/18 09:39 vartotojo mif28585

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki