Įrangos aprašymas
Paskirstytų skaičiavimų tinklas (PST) yra specialiai paruoštas kompiuterių tinklas, kuriame yra galimybė vykdyti programas, kurios galėtų efektyviai apsikeisti duomenimis.
Vyksta TESTAVIMAS iki 2021m spalio 31d, galite naudotis, bet nėra garantuojamas duomenų išsaugojimas.
VU MIF PST sudaro superkompiuteris iš telkinių (pirmas skaičius - faktiškai pasiekiamas kiekis):
| Pavadinimas | Mazgai | CPU | GPU | RAM | HDD | Tinklas | Pastabos |
|---|---|---|---|---|---|---|---|
| main | 35/36 | 48 | 0 | 384GiB | 0 | 1Gbit/s, 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband | CPU |
| gpu | 3/3 | 40 | 8 | 512GB/32GB | 7TB | 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband | CPU NVIDIA DGX-1 |
| power | 2/2 | 32 | 4 | 1024GB/32GB | 1.8TB | 2x10Gbit/s, 4xEDR(100Gbit/s) infiniband | IBM Power System AC922 |
Iš viso 40/41 mazgų, 1912 CPU cores su 17TB RAM, 32 GPU su 1TB RAM.
Toliau tekste procesorius = CPU = core - procesoriaus vienas branduolys (su visomis hypergijomis, jei jos yra įjungtos).
Programinė įranga
main ir gpu yra instaliuota Qlustar 11 operacinė sistema (OS) su Linux branduoliu. Ji yra sukurta Ubuntu 18.04 LTS pagrindu. power yra instaliuota Ubuntu 18.04 LTS.
Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda dpkg -l (prisijungimo mazge hpc arba power mazguose).
Su komanda singularity galima pasinaudoti jau paruoštomis konteinerių failų kopijomis kataloguose /apps/local/hpc, /apps/local/nvidia, /apps/local/intel, /apps/local/lang arba pačiam atsisiųsti iš singularity ir docker internetinių katalogų. Pasinaudojus MIF cloud paslauga galima susikurti ir savo singularity konteinerius.
Su singularity galite paruošti savo konteinerį, pvz:
$ singularity build --sandbox /tmp/python docker://python:3.8 $ singularity exec -w /tmp/python pip install paketas $ singularity build python.sif /tmp/python $ rm -r /tmp/python
Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, kuriuose paketams instaliuoti nereikia naudotojo root teisių.
Kataloge /apps/local/bigdata yra paruošti scenarijai pasileisti savo hadoop užduotis pasinaudojant Magpie rinkiniu.
Su JupyterHub galite interneto naršyklės pagalba vykdyti skaičiavimus su python komandų eilute ir pasinaudoti JupyterLab aplinka. Jeigu savo namų kataloge instaliuosite savo JupyterLab aplinką, tai reikia instaliuoti papildomai batchspawner paketą - tada jums startuos jūsų aplinką, pvz:
$ python3.7 -m pip install --upgrade pip setuptools wheel $ python3.7 -m pip install --ignore-installed batchspawner jupyterlab