hpc
Skirtumai
Čia matote skirtumus tarp pasirinktos versijos ir esamo dokumento.
Both sides previous revisionPrevious revisionNext revision | Previous revisionNext revisionBoth sides next revision | ||
hpc [2022/05/24 12:48] – [Interaktyvios užduotys (SLURM)] rolnas | hpc [2022/11/30 17:28] – [Programinė įranga] rolnas | ||
---|---|---|---|
Linija 16: | Linija 16: | ||
====== Programinė įranga ====== | ====== Programinė įranga ====== | ||
- | **main** ir **gpu** yra instaliuota [[https:// | + | **main** ir **gpu** yra instaliuota [[https:// |
Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | Instaliuotų OS paketų sąrašą galite pasitikrinti su komanda '' | ||
Linija 25: | Linija 25: | ||
<code shell> | <code shell> | ||
$ singularity build --sandbox /tmp/python docker:// | $ singularity build --sandbox /tmp/python docker:// | ||
- | $ singularity exec -w /tmp/python pip install paketas | + | $ mkdir -p / |
+ | $ cd /tmp | ||
+ | $ singularity exec -c -W /tmp/$USER -H / | ||
+ | $ cd | ||
$ singularity build python.sif /tmp/python | $ singularity build python.sif /tmp/python | ||
- | $ rm -rf /tmp/python | + | $ rm -rf / |
</ | </ | ||
Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | Analogiškai galima pasinaudoti R, Julia ar kitais konteineriais, | ||
Linija 33: | Linija 36: | ||
Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | Jeigu reikia papildyti singularity kontainerį OS paketais, tam reikia root/ | ||
<code shell> | <code shell> | ||
- | $ singularity build --sandbox /tmp/python docker:// | + | $ singularity build --sandbox /tmp/python docker:// |
$ cp / | $ cp / | ||
$ fakeroot -l / | $ fakeroot -l / | ||
Linija 48: | Linija 51: | ||
<code shell> | <code shell> | ||
- | $ python3.7 -m pip install --upgrade pip setuptools wheel | + | $ python3.8 -m pip install --upgrade pip setuptools wheel |
- | $ python3.7 -m pip install --ignore-installed batchspawner jupyterlab | + | $ python3.8 -m pip install --ignore-installed batchspawner jupyterlab |
</ | </ | ||
Linija 59: | Linija 62: | ||
====== Registracija ====== | ====== Registracija ====== | ||
- | * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, | + | * **VU MIF tinklo naudotojams** - PST galima naudotis be papildomos registracijos, |
* **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https:// | * **VU kompiuterių tinklo naudotojams** - paslaugoms gauti turite užpildyti [[https:// | ||
Linija 97: | Linija 100: | ||
^Eilė (partition) ^Laiko limitas ^RAM | ^Eilė (partition) ^Laiko limitas ^RAM | ||
- | ^main ^7d | + | ^main ^nėra |
- | ^gpu ^48h ^12000MB | + | ^gpu ^nėra |
- | ^power | + | ^power |
- | Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas. | + | Visose eilėse užduotims laiko limitas yra **2h**, jei jis nebuvo nurodytas, o lentelėje yra pateiktas maksimalus leidžiamas laiko limitas |
**RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis. | **RAM** stulpelyje yra pateikiamas kiekvienam rezervuotam **CPU** branduoliui skiriamas RAM kiekis. | ||
Linija 237: | Linija 240: | ||
</ | </ | ||
- | Tai naudos visus paskirtus procesorius, | + | Bus naudojami visi paskirti procesoriai |
+ | |||
+ | **DĖMESIO: | ||
Daugiau apie instaliuotą **OpenMPI** yra [[https:// | Daugiau apie instaliuotą **OpenMPI** yra [[https:// | ||
Linija 245: | Linija 250: | ||
* Prašome išnaudoti ne mažiau 50% užsakyto CPU kiekio. | * Prašome išnaudoti ne mažiau 50% užsakyto CPU kiekio. | ||
* Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta. | * Naudoti daugiau CPU, nei užsakyta, nepadidins efektyvumo, nes jūsų užduotis galės naudoti tik tiek CPU, kiek buvo užsakyta. | ||
- | * Jeigu naudosite parametrą '' | + | * Jeigu naudosite parametrą '' |
====== Resursų limitai ====== | ====== Resursų limitai ====== | ||
- | Jeigu jūsų užduotys nestartuoja | + | Jeigu jūsų užduotys nestartuoja |
- | tai pasitikrinkite | + | turite pasitikrinti, |
- | Peržiūrėti kiek išnaudota resursų | + | //Pirmasis būdas peržiūrėti, kiek išnaudota resursų:// |
< | < | ||
Linija 258: | Linija 263: | ||
</ | </ | ||
- | kur **USERNAME** jūsų MIF naudotojo vardas, o **Start** ir **End** nurodo einamojo mėnesio pradžios ir pabaigos datas. Jas galima nurodyti ir kaip '' | + | kur **USERNAME** |
- | Atkreipkite dėmesį, kad naudojimas pateikiamas minutėmis, | + | **DĖMESIO**: |
- | Kitas būdas | + | // |
< | < | ||
Linija 268: | Linija 273: | ||
</ | </ | ||
- | kur **USERNAME** MIF naudotojo vardas. Arba parametre **-A** nurodyti tą sąskaitą (account), kurio naudojimą | + | kur **USERNAME** |
+ | * **GrpTRESRaw** - kiek išnaudota. | ||
+ | * **GrpTRESMins** - koks yra limitas. | ||
+ | * **TRESRunMins** - likę resursai dar vis vykdomų užduočių. | ||
====== Mokymų medžiaga ====== | ====== Mokymų medžiaga ====== | ||
Linija 317: | Linija 325: | ||
* [[http:// | * [[http:// | ||
* [[https:// | * [[https:// | ||
- | * [[https:// | + | * [[https:// |
* [[http:// | * [[http:// | ||
- | * pagalba@mif.vu.lt - problemų su **HPC** registracija | + | * [[pagalba@mif.vu.lt]] - problemų su **HPC** registracija |
hpc.txt · Keista: 2024/02/21 12:50 vartotojo rolnas