Katalog služeb/Výpočty a velká data

Z Helpdesk
Výpočty a velká data
Výpočty a velká data

Máte vědecká data, potřebujete je spolehlivě uložit? Potřebujete svoje data připravit podle metodiky FAIR data a řešit požadavky OpenScience? Tato stránka vám nabízí formou rozcestníku dostupná řešení pro výpočetně a kapacitně náročné zpracování a ukládání dat. V případě potřeby konzultace nás prosím kontaktujte prostřednictvím HelpDesk.

Infrastruktura pro výzkumná data na ZČU

ZČU v oblasti služeb pro vědecká data a náročné výpočty spolupracuje s národní e-infrastrukturou e-INFRA.cz. Máme vlastní výpočetní i úložné kapacity, které jsou prioritně přístupné nebo rezervované pro studenty a zaměstnance ZČU.

Diskové pole storage-plzen2-zcu

Diskové pole storage-plzen2-zcu je plně integrováno do infrastruktury MetaCentrum, přičemž jeho kapacita je rezervována pro studenty a zaměstnance ZČU. Základní vlastnosti v bodech:

  • Každému uživateli je k dispozici 10 TB prostoru s možností požádat o navýšení.
  • Určení: střednědobé uložení dat (nemusí souviset s výpočty), zejména pro tzv. FAIRifikaci dat, tj. přípravu dat pro uložení do repozitářů (Open Science II).
  • Dostupnost dat a ochrana proti jejich ztrátě. Diskové pole se skládá ze dvou synchronizovaných kopií umístěných ve dvou lokalitách (budovy UI a NTIS). V případě poruchy je záložní kopie schopna plnohodnotně fungovat, bez potřeby čekat dny či dokonce týdny na obnovu ze záloh.

Jak diskové pole využít:

  • K diskovému poli se přistupuje identitou uživatele MetaCentra. Pokud ji nemáte, je třeba nejprve podat on-line [přihlášku] pomocí ZČU identity.
  • Diskové pole je přístupné z frontendů MetaCentra (dokumentace), odkudkoli (např. ze svého desktopu) pak přes SCP (dokumentace).

Výpočetní cluster Alfrid

Výpočetní cluster Alfrid poskytuje všem studentům a zaměstnancům ZČU výpočetní výkon formou dávkového systému, je možné ho používat i pro interaktivní úlohy. Lze ho rezervovat pro rozvrhovanou výuku s výhodou opakovatelnosti a definovaného prostředí pro běh výpočtu používat kontejnerizace (singularity). Pak je také prostředí plně přenositelné od domácího počítače, přes celém MetaCentrum až po superpočítače v rámci EuroHPC. K dispozici je tento HW:

  • 8 GPU uzlů, celkem 1024 CPU jader AMD EPYC 9554, 20 GPU karet L40 nebo L40S s 48GB RAM. Uzly mají až 1,5 TB RAM.
  • Uzel s velkou pamětí, 4,5 TB sdílené RAM paměti a 128 CPU jader - určen například pro analýzy rozsáhlých datových sad, přípravu dat pro AI/ML nebo pokročilé fyzikální simulace pro analýzu složitých inženýrských jevů.

Software a licence

Cloudová a Kubernetes infrastruktura ZČU

Všichni studenti a zaměstnanci mají k dispozici infrastrukturu poskytující cloudové a Kubernetes služby (známé například z komerčních služeb Amazon/Azure/Google cloud). Tyto služby nejsou primárně určeny k náročným výpočtům, ale k trvalému běhu služeb typu webová aplikace, řídící uzel vědeckého workflow, apod. K dispozici jsou virtuální stroje s CPU a GPU L40.

Národní e-infrastruktura pro výzkum a vývoj

Výpočetní kapacity (MetaCentrum)

V rámci těchto služeb lze přistupovat k široké škále akademických výpočetních zdrojů v ČR. Všechny služby poskytují výpočetní HW (CPU i GPU) a k dispozici je odpovídající uživatelská podpora. Využívání je zdarma za účelem výuky a výzkumu, na základě publikací s poděkováním lze získat prioritu. Na zdroje vlastněné součástmi ZČU je prioritní přístup pro studenty a zaměstnance ZČU.

Služba Doporučené použití Popis vlastností Dokumentace
Výpočetní grid Výpočetní prostředí s dávkovým zpracováním. Prostředí výpočetních clusterů, zadávání výpočtů formou úloh s možností využít rozsáhlého souboru instalovaného SW. Součástí služby jsou operativní úložiště dat v rozsahu jednotek TB. Lze spouštět výpočty v kontejnerech. Všichni studenti a zaměstnanci mají prioritní přístup na cluster Alfrid přes frontu ZCU a na všech výpočetních uzlech a FE mají k dispozici dedikované 1PB pole s duplikací a snapshoty Storage-plzen2-zcu Je třeba nejprve podat [přihlášku] pomocí ZČU identity, základní dokumentace je na https://docs.metacentrum.cz/
Výpočetní cloud Cloudové (virtuální stroje) a Kubernetes prostředí určené k náročným výpočtům. Možnost získání virtuálních strojů s vysokým výpočetním výkonem. Virtuální stroje mohou být propojeny s úložišti (streaming dat, edge computing, IoT, atd.) https://metavo.metacentrum.cz/
Interaktivní aplikace a výpočetní portály Přímý přístup k interaktivním aplikacím přes GUI (Matlab, Fluent, atd.), Jupyter notebooks, portály (Galaxy), workflow nástroje. Připravené instantní aplikace či interaktivní prostředí. Tématické služby pro konkrétní použití. Jupyter notebooky. https://metavo.metacentrum.cz/ https://ondemand.grid.cesnet.cz/
AI pro vědu a výzkum AI generativní LLM API pro výzkum a akademické využití, dostupné pro všechny zaměstnance a studenty ZČU. Inferenční platforma běžící LLM modely lokálně v infrastruktuře e-INFRA.CZ, poskytuje AI API a další služby s vysokou ochranou soukromí. https://docs.cerit.io/en/docs/ai-as-a-service/introduction
Infrastruktura ELIXIR Česká infrastruktura pro biologická data. Samostatná infrastruktura pro práci s daty v oblasti věd o živé přírodě zaměřená na biologická data. https://www.elixir-czech.cz/

Úložné kapacity CESNET

Služba Doporučené použití Popis vlastností Dokumentace
FileSender Dočasné zpřístupnění/předání dat Webová služba sloužící pro rychlé odeslání velkých souborů jednomu nebo více příjemcům. Proti komerčním řešením je výhodou vyšší rychlost, kapacita a fakt, že data neopustí akademické prostředí. Pro odeslání souboru je potřeba mít platný účet některé instituce, případně pokud odesílatel nemá identitu ve federaci eduID.cz, potřebuje tzv. pozvánku, kterou mu může odeslat přihlášený uživatel. Přijmout soubor může kdokoliv, kdo zná odkaz pro stažení souboru. https://du.cesnet.cz/cs/navody/filesender/
OwnCloud Cloudové úložiště pro ukládání a sdílení dat pro akademickou obec ČR Podobné řešení jako je Alfresco, doporučujeme používat pro sdílení mimo ZČU a pro větší data související s výzkumem a výukou. Dovoluje on-line editaci dokumentů a synchronizaci mezi zařízeními. Typický limit 100 GB na uživatele.

https://du.cesnet.cz/cs/navody/owncloud

Zálohování dat Zálohování výzkumných a výukových dat. Řešení pro vytváření záložní nebo dokonce archivní kopie výzkumných a výukových dat. https://www.cesnet.cz/sluzby/datova-uloziste/
Ukládání a sdílení dat Obecné úložiště dat určené pro vzdělávací a výzkumné účely. Objektová úložiště se základním přístupem přes S3 či blokové zařízení. Přidělení základního prostoru 2 TB může být významně rozšířeno na základě popisu konkrétního účelu, lze očekávat prostor v rozsahu desítek TB. https://du.cesnet.cz/cs/navody/object_storage/
Videoarchiv Uložení multimediálních dat a jejich vystavení prostřednictvím streamovacích serverů. Backend pro vytváření multimediálních aplikací, nahrávek přednášek a akcí a další použití. https://www.cesnet.cz/sluzby/videoarchiv/

Správa výzkumných dat, EOSC, repozitáře NRP, distribuované výpočetní prostředí

  • Národní prostředí pro správu výzkumných dat EOSC CZ
  • Mezinárodní EOSC služby EOSC EU Node.
  • Začlenění vybavení pořízeného z projektu do centrální správy (MetaCentrum), pomoc s výpočetním SW, licencemi a optimalizací vědeckého workflow. Kontaktujte nás přes HelpDesk.
  • Datové repozitáře NRP Národní repozitářová platformy, zpracování data management plánu, pomoc s publikací dat. openscience.zcu.cz.

Další služby

Citováno z „https://helpdesk.zcu.cz/index.php?title=Katalog_služeb/Výpočty_a_velká_data&oldid=69349“