Výpočty a velká data

Z HelpDesk

Tato stránka je rozcestník pro řešení výpočetně a kapacitně náročného zpracování a ukládání dat pro účely výzkumu a výuky. Pro základní orientaci slouží níže uvedené tabulky, v případě potřeby konzultace nás prosím kontaktujte přes HelpDesk.

Výpočetní kapacity (MetaCentrum)

V rámci těchto služeb lze přistupovat k široké škále akademických výpočetních zdrojů v ČR. Přístup na zdroje vlastněné součástmi ZČU je pak možný s prioritním přístupem.

Služba Doporučené použití Popis vlastností Dokumentace
Výpočetní grid Výpočetní prostředí s dávkovým zpracováním. Prostředí výpočetních clusterů, zadávání výpočtů formou úloh s možností využít rozsáhlého souboru instalovaného SW. Součástí služby jsou operativní úložiště dat v rozsahu jednotek TB. Je třeba nejprve podat [přihlášku] pomocí ZČU identity, základní dokumentace je na https://docs.metacentrum.cz/
Výpočetní cloud Cloudové prostředí (IaaS) určené k náročným výpočtům. Možnost získání virtuálních strojů s vysokým výpočetním výkonem. Virtuální stroje mohou být propojeny s úložišti (streaming dat, edge computing, IoT, atd.) https://metavo.metacentrum.cz/
Interaktivní aplikace a výpočetní portály Přímý přístup k interaktivním aplikacím přes GUI (Matlab, Fluent, atd.), Jupyter notebooks, portály, workflow nástroje. Připravené instantní aplikace či prostředí. https://metavo.metacentrum.cz/
Infrastruktura ELIXIR Česká infrastruktura pro biologická data. Samostatná infrastruktura pro práci s daty v v oblasti věd o živé přírodě zaměřená na biologická data. https://www.elixir-czech.cz/

Úložné kapacity CESNET

Služba Doporučené použití Popis vlastností Dokumentace
FileSender Dočasné zpřístupnění/předání dat Webová služba sloužící pro rychlé odeslání velkých souborů jednomu nebo více příjemcům. Proti komerčním řešením je výhodou vyšší rychlost, kapacita a fakt, že data neopustí akademické prostředí. Pro odeslání souboru je potřeba mít platný účet některé instituce, případně pokud odesílatel nemá identitu ve federaci eduID.cz, potřebuje tzv. pozvánku, kterou mu může odeslat přihlášený uživatel. Přijmout soubor může kdokoliv, kdo zná odkaz pro stažení souboru. https://du.cesnet.cz/cs/navody/filesender/
OwnCloud Cloudové úložiště pro ukládání a sdílení dat pro akademickou obec ČR Podobné řešení jako je Alfresco, doporučujeme používat pro sdílení mimo ZČU a pro větší data související s výzkumem a výukou. Dovoluje on-line editaci dokumentů a synchronizaci mezi zařízeními. Typický limit 100 GB na uživatele.

https://du.cesnet.cz/cs/navody/owncloud

Zálohování dat Zálohování výzkumných a výukových dat. Řešení pro vytváření záložní nebo dokonce archivní kopie výzkumných a výukových dat. https://www.cesnet.cz/sluzby/datova-uloziste/
Ukládání a sdílení dat Obecné úložiště dat určené pro vzdělávací a výzkumné účely. Hierarchická datová úložiště jsou postupně nahrazována objektovými úložišti se základním přístupem přes S3 či blokové zařízení. Přidělení základního prostoru 2 TB může být významně rozšířeno na základě popisu konkrétního účelu, lze očekávat prostor v rozsahu desítek TB. https://du.cesnet.cz/cs/navody/object_storage/
Videoarchiv Uložení multimediálních dat a jejich vystavení prostřednictvím streamovacích serverů. Backend pro vytváření multimediálních aplikací, nahrávek přednášek a akcí a další použití. https://www.cesnet.cz/sluzby/videoarchiv/

Specifické situace a jejich řešení

  • Začlenění vybavení pořízeného z projektu do centrální správy (MetaCentrum), pomoc s výpočetním SW, licencemi a optimalizací vědeckého workflow. Kontaktujte nás přes HelpDesk.
  • Datové repozitáře v rámci open science, zpracování data management plánu, pomoc s publikací dat. openscience.zcu.cz

Další služby

Citováno z „https://helpdesk.zcu.cz/index.php?title=Výpočty_a_velká_data&oldid=60967“