CIV:Granty/Sběr a zpracování provozních dat pro vyhledávání systémových anomálií
| Sběr a zpracování provozních dat pro vyhledávání systémových anomálií | |
|---|---|
| Základní údaje | |
| Agentura | Fond Rozvoje CESNET, z.s.p.o |
| Evidenční číslo | 323/2009 |
| Stav | závěrečná zpráva přijata |
| Lidé | |
| Řešitel | Ing. Jiří Bořík |
| Spoluřešitel | Ing. Luboš Kejzlar |
| Termíny | |
| Začátek | 2.2.2010 |
| Konec | 2.2.2011 |
Obsah projektu
Projekt řeší sběr, předzpracování, uložení a zobrazování různých provozních a systémových dat z heterogenního výpočetního prostředí. Získaná data jsou určena pro vyhledávání anomálií a optimalizaci ICT služeb.
Komponenty řešení
Zdroje provozních dat
Veškeré veličiny, které souvisejí s provozem informačního systému a které obsahují informaci o obvyklém/neobvyklém stavu systému. Například:
- Linux - základní výkonové údaje (load, traffic, mail queue…)
- Windows - NSClient++ (Nagios klient)
- Kerberos - počty přihlášení k jednotlivým strojům
- Webové servery – počty přístupů k jednotlivým aplikacím
- Oracle - Automatic Workload Repository (AWR)
Podrobněji viz též seznam datových zdrojů.
Předzpracování a uložení dat
Předzpracování dat: agregace, normalizace, identifikace zdroje, kategorizace údaje... Příklad vzorku dat viz obrázek.
Uložení v SQL databázi (MySQL).
Statistické zpracování
Metoda detekuje okrajové hodnoty provozních veličin pomocí průměru a směrodatné odchylky historických vzorků. Při výpočtu je odstraněna denní a týdení periodická složka.
Vizualizace
Je použito plošné zobrazení hodnot s využitím barvy jako třetího rozměru. 
Podrobnější popis řešení je zde.
Odkazy a dokumentace
- stránka projektu FR CESNET 323/2009
- prezentace projektu na semináři CIV
- seznam datových zdrojů
- popis řešení v závěrečné zprávě
- článek "Provozní data a co s nimi" v Data Security Management.
Zdroje provozních informací
- Nagios sondy Performance data
- Windows NSClient++
- ORACLE Automatic Workload Repository (AWR)
- ORACLE stats$sysstat table
Statistické výpočty a metody
Nástroje pro vizualizaci
- Nagios - The Industry Standard In Open Source Monitoring
- MRTG - The Multi Router Traffic Grapher
- The DAVIX Live CD
Související konference v roce 2010
Seznamy konferencí: kdnuggets, ACM Calendar of Events
- The 25th ACM Symposium on Applied Computing 21 - 26 March 2010, Sierre, Switzerland
- 32nd European Conference on Information Retrieval, 28-31 March, Milton Keynes, UK
- IVAPP 2010 - International Conference on Information Visualization Theory and Applications 17-21 May 2010, Angers, France
- The annual machine learning conference of Belgium and The Netherlands, May 27th - 28th, 2010
- 27th International Conference on Machine Learning (ICML), Haifa, Israel, June 21-24, 2010
- 20th International Conference on Inductive Logic Programming (ILP 2010), Firenze, Italy, from Sunday 27th to Wednesday 30th June 2010
- International Conference on Rough Sets and Current Trends in Computing (RSCTC 2010) June 28 to 30, 2010, Warsaw, Poland
- International Conference on Scientific and Statistical Database Management (SSDBM), June 30 - July 2, Heidelberg, Germany
- International Conference on Biomedical Data & Knowledge Mining: Towards Biomarker Discovery, 7-9 July 2010, Chania,Greece
- 10th Industrial Conference on Data Mining ICDM 2010 July 12 - 14, 2010, Berlin/Germany
- 33rd Annual ACM SIGIR Conference 19-23 July 2010, Geneva, Switzerland
- Computer Graphics, Visualization, Computer Vision and Image Processing 2010 Freiburg, Germany 27-29 July 2010
- IADIS European Conference on Data Mining 2010 Freiburg, Germany, 28 - 30 July 2010
- The 2010 International Conference on Advances in Social Networks Analysis and Mining 9-11 August, 2010, Odense, Denmark
- European Conference on Artificial Intelligence - ECAI 2010 16-20 August 2010, Lisboa, Portugal
- 21st DEXA Conference Bilbao, Spain, University of Deusto, 30 August - 3 September 2010
- 14th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems 8, 9 & 10 September 2010 Cardiff, Wales, UK
- The European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), September 20th to 24th, 2010, Casa Convalescència, Barcelona, Catalonia, Spain
- IC3K: 2nd Int. Joint Conf. on Knowledge Discovery, Knowledge Engineering and Knowledge Management, Oct 25-28, Valencia, Spain
