Meet up – Metadata v DWH

V rámci prague data management meetup přišlo téma na DWH a metadata. Téma zpracoval Martin Bém a teď už k poznámkám.

„Metadata jsou jednak v business procesu a jednak v analytické části. Tato metadata musí být totožná.“

Tuhle větu si chci zapamatovat s tímto dodatkem – Je to výzva – rozdílná metadata pro stejná data používají často již samotné business procesy -> v analytické části se to pouze akcentuje. A dokud se neshodne byznys, analytika a BI to nikdy nedá -> v těchto situací je nutné být nebo mít senior analytic se znalostí příslušné vertikály.

SQL Developer Data Modeler


Pokud jste si mysleli, že SQL Developer Data Modeler je zadarmo, tak není. Respektive musíte mít Oracle. Je to někde dost schované v licenčních podmínkách, čtěte pozorně.

Model DWH
Viděli jsme tu přístup Adastry, která má v datovém modelu i partition schéma. Je to rozumné, není to rozumné? Neměl by si podobné tabulky zakládat administrator (a taky vyplňovat podobná metadata). Je vhodné mít podobné db admin záležitosti v modelu? Na jednu stranu je nutné vývojáře a anaylitiky vzdělávat, na straně druhé v tom musí být pořádek a jistota, že v tom někdo (omylem samozřejmě) neudělá bordel. A téma důvěry mezi vývojáři, analytiky, adminy a různými manažery si nechme na jindy.

„Metadata typu kód mohou být i bez dat velmi citlivé.“

To bohužel dává smysl – prostě jeden sice dobrý, ale nešťastný komentář, který popisuje vyjímky pro konkrétního zákazníka apod. Třeba, pokud máte kód pro VW, kde je podmínka – IF testova sekvence THEN exec ECO EXTRA EXTRA MODE END.

Existují krabicové extraktory metadat z pwd?


Spíš nic než moc.

Oracle metadata manager

Vytáhne z mnoha zdrojů metadata. Konektorů byla jedna obrazovka tři sloupce cca 180. Adastra s Oracle a nejmenovanou bankou pojedou POC na přínos pro projekt GDPR. Cca na podzim by se měli prezentovat výsledky. Jak vidí GDPR IT dodavatel? Analýzy běží už nyní, hlavní implementační shon nastane na podzim 2017, banky budou muset obhájit, že data uchovávaná nad rámec GDPR systematicky používají pouze k řízení rizika.

Rodná čísla ČR a jejich neřesti


Na konci 70. let je výjimka – nemusí fungovat modulo a výjimek je obecně více. Například existuje paní, která nesplňuje formát datumu (+50), šlo o omyl matrikare. Nejen s cizinci a jejich pořadovými/“rodnými čísly“ je zábava.





Leave a Comment

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *