Mame tu novu studiu, javi sa to ako pokracovanie CSRU. https://metais.finance.gov.sk/studia/detail/6a3eda58-d61a-33e8-4034-33afda4eb51a?tab=documents
Pre osviezenie pamate, zopar topicov k tomu tu:
Prijimame pripomienky.
Štúdia betónuje postavenie produktu Talend MDM Platform v technologickej architektúre.
Rovnako sa “betónuje” aj on-premise architektúra vo vládnom “cloude” (rozumej datacentrum s virtuálmi servermi).
Cena za integráciu jedného datasetu (len na strane CSRU) je 26.875,-€ a cena za zapojenie konzumenta je 32.083€. V prvom prípade - producenti takmer 200 OVM a v druhom - konzumenti takmer 300.
Ak by takéto sumy dostali chalani za platforma.digital.slovensko tak sú v balíku už teraz. 
toto by som nevnímal ako problém. Skôr naopak. Či už niekto chce, alebo nie, pri velkých implementáciách je nutné si vybrať kľúčovú technológiu (-ie), ktoré sa na dlhý čas stanú nosné. Nie je nič nechutnejšie pre administrátorov, než aby sa na každú parciálnu funkcionalitu učili adminstrovať iný server od iného výrobcu a ešte nebodaj totálny FOSS bez dokumentácie a záruky … 
Kto by radsej cital Wiki,tak: https://wiki.finance.gov.sk/display/SU/SU-MD-su_86
Len dúfam, že podmienkou účasti v tendri nebude “projekt realizovaný na technológii Talend”.
Zrejme bude podmienka ucasti striktnejsia: Musi to byt niekto, kto pred tym dodal CSRU. (evidentne totiz nepojde len o nakup dodatocnych Talend licencii) Asi ako tu: Rozšírenie funkcionality IS Doklady .
Nuz a k veci (nadviazem na ÚPVII Pracovná skupina K9.4 Lepšie dáta ):
No tak podme na to:
- pre realizáciu princípu „Jeden krát a dosť“ a sprístupňovanie otvorených údajov pre „kritickú masu“ OVM.
ciele:
- zavedenia manažmentu údajov vo VS (data governance)
- implementácie master data managemet pohľadu na dáta VS
- riešenia dátovej kvality
Nepredpokladá sa zmena platformy pre dátovú integráciu, dátovú kvalitu a ani pre manažment údajov (TALEND). Taktiež sa nepredpokladá zmena na úrovni technologickej architektúry.
vystupy:
Služby pre virtualizáciu dát
Zápisová služba pre komunikáciu zdrojového a referenčného registra
Priamy „push model“ distribúcie údajov
Mechanizmus komunikácie o zmenách údajov
Služby manažmentu a distribúcie kmeňových údajov (číselníky, MDM)
Služba vyhľadávania Zabezpečenie údajov pre službu „Moje dáta“
Nástroje pre správu oprávnení
Vytvorenie GUI pre prístup k registrom a referenčným údajom
Vytvorenie platformy generického registra Služby manipulácie, anonymizácie (pseudoanonymizácie) a transformácie údajov
Služba poskytujúca údaje pre nadstavbový modul „Moje dáta“
Co je to virtualizacia dat?
Dôležité je, aby bola podporená automatizácia zdieľania údajov medzi jednotlivými informačnými systémami verejnej správy a súvisiace odstránenie manuálnych činností pracovníkov verejnej správy (prepisovanie údajov z jednej aplikácie do druhej)
Toto prosim pekne kto dnes takto robi?
Tieto údaje budú na jednom mieste čistené na duplicity a chyby a budú poskytované konzumentom už som zabezpečenou kvalitou. Zapojenie nového poskytovateľa teda v praxi znamená integrácia, čistenie údajov, štandardizácia, vyhlásenie údajov ako referenčných.
Tato predstava je zaujimava, avsak v praxi ju vidim velmi tazko vykonatelnu. CSRU 2.0 resp. platforma datovej integracie sa dostane do podobnej situacie ako RPO - budu mat u seba kopec “spinavych” dat z roznych zdrojov, ktore vycistit NEmozu, lebo zodpovedny za data je niekto iny.
Pripájanie tejto kritickej masy bude riešené centrálne a systematicky. Samotný proces dátovej integrácie sa výrazne zjednoduší a automatizuje. Zavedie sa nový biznis model riadenia služby. Zámerom je, aby bolo možné pripojiť konzumenta údajov do jedného týždňa a poskytovateľa údajov do dvoch týždňov.
Ciel je dobry, ale preco na toto potrebujeme centralne riesenie? Co brani mat jeden tvrdy standard API na rozne trebars aj decentralizovane endpointy? Alebo urobit mikrosluzby na ciastkove veci? Nebolo by lepsie skor spravit nejaky jednotny proces integracneho zameru, ktory bude velmi jednoduchy? Z mojej skusenosti toto bol ovela vacsi problem ako technicke problemy alebo aj rozne API.
Prvá fáza (prvých 9 mesiacov) bude zahŕňať poskytovateľov vysokej priority a konzumentov údajov už evidovaných. Znamená to, že sa integrujú inštitúcie ako MV SR, MS SR, MF SR, MŠVVaŠ SR, ÚPSVaR, GP SR, ÚGKK SR a ďalší. Po skončení fázy 1 budú vytvorené podmienky pre použitie objektov evidencie ako sú údaje fyzickej osoby v RFO…
O tomto MV alebo take MZ vie? Predstava, ze cez nejaky centralny komponent na UPVII potecu data o fyzickych osobach sa mi nejako spaja s ich paranoiou.
V praxi sa ukázala potreba rozšírenia tejto množiny konsolidovaných údajov použiteľných na právne účely z dôvodu zefektívnenia procesov verejnej správy, a to ich poskytovaním na jednom centrálnom mieste.
Citation needed! Kde v praxi?
Alternativy
Alternatíva: A - „Ponechanie súčasného stavu",
Alternatíva: B - „Vybudovanie nového systému pre konsolidáciu nosnej údajovej základne pre sprístupnenie formou otvorených údajov“,
Alternatíva: C - „Využitie existujúceho IS CSRÚ ako základu pre konsolidáciu nosnej údajovej základne pre sprístupnenie formou otvorených údajov“,
Alternatíva: D - „Realizovanie integrácií jednotlivých OVM priamym prepájaním integrujúcich sa systémov VS“.
Pre decentralizovany system D su oznacene tieto ciele ako nesplnene (N). Povazujem to z velkej casti za uplnu blbost, alebo nieco kardinalne nechapem. Takze postupne jednotlive ciele
Alternatíva „Vybudovanie nového systému pre konsolidáciu nosnej údajovej základne pre sprístupnenie formou otvorených údajov“ predpokladá vybudovanie samostatného informačného systému, ktorý zabezpečí vytvorenie požadovanej údajovej základne, v ktorej budú zahrnuté ako údaje aktuálne obsiahnuté v IS CSRÚ tak aj identifikované nové požiadavky na prístup k údajom. Údaje aktuálne obsiahnuté v IS CSRÚ budú získavané priamo zo zdrojových systémov.
Chapem spravne, ze vsetky tieto udaje sa budu zhrnat na centralne miesto? O_O Toto zavana pruserom.
Budovanie nových prepojení medzi IS VS za účelom vzájomného poskytovania referenčných údajov je v rozpore s integračnou architektúrou NKIVS 2014-2020, ktorej cieľom je optimalizovať ad-hoc integrácie medzi systémami a zabrániť dramatickým nárastom zložitosti či nákladom na údržbu prepojení. Z toho dôvodu je toto riešenie zamietnuté.
Toto povazujem za neuplne. Prechod na centralne riesenie nie je nutnou podmienkou na toto. Samozrejme ad-hoc integracie sa vypomstia rychlo, ale nie je nutne na toto mat centralne riesenie. V klude na toto vie byt lokalne instalovane balikove riesenie. Podobne ako open data node.
Preco centralny projekt? - ake su usecasy?
Co su to konsolidovane udaje? a kto a ako ich bude vlastne pouzivat? nie su to jednoducho tie bajne referencne udaje, ktore maju odkazy na ine referencne udaje? Toto nam prinasa vyhlasenie ref. registra a ref. udajov aj v uplne decentralizovanom modeli.
Co ja povazujem za skutocne vyhody centralizacie:
A teraz, aby som nefrflal, ale aj pomohol:
Naprv predpoklady:
Prizmurim teda oko a budem hladat nejaky ekvivalent v komercii, kde taketo nieco existuje. Je to Facebook a jeho GraphQL len to funguje trosku inak. Je to centralne API, ktore riesi autentifikaciu/bezpecnost/logovanie/jednotne API, avsak vo vnutri moze dopytovat uplne rozne backendy.
Napriklad tu je priklad ako to spravit pre jedno volanie co ide na 3 rozne backendy REST, SQL aj Mongo Tutorial: How to build a GraphQL server - Apollo GraphQL Blog
Cize query na Slovensko.Digital, ktora nieco vytiahne z RPO, RA, statistickeho uradu (ciselniky), dokonca posty (PSC) ci financnej spravy (DIC/ICDPH) by mohla vyzerat nejako takto:
query {
legal_subject(cin: 50158635) {
name,
tin,
vatin,
address {
street_name,
street_number,
street_registration_number,
postal_code
municipality
country
},
}
}
A na toto tie data vobec nemusia byt lokalne a vobec to nemusi byt take pomale ako to vyzera. vid napr https://youtu.be/etax3aEe2dA?t=18m3s - ciselniky sa daju cachovat atd.
Suma sumarum:
…plne suhlasim…rovnako sa na to pozeram aj ja…
OVM si v ramci ich IS budu musiet aj tak najprv urobit alebo upravit rozhrania, aby data do tej navrhovanej platformy dostali…cize tu sa to moze zastavit a postacuje spristupnit rozhrania…zacnu sa pouzivat a myslim si, ze rychlejsie ako keby tam mala prist este faza budovania/upravy datovej platformy a spristupnenie dat cez nu, pouzivanim sa vychytaju muchy, chyby a pod. ukaze sa o co je zaujem a o co nie a co teda ma zmysel pripadne do tej datovej platformy neskor migrovat a aj v akom poradi
tiez som zastancom decentralizovanych rieseni
…nakolko ide o rozvoj CSRU…nemali tieto funkcionality uz existovat v ramci sucasnej verzie CSRU, kedze v zmysle zakona 305 uz teraz poskyuju referencne data?..
…podla tvrdenia to znamena, ze aktualne v ramci CSRU nie su data cistene…
…mna by skor zaujimalo, ze ktore konkretne datove struktury za tieto OVM su prioritne…
…tato poziadavka zaroven implikuje poziadavku na bezpecnostny projekt s dorazom na spracovanie osobnych udajov…
Ahojte,
dovolím si uviesť pár informácií. Včera odišli pripomienky k uvedenému zámeru od ITASu, do ktorých som mal možnosť vstúpiť, keďže som členom PS1 za ITAS a aj K9.4. Som zástupcia frakcie ITAS-LinkedData 
samozrejme, a v takom duchu boli aj pripomienky, tj. že pôvodná textácia tak ako bola publikovaná, zaťiaľ nesĺňa niektoré ciele, pre nás klúčové, tj. povinnosť používania URI identifikárotov registrovaných cez MetaIS, či povinnosť zosúladenia sa a rozšírenia Centrálneho modelu údajov verejnej správy založeného na Ontológiách. Po intenzívnej debate sme ale našli spoločné znenie uvedených pripomienok.
Celkovo vzniklo cca 13-LinkedData pripomienok, drvivá väčšina je o spresnení textácie, napr. táto
alebo podobné
S týmto musím súhlasiť, takáto textácia o použití TALENDu by tam podľa mňa nemala vôbec byť takto formulovaná. Takto sa mi to podarilo aspoň posunúť, že treba stavať na všetkom dobrom čo existuje, či je to už CSRU, alebo Modul elektronickej demokracie, aby sa využili už vytvorené a pripravené projekty. Podmienka toho, že by sa nemala predpisovať implementačná architektúra ale skôr napĺňanie cieľov by sa podľa mňa mohla objaviť v pravidlách na štúdie uskutočniteľnosti, čo skúsim načrtnúť na najbližšej pracovnej skupine K9.4. Tak trochu dúfam že aj na úrade UVPII spracujú finálnu verziu štúdie tak, že nebude obsahovať žiadne vynútenie akejkoľvek konkrétnej technológie.
Suma sumárum: Aby som to spresnil, nie som proti TALENDu, ale celková problematika správy referenčných údajov s podporou URI, resp. ontológií ďaleko presahuje TALEND. A efektívna implementácia CSRU s podporou Centrálneho modelu údajov a URI bude ešte challenge. Ale toto je všeobecný problém, nie len tohto projektu. I keď sa snažíme postupne presadzovať LinkedData, je nám jasné že nás čaká ešte éra, kedy sa jednoducho nedá okamžite nahradiť súčasná architektúra za nové grafové databázy, čiže nám naozaj teraz nejde o sémantické technológie (o prostriedok), ale o použitie URI a Centrálneho modelu (cieľ). Predpokladám že aj keĎ raz Slovensko.Digital začne používať URI, tak tiež nezhodí svoju vybudovanú infraštruktúru, ale v prvej fáze bude skôr obohacovať relačné dáta o URI.
Čiže z tohto dôvodu a podpory LinkedData štúdiu vnímam pozitívne, ale ako som napísal, kľúčové bude urobiť celkovú architektúru správne.
Este som sa kukol na tu CBA:
To zapojenie konzumenta je dufam nejaky vtip. 32tisic eur za to, ze niekomu spristupnim API? Prosim rozbit na dva riadky, pridavanie DQ k tomu len zbytocne pridava sum.
To je tak zle urobene to CSRU, ze tam treba kazdy jeden dataset pridavat cez nejaky change request za 30K a aj konzumenta?
Na strane štátu sa očakávajú prínosy najmä v podobe odbremenenia štátnych zamestnancov od neproduktívnej administratívnej práce, usporia sa náklady na poštovnom, nižšie budú aj časové/finančné náklady súvisiace s tlačením množstva dokumentov. V neposlednom rade sa podstatne zjednoduší prístupu k informáciám o občanoch/podnikateľoch.
Čistá súčasná ekonomická hodnota (ENPV) : 89 470 252,37 EUR
Rok návratu investície (PBP) : 4. Rok (od začiatku realizácie projektu)
Ak teda chceme zaratat usporu na administrative v tomto projekte, dufam, ze uz v ziadnom inom ktory sa na CSRU bude integrovat (t.j. skoro vsetky), sa to zapocitavat do prinosov nebude.
Uvaha na zaklade toho, co som dnes pocul na K9.4: V “starom CSRU” bolo vraj velmy nedostakom, ze “pripajanie” zacinalo ebatou medzi niekym (prevazkovatel CSRU?) a nieym dalim (ten kto sa mal pripojit a dat do CSRU data), ze teda:
Nasledne sa pracne “dokazovalo”, ze teda zakon nebrani.
Vraj.
Tot eda uvaha: S tym teda mozno pocitaju aj nadalej, preto taka vysoka cena. Skoro by som povedal “vykupne”, len teda neviem kolko z tej sumy bude realne koncit u OVM.
Ak uvazime, ze mnohe z tych API/datasetov by mali byt aj Open Data a teda zadarmo, tak to by mala byt takmer cisto cena za SLA, t.j. nejake vyrzne vyssie garancie dostupnosti a vykonu. Ale aj to je zatial len moja uvaha.
Ja som tiez pozrel CBA, ale z prinosovej strany. Je to zaujimave. Rataju ze ked spravia projekt tak:
Tieto dva parametre robia takmer vsetky prinosy (15mil rocne na usetrenom case):
Tiez mam pocit, ze s tymi istymi usporami ratali pri CBA povodneho CSRU, avsak uz sa neda stiahnut z informatizacia.sk. Nema to niekto u seba?
Myslim, ze tu je mirror. IS CSRU - Rozbor Respektive aspon ta CBA co bola pri ZoNFP.
Vyzera ze pouzili velmi podobnu, ak nie rovnaku logiku, akurat v novom projekte su prinosy este vyssie.
Kedze vsak CSRU je uz realizovane, malo by byt mozne preukazat, ci tie benefity z povodnej CBA naozaj nastali…alebo ci boli iba fiktivne.
No nie je to fantasticke, ze zase raz sme nasli projekt, ktory zarobi/usetri X penazi, naklady su presne X penazi a este sa to cele trafi presne do potrebneho roku navratnosti podla EU pravidiel?
Na dnešnej prezentácii projektu bolo uvedené, že je plánované že bude financovaný zo špecifického cieľa 7.5 OPII. To je “Zlepšenie celkovej dostupnosti dát verejnej správy vo forme otvorených dát”. Aj podľa aktuálneho názvu štúdie je toto vlastne podávané ako OpenData projekt.
Problém je však v tom, že celá štúdia je o G2G integráciách, 1x a dosť a OpenData sú tam iba zopárkrát spomenuté.
To však, ako vieme, nestačí. Aby bolo uveriteľné, že naozaj pomocou tohto projektu vznikne podstatné množstvo nových OpenData datasetov, je potrebné už v štúdii:
Zahrnúť OpenData do celého “cyklu” spracovania každých (referenčných) údajov, ktoré budú projektom pokryté
V štúdii popísať podstatné veci týkajúce sa publikovania údajov. Špecificky, keďže storage/endpointy/SLA pre dáta sú dnes komodita, je v štúdii nevyhnutné posúdiť tieto alternatívy: publikovanie OpenData ako nadstavba MÚK, použitie MOD ÚPVS, alebo použitie “komerčného” riešenia, t.j. služby vládneho cloudu poskytovanej externými subjektmi.
Od začiatku rátať so spoluprácou s používateľmi otvorených údajov a istou flexibilitou (keď už nechcem povedať agilnosťou) pri hľadaní optimálnej štruktúry sprístupňovaných údajov - viď. pozitívny príklad OpenData ITMS2014+
hadal by som, že to sú tie integračné dohody, vieš 3 stranne meetingy, právnici, technici, manažéri, eskalácie, nekonečná mailová komunikácia, nakoniec vypracovanie dokumentu, jeho pripomienkovanie, prepracovanie, zapracovanie zmien a nakoniec jeho podpísanie,
potom to už iba sprístupníš 
Na prezentácii bolo povedané, že predpokladaná suma za projekt - aktuálne 16,1M€ - bude pokrývať nielen technické riešenie pripojenia údajov do MÚK, ale aj celé “papierové” spracovanie príslušných integrácií. Náklady majú byť zhruba na polovicu rozdelné:
Pri takýchto sumách, ak sa skutočne podarí naplniť ciele projektu, to považujem za obrovský pokrok oproti doterajšiemu stavu. A to nielen v porovnaní s pôvodným projektom CSRÚ. Veď v aktuálnych štúdiách sú na integrácie kalkulované astronomické sumy - a z veľkej časti na základe predošlých skúseností z anabázy spojenej s integráciami. Povedzme len v nedávno schválenej ŠÚ pre Obchodný register je na integrácie + OpenData spolu kalkulované 1,75M€.
Tento projekt by mal preto nastaviť nový štandard pre integrácie (dátové, nie zápisové). Aj čo sa týka procesu, technickej realizácie, aj nákladov.
Ale pozor, tento projekt nerieši upgrade CSRÚ. Na to bude nová štúdia, tiež s určite aspoň 8-ciferným rozpočtom. Niekde by to malo byť na jednom mieste popísané, aké projekty budú a aké celkové náklady sú na to odhadované.
