IS CSRU - Rozbor


#1

Kedze je to dost klucovy projekt (v zakone o egov hladajte modul uradnej komunikacie MUK) a ma sluzit na centralnu distribuciu a cistenie referencnych dat, tak ma to velmi zaujima. Jednak take veci uz dost dlho robim, dvak sme teraz spustili ekosystem.slovensko.digital, ktory v malej miere robi nieco velmi podobne (cistenie a distribucia dat) a po tretie by to mohol byt velmi dobry zdroj open data.

Zatial co mi bezi infoziadost na detailnu funkcnu specifikaciu projektu CSRU - centralna sprava referencnych udajov, tak som si precital studiu uskutocnitelnosti.

Moje postrehy.

  • Celkom chvalim, ze je to studia bez kopca omacok, rozsahom je extremne kratka (50 stran), ked odratam povinnu jazdu tabuliek sluzieb, tak to je fakt citanie na pol hodinu. - zmluvu kolko nas tento dokument stal neviem najst, ale dufam, ze nie viac ako nizke tisice eur.

  • pointa toho celeho ak to chapem je 1) kupit soft na cistenie/master data management dat a 2) na to prilepit nejaku integracnu platformu, nieco co vie poskytovat data push/pull sposobom. + 3) integracie na existujuce referencne/zdrojove registre.

  1. na to je hotove riesenie (napr Talend - ktory sa pokial viem na to kupil) 2) nie je ziadny zasadny problem. da sa hybat od SQL endpointu (easy, ale velke nevyhody), cez denne davky, az po komplikovane veci (distribuovane transakcie a kadeco ine). 3) moze byt problem kvoli sucinnosti a pripadnym zasahom do systemov tretich stran, ale v principe by malo ist len o ETL skripty, ziadna veda.
  • podla studie sa ziadny hw nekupuje, ide to do cloudu. vyborne.

Pri tejto tabulke by som sa zastavil, lebo z mojho pohladu je gro projektu hotova krabica (napr. prave Talend, ktory robi cistenie, MDM…) za 370 800. Kde sa roztopi zvysnych 12.5M eur by som velmi rad videl. Viem si predstavit, ze kazdy zdroj ref. udajov treba znalyzovat, navrhnut sposob ako sa bude tahat, ukladat a v CSRU, ale ziadnu velku vedu tam nevidim.

  • CBA

  • Cistenie dat - Znizenie casu na korekciu o hodinu. Nie je mi uplne jasne odkial su tieto cisla. Dalej ako prebehne korekcia dat - identifikacia duplicity/chybneho udaju je pomerne lahka zalezitost, gro problemu s opravou dat je prave proces toho, ako sa to ma udiat v zdrojovom registri. Podla mna je toto mozne az v pripade, ked budu ine registre a systemy naviazane na referencne registre (pricom vyhlasenych ref. registrov k tomuto dnu podla mna je 0). Cize akekolvek vypocty setrenia casu, toho co sa momentalne asi ani vobec nedeje mi pride trosku uletene.

  • Toky - Netusim co sa mysli pod tokmi.

  • V kazdom pripade by som velmi rad videl ako z tychto ciselok vypocitali tuto tabulku.

Specialne tuto cast.

Lebo system, ktory usetri 3.5+ miliona eur rocne na osobnych nakladoch znie super.

Kto viete nieco viac o tom projekte?
Nenajdete niekto zmluvu kolko stala tato studia?


26.RZ-MVSR-Riadenie procesov a dát pre OÚ, PZ a HaZZ
Dátová integrácia (Konsolidácia nosnej údajovej základne pre sprístupnenie formou otvorených údajov)
#2

Zmluva je tu:
http://www.crz.gov.sk/index.php?ID=1464785&l=sk

V tejto zmluve je aj MetaIS, už tu k tomu aj zľahka bežala diskusia


#3

A ref. údajov už aj je niekoľko vyhlásených, viď.:
http://www.informatizacia.sk/zoznam-referencnych-udajov/22982s

alebo priamo v MetaIS:
https://metais.finance.gov.sk/refregisters/list?page=1&count=20

Napr. je tam RPO :wink:


#4

Fiha, tak to mi uslo, ja som sledoval len ze bude nejaka sprava na informatizacia.sk, ked sa pochvalili aj tym, ze to uz chystaju. http://informatizacia.sk/aktuality-ministerstvo-financii-zavadza-do-praxe-princip-jedenkrat-a-dost/452s22559c?stext=&sekcia=&oblast=&sfrom=&sto=&page=1


#5

Chyba v úvahe. Neexistuje, aby sa ušetrilo na osobných nákladoch. :wink: To by bolo v rozpore siným projektom. Ktorý priamo v zadaní má:

“V súlade s cieľmi OPIS má byť na konci programového obdobia 2007-2013 vytvorených 1 541 pracovných miest ako priamy dôsledok implementácie programu.” - na analýzu ako sa to podarilo bolo vyčlenených 118 500,00 €. V tom projekte sa nehovorí nič o kontrole úbytku na základe odstránenia administratívy.

(Názov projektu: Zabezpečenie analýzy vplyvu operačného programu Informatizácia spoločnosti na tvorbu pracovných miest (21140120041))


#6

Ako vypočítali tú tabuľku? Podľa tohto:

V záverečnej CBA, ktorú predkladali po ukončení projektu, sa im tá návratnosť ešte zlepšila na rok 4, nie 6.
Narástli tam totiž nepriame úspory času používateľov, čo sú vlastne úradníci na druhej strane, ak tomu dobre rozumiem:

V tej pôvodnej je len toto:

Tiež by ma zaujímalo, čo sú toky výmeny údajov, tipujem z brucha, že je to programovanie nejakého prepojenia dvoch systémov, ktoré nemali spolu komunikovať?

Samozrejme, nikde nie je popísané, že ako tá úspora HR nákladov skutočne nastane - vyhodia sa ľudia? Nebudú sa hireovať noví, lebo týchto presunieme inam?


#7

:scream: Toto znamena, ze vychadzaju z toho, ze pokial sa ten system nespravi, sa budu kazdy rok cistit a opravovat stale tie iste udaje?


#8

Tak ako píšu v tej štúdii: priemerný ročný počet údajov, ktoré vyžadujú korekciu, je 300 000.
Neviem čo presne tým myslia, ale tak asi čakajú, že sa každoročne nájdu nejaké chyby…

Teda predstavujem si to tak, že niekto v OR zadá meno firmy a zoznam konateľov spolu s adresami.
Potom si jeden z konateľov zmení trvalý pobyt.
Táto zmena sa prejaví niekde inde a v OR je teda “chyba”. Tak ju treba manuálne opraviť?
Alebo niekto v SP spraví preklep a nebude sa dať automaticky spojiť SZČO, registrovaný v SP, so SZČO v ŽR?
Alebo sú to iné chyby?


#9

Ja to chapem takto:

V momente ked sa vyhlasi register za referencny, plati prechodne obdobie, ked sa musia v systemoch zacat pouzivat identifikatory, ktore smeruju na referencne registre/data. Cize napriklad teraz mame ako referencny RPO, tak vsetky systemy by mali zacat pouzivat identifikatory z RPO. Ak chcu mat okrem identifikatora aj ine udaje (to asi urcite chcu), tak si ich musia dotiahnut - proste tam musi byt nejaka synchronizacia.

Lenze, toto nema vobec nic s CSRU. Uspora toho, ze uz nebude treba robit taketo opravy nie je zasluha CSRU, ale toho, ze mame referecny register a iny system sa na neho napoji. CSRU toto cele len centralizuje a dava na jedno miesto. Z tech hladiska je jeden integracny bod dobry napad, ale ta uspora bude uplne ina a udeje sa uplne inde.


#10

S DFS to nebude take lahke.

Zvysok tu:

CSRU-plan.pdf (31.9 KB)

zonfp_CSRU.ZIP (4.4 MB)


Dátová integrácia (Konsolidácia nosnej údajovej základne pre sprístupnenie formou otvorených údajov)
#11

neprepadaj panike, keďže termín tak takto, myslím, že chceme a možno aj vieme vyhovieť


#12

Bude to riesit aj service discovery pre uz existujuce API? Je to podla teba lepsie riesit centralne alebo nechat API na jednotlive projekty a spravit discovery API. Budu cez to komunikovat aj systemy medzi sebou v sulade s eat your own dog food?


#13

Z toho co som cital to tak nevyzera.

Dokonca je to v zakone platnom od zaciatku roka, ze ina moznost ako sa dostat k ref udajom ako cez toto nie je.


#14

Inak ten som otvoril a prestavam uplne rozumiet co ten system vlastne robi. Integracny_manual_sluzieb_v1.6.5 (1).odt (977.5 KB)

Toto su sluzby co to ma robit.

V tabulke pojmov.

Toto chcem vidiet v praxi. Ale ine ma zaujalo. Co su to teda tie konsolidovane udaje? Ked opravu treba vykonat v referencnom registri? CSRU predsa nemoze len tak nieco zmenit a poslat to konzumentom. Ci?

Toto je bez komentara.

Volajme to teda Schrodingerova operacia.

Toto sem musim dat cele. Nahrate na SFTP data, zavolate SOAP sluzbu s menom suborov, spusti sa import, potom sa spusti kontrola kvality udajov pricom vystup sa ulozi na SFTP a niekto dostane emailom odkaz na tento subor. WOW.

Nieco o tom ako bude prebiehat vymena dat.

V skratke - jedenkrat a dost, ale az zajtra. Kedze synchronizacia sa deje v davkach. Pripadne bude treba pouzit synchronne volanie, ktore prelezie cez ESB v CSRU, vojde do sluzby v zdrojovom/referencom registri a vrati to oblukom odpoved.

Tie casy odozvy pre synchronne sluzby dufam nie su v sekundach.

Z tohto co som doteraz videl to bohuzial vyzera tak, ze kupili Talend, k tomu prilepili ESB a vystavili sluzby Talendu cez nejaky divny SOAP/SFTP interface.

BTW ceny Talend

Roundtable youre counting 6k USD per developer plus maintenance per year, gut i guess its highly negotiable, depending on team size and skills of your sides negotiating skills :wink: But don’t quote me on that one.
https://www.quora.com/What-is-the-commercial-license-cost-of-the-Talend-ETL-tool

a

http://assets-production.govstore.service.gov.uk/G5/0895/5.G5.0895.018/QD4/Talend%20Pricing%20Document.pdf

Pozor rok 2013.

Myslim, ze teraz je naozaj na mieste otazka, ze co sa v tomto projekte urobilo za tych 12.5 miliona eur (teda celkova suma - licencie v SU). Naozaj velmi zaujimave by boli zdrojaky a vykazy.


#15

to mám pochopiť tak, že čoskoro pristane 211tka na toto? Alebo to som si mal iniciatívne domyslieť? :slight_smile:


#16

cista provokacia :smiley:


#17

CSRU mal poskytovať ISVS údaje z iných ISVS. Napríklad ak k agende dane z nehnuteľnosti potrebujete potvrdenie o tom, že riešený človek je TZP tak by ste ho nemali vôbec zháňať, či pytať od občana (či elektronicky alebo listinne ) ale pri riešení agendy spravíte dopyt na CSRU a ono vám to vráti údaje, ktoré inak su v UPSVaR a teda nie je potrebné sa pre nejaké dáta integrovať na x IS, stačí na jeden. Tie sync naprieč IS (zmena bydliska to by mohol robiť tiež, ale nato momentalne pripraveny nie je (pokial ja viem). Ak si dobre pamatam, tak sa začal robit niekedy na jar 2015, v auguste sme uz mali testy na tu ich uni-sluzbu a v novembri nam pustili prod. Cize sa to robilo rychlo, preto aj by som celkom zvedavy na vykaz prac lebo to uz idu do stoviek ludi :). Ta cena je celkom sok. Som tak myslel ze to stalo desatinu. Za pol roka dat cca 10 mil, aj ked dam 800 Eur MD tak to vychadza ze tam muselo robit minimalne 80-100 ludi sucasne. A to by sme na slovensku asi pocitili. Ibaze by to HP robilo v indii.


#18

A post was merged into an existing topic: Kto s kým a ako – alebo modul úradnej komunikácie (CSRU, G2G, MVSR-RFO a spol., RPO)


#19

FYI: Poslal som dnes dalsiu infoziadost k projektu, pytam si vykazy, akceptacne protokoly, hw specifikaciu, etc. Az pride odpoved tak sem hodim.

Pribeh s DFS je smutnovtipny.

  1. Odpoved na prvu infoziadost som dostal z UPII aj MF. Bola takmer identicka (az na tel. kontakt), co ma zmiatlo az natolko, ze som volal na ine cislo a pytal, sa ako dopadlo vyciernovanie DFS a jej spristupnenie. Samozjreme pani na UPII netusila o com som sa rozpraval s pani na MF. :slight_smile:

  2. Budem tam musiet ist osobne, lebo: Vyciernovanie by zaberalo vela casu , su tam vraj nejake informacie (asi o kritickej infrastrukture), nemaju to v el. forme (!!!) a museli by to skenovat, a je to dlhe (300+ stran). Sice uplne nerozumiem ako vyciernovanie zaberie vela casu a pripravenie dokumentu, aby som do neho mohol nahliadnut sa lisi, ale budiz. Cize tam na buduci tyzden skocim a budem si to pozerat na mieste. Potom sem napisem nejake highlights.


#20

vela odpovedi by mal poznat Albin Kotian
vsade kde zbadate jeho meno zacnite klast dobre otazky