Komisia pre štandardy ISVS - PS1


#1

Po obnoveni fungovania KS ISVS (vid Komisia pre štandardy ISVS) sa zacina aj fungovanie PS1. O jej cinnosti bude teda tento topic.

Oficialny Wiki spejs: https://wiki.finance.gov.sk/pages/viewpage.action?pageId=7798788


Komisia pre štandardy ISVS
Komisia pre štandardy ISVS
Sémantické dátové štandardy pre údaje verejnej správy SR
#2

Najblizsie zasadnutie PS1 sa bude konat 11.4.2017 o 11:00 na UPVII.

Vo Wiki zasadnutie zatial nahodene nie je, takze aspon prepis programu z nascanovanej PDF pozvanky:

  • navrh standardu pre tvorbu a pouzitie referencneho URI
  • novela vynosu o jednotnom formate elektronickych sprav
  • schvalenie pouzivania velkych pismen v ref_id
  • schvalenie ref_id
  • NKIVS - datove standardy: metodika tvorby konkretnych URI, metoda a proces centralneho pridelovania ref_id, navrh ontologickrho datoveho modelu, navrh standardov pre analyticku vrstvu, IoT a Big Data
  • dohodnut jednotne pouzivanie casu a jeho interpretacie

Za SOIT tam planuje ist @msurek.


#3

Kto je teda vedúci PS1?


#4

Pozvanka prisla od PhDr. JUDr. Ervína Šimka.


#5

Dnes bolo prve stretnutie PS1. Nerobil som si kompletny zapis nakolko ten posle Simko. Bolo to uvodne stretnutie kde sa riesila zarucena konverzia ako aj URI. Semanticke datove standardy prezentoval @liska a ja. Mame spracovat kompletny material do najblizsieho strenutia na pripomienkovanie a popripade schvalovanie ak nebudu namietky a poslat ho clenom v dostatocnom predstihu aby sa vedeli vyjadit, ktore je predbezne dohodnute na 9.5. Cast navrhu standardovje uz zavesena v MetaIS a tak je mozne si material prezerat. Ide zatial iba o pracovnu verziu tj. nie je dokoncena a preto ju treba brat s rezervou (https://wiki.finance.gov.sk/pages/viewpage.action?pageId=14713037). Zaroven sa ma zacat riesit XSD a standardizovane datove schemy.
Celkovo cela standardizacia bude prebiehat verejne cez MetaIS, cez ktory budu riesene aj pripomienky. Semanticke datove standardy budu samozrejme dopredne publikovane aj tu na platforme v okamihu ked budu uhladene a pripravene na poslanie do PS1.


#6

Update od p. Simka: “Chcem Vás všetkých informovať že vopred schválený dátum 9.5.2017 2.zasadnutia PS 1 nie je možne z technických príčin zabezpečiť. Podarilo sa zabezpečiť termín 12.5.2017 v čase 09.00 hod do 15.00 hod.


#7

p. Šimko poslal oficialny zapis, ktory je zverejnený je na MetaIS : https://wiki.finance.gov.sk/pages/viewpage.action?pageId=21169449&src=contextnavpagetreemode


#8

Dalsie stretutie PS1 bude 12.5.2017, vid https://metais.finance.gov.sk/standardization/meetingdetail/6 . Agenda:

  • Novela Výnosu č. MF/009269/2014-173 (Opatrenie) o jednotnom formáte elektronických správ
  • Schémy správ Sk-Talk – aktualizácia XSD a súvisiacej dokumentácie zverejňovanej na slovensko.sk v spolupráci s NASES
  • Metodika tvorby XSD schém
  • Návrh štandardu pre metódu tvorby a použitia referenčného URI identifikátora
  • NKIVS - dátové štandardy
  • Metodika tvorby konkrétneho URI identifikátora pre danú entitu (syntax a sémantika referenčného URI)
  • Metóda a proces centrálneho prideľovania referenčných URI identifikátorov pre údaje ISVS pre všetky referenčné údaje

#9

Do pracovnej skupiny PS1 som práve poslal tri návrhy patriace do Sémantických dátových štandardov, a to konkrétne:

  1. Metodika tvorby URI identifikátorov pre údaje ISVS
    https://metais.finance.gov.sk/standardization/draftdetail/698

  2. URI identifikátory vybraných entít I.
    https://metais.finance.gov.sk/standardization/draftdetail/699

  3. Centrálny model údajov verejnej správy založený na ontológiach (v.2017-05-05)
    https://metais.finance.gov.sk/standardization/draftdetail/700

Zároveň som poprosil úrad, aby bolo prerokovanie čo najviac otvorené a verejné, pretože štandardy sa postupne dotknú všetkého kľúčového informačného obsahu a projektov pre ISVS.


#10

Kratke zhrnutie za cas od 6.5.:

Konalo sa stretnutie 12.5.2017 k:

  • novela výnosu o jednotnom formáte elektronických správ
  • metodika tvorby XSD schém
  • metodika tvorby referencovateľných identifikátorov

Zapis: https://wiki.finance.gov.sk/pages/viewpage.action?pageId=21594330

Dalej sa konalo stretnutie 30.5.2017 (resp. 25.5.? - nesulad v informacii medzi Wiki a MetaIS) ale nebolo uznasaniaschopne (vid https://wiki.finance.gov.sk/pages/viewpage.action?pageId=22642716) takze …


#11

K 6.7.2017 boli projate tieto tri navrhy formou distancneho hlasovania:

  1. došpecifikovanie URI identifikátora pre elektronické formuláre, pre ich XML menný priestor, prislúchajúce XSD schémy a ich prepojenie aj s príkladmi (https://metais.finance.gov.sk/standardization/votedetail/4)
  2. dereferenciácia URI identifikátorov (https://metais.finance.gov.sk/standardization/votedetail/5)
  3. pôsob, akým vytvárať verzionovateľné URI entity (https://metais.finance.gov.sk/standardization/votedetail/6)

Dnes tiez pribudol zapis z pokracovania 2. stretnutia PS1, ktore teda pokracovalo 26.5.2017: https://wiki.finance.gov.sk/pages/viewpage.action?pageId=23167152


#12

15.8.2016 sa konalo 4. zasadnutie PS1:

  • Dereferenciácia pre jednotlivé súbory e-formulára a iné
  • Codelist element
  • Metodika tvorby XSD schém
  • Témy z PS6 - na vyjadrenie PS1
  • Prepojenie XSD schém na centrálny model údajov
  • Drobné opravy sémantických dátových štandardov
  • Novela Výnosu (Opatrenie) o jednotnom formáte elektronických správ + Schémy správ Sk-Talk

Viac informacii: https://wiki.finance.gov.sk/display/PS1/4.+Zasadnutie+PS1


#13

Do najbližšieho balíka schvaľovania na PS1 chystáme predložiť nasledovný bod zo Sémantických dátových štandardov

A.4.5 Publikácia otvorených údajov

ktoré vychádzajú s návrhu v dokumente SP Otvorené údaje. Tento bod je tu viac rozpracovaný, a sú zobrazené najmä príklady pre jednotlivé úrovne. Ako príklad sú použité meteorologické dáta, podobne ako je to prezentované na http://5stardata.info/en/.

Príklady úrovní interoperability:
Úroveň 1★ (doc, pdf)
Úroveň 2★ (xls)
Úroveň 3★ (xml, ods, csv)
Úroveň 4★ (rdf, owl)
Úroveň 5★ (rdf, owl)

Okrem rozdielov medzi jednotlivými úrovňami si na týchto príkladoch si všimnite najmä


#14

Vidím tam viacero zásadných problémov:

  • formáty pre 4 a 5 ★: v súčasných štandardoch je pre tieto úrovne určený aj “plain” formát XML, a z pohľadu používateľov je zásadné aby to tak aj zostalo
  • na úrovni 4 ★ treba konkretizovať, že URI má byť použité na špecifikáciu entít ktoré ho majú pridelené, pretože “akýchkoľvek” je skrátka nereálne
  • pred schvaľovaním mechanizmu dereferenciácie žiadam aby bolo vyčíslené koľko táto sranda bude stáť, ak sa má uplatniť plošne

#15

Kompletny navrh je mozne citat tu (zatial je to nie je final, ale na 95% hej), kde je formatov podstatne viac a vychadzaju z definicie europeandataportal, kde su jednotlive formaty uvedene : https://wiki.finance.gov.sk/pages/viewpage.action?pageId=23986522 tj. ziadnu specifikaciu sme si samy nevymysleli len sme ju prebrali z EU.

Definicia 4 a 5 hviezdiciek co sa tyka udajov je takisto definovana naspodku tejto stranky : https://wiki.finance.gov.sk/pages/viewpage.action?pageId=16416799

Dereferenciacia je definovana tu a bola uz na standardizacii aj schvalena a aj na zaklade tvojich pripomienok: https://wiki.finance.gov.sk/pages/viewpage.action?pageId=20023176
V standarde je popisany aj cely mechanizmus ako to ma fungovat, takze je si mozne spravit aj prehlad kolko to cca bude stat -> 1x definicia redirectu z data.gov.sk na MetaIS, upravenie liniek na MetaIS aby splnali ten refid predpis, vytvorenie stranok v MetaIS, ktore ma nastarosti MetaIS (datove prvky, sluzby, …) resp. redirect v pripade tretich stran (rpo, rfo…). Tie si to robia ale vo svojej rezii. Ak mas navrh na zlepsenie tak ho kludne predloz a mozeme to na zasadnuti PS1 prejst a popripade zapracovat.


#16

@Lubor, každopádne som rád, že si sa ozval aspoň Ty, už som si myslel že tam máte nejakého bobríka mlčanlivosti na tému LinkedData :slight_smile:

LinkedData tlačí najmä Európska Únia, a ja som rád, že máme niečo takéto spoločné. Že ju vôbec môžem takto, hoc neoficiálne zastupovať. Som presvedčený, že táto idea posunie slovenskú informatiku strašne dopredu, samozrejme nevyrieši jej všetky problémy, ale bez idei Centrálneho dátového modelu a jednotných URI na entity, sa nedostaneme nikde. A to je jasné samozrejme aj bez Európskej Únie. Veď ako môžu spolupracovať centrálne dáta (základné registre, publikačné minimum samosprávy ), tj. referenčné údaje ak nebudú zdielať jednotlivé entity a Centrálny model údajov?

Veď predsa, ten dnešný stav je nevyhovujúci. V súčasnosti existuju rôzne prípady viacerých rôznych rezortných identifikátorov na rovnaké veci, a dáta spolu nesúvisia, keď si zoberiem nejaký dataset od polície a dataset od ministerstva financií, tak ak ich chcem spojiť a urobiť či už dátovú analýzu, alebo službu za tým, tak ich musím integrovať. Toto stojí obrovské peniaze, jednak udržiavať takýto nevyhovujúci stav, a navyše ho treba robiť stále nanovo.

Neviem čo tým myslím že “v súčasných štandardoch”, ale bohužiaľ (resp. bohuvďaka), 5Star open data je metodika pre otvorené dáta, ktorá sa používa napr. Európskou komisiou v rôznych oblastiach (napr. aj pri Európskom portále otvorených údajov), a využívajú ju takmer všetky portály sveta (data.gov, data.gov.uk) pričom všade je tendencia ísť na LinkedData (5*), takáto metodika je len jedna. A štandard je to preto, aby si to nevymýšlal každý podľa seba, pretože potom sa celá vec minie účinku. :wink:

Veď preto, sa upravili skôr pravidlá interoperability, tj. že všetky nové a inovované datasety budú 5*, a tie, kde nie sú peniaze na rozvoj, musia byť miminálne 3*. A toto sa dá ešte upresniť ďalšími opatreniami, ako napr. “prechodné obdobia” a podobne.

obrázok

a presne takto je teraz zapracované do štandardov na PS1
A.4.5.1 Úrovne interoperability otvorených údajov

Dovoľ mi teda otázku?

  • Je podľa teba potrebný centrálny model údajov verejnej správy a URI identifikátory alebo nie, aby sa dosiahla požadovaná interoperabilita údajov jednotlivých základných registrov (najvyššia kvalita údajov pre strojové spracovanie)? Alebo celé toto divadlo, ktoré hrá aj Európska Únia, resp. 5* Open data je blbosť, a vskutočnosti nám nič také netreba.

  • Možno že máš problémy s možnou neefektivitou použitia verejných zdrojov, že to bude realizovať niekto, kto si uleje peniaze, a nič sa z toho neurobí? Ak áno, tak poďme spolu nájsť riešenie, ako to urobiť čo najefektívnejšie. Veď to by som asi neprežil, že sa konečne pohne informatika správnym smerom a potom sa peniaze rozkradnú. Myslíš že pre toto tu ako pako celé tie roky vypisujem, chodím na pracovné skupiny, do zahraničia na konferencie, aby som si ulial nejaké peniaze? Stále žijem od výplaty k výplate, a to aj zostane, už som s tým zmierený a som oslobodený. :high_brightness:


#17

Na poslednom stretnutí K9.2 sme sa celá skupina dostala k návrhu od NASESu “Metodika k časovému harmonogramu vytvárania a sprístupňovania datasetov”, ktorý priznám sa neviem kedy plánujú zverejniť :innocent:, pretože čím skôr sa veci zverejnia, tým lepšie. Ja si dovolím zverejniť opravu kvality údajov.

Definovanie úrovne kvality podľa 5* open data je interpretovaná nesprávne ako
obrázok

4★ úroveň nie je „Referencovateľné identifikátory“, ale je to použitie RDF (na obrázku vyššie) – Use RDF to denote things – a to je použitie RDF (URI) na všetko (objekty sveta, dátové prvky, číselníky, kódy, datasety …). Nejde o „pridanie stĺpca URI“ do excelu a je všetko vyriešené. To by muselo mať všetko v exceli URI. A pre prehľadnosť byť sa postupne excelovská štruktúra by sa zmenila na trojice. A na to je správny formát RDF. :wink:

Rozdiel medzi 4★ a 5★ je v tom, že 4★ dáta sa “nemapujú na ostatné entity”, pričom iný dataset ich môže referencovať. 5★ entity tvoria centrálne dáta (referenčné údaje, referenčné registre, publikačné minimum samosprávy,atď), a tieto sa referencovať musia. Tj. Centrálny model údajov verejnej správy, ktorý je už schválený na PS1 patrí na 5★.

Tu rozhodne odporúčam použiť štandardný oficiálny obrázok a nie vlastný.


#18

Nič v zlom, … ale takto nejako si predstavujem “boj” a prácu hlavného dátového architekta Slovenskej štátnej správy. @liska nahrad ! Kto sa pridá ? (pre mňa poučenie: nemýľ si OpenData a OpenAPI !)


#19

Co si ja pamatam (aj ked teda pozor, moja pamat ma daleko k 100% spolahlivosti), tak cokolvek je napisane vo Vynose, tak okrem “level 0” (ktorym sme asi narazali na animak Kung-fu panda: “now there is level zero:slight_smile: ) by to mal byt “1 k 1” prepis 5stardata.info . Ak ten prepis vo Vynose dnes chapeme “akosi inak”, mame sa opat vratit k 5stardata.info ako etalonu, kedze necheme udrizavat SK1*, SK2*, atd. Co v zasade v aktualnych PS1 navrhoch robime, cize malo by byt OK.

Tohoto sa bojim aj ja. Ale toto nevieme velmi ovplyvnit ani v PS1 & spol., ani v K9.4 & spol. To skor na tych verejnych hearingoch v studiam uskutocnitelnosti alerbo na Pochodoch proti korupcii. Resp. skratka inou protikorupcnou aktivitou. Toto uz totiz nie je cisto IT ramec.

+1

Sudiac podla debaty vo vlakne ITAS poskytne odborníkov pre ÚPVII tych zaujimcov (aspon teda tych, co pojdu “na blazna/dobrodinca”, t.j. napriamo ako statny zamestnanec za statny plat) nebude vela. T.j. ak boj, tak (prepytujem) medzi “blaznami/dobrodincami” a " ITAS-om". :slight_smile:


#20

Podľa 5stardata: ★★★★ use URIs to denote things, so that people can point at your stuff
Obrázok je správny.
A URI je treba použiť iba tam kde to má zmysel.
Robme veci tak, aby z toho bol najväčší úžitok.
Ináč je to Linked Data džihád.