MIRRI Pracovná skupina K9.4 Lepšie dáta

Sluzby katastra su preto vnimane ako co? Open Data API alebo Open API? Jediny rozdiel ktory vnimam je jedno je read only, ale z pohladu pristupov, ktore popisujem sa to nema riesit rovnako? Tj. scenar ktory som popisal s katastrom, zostane nemanazovany takze ked oni vypublikuju to API tak tam im mozu chodit tisice requestov, ktore oni budu musiet obhospodarovat zadarmo a mat k tomu aj SLA? Daju sa povedat jasne pravidla, ze kedy povazujem read sluzbu za OpenData API a kedy za Open API?

Ja to chapem takto: OpenAPI je nadmnozina. Zahrna aj API na otvorene data aj API na sukromne data, aj pripadne aj write operacie.

A v lepsich sluzbach sa vymysleli mechanizmy ako riesit pristupy? Myslim z pohladu najekeho manazmentu kolko pristupov ma kto povolene resp. predplatene tj. nieco co mozno mal aj tento dokument referovat v zmysle “Data budu zverejnovane prostrednictvom nasledovneho procesu a komponentov”? Inak fakt by mozno nebolo naskodu si spravit nejake obojstranne prezentacie aby boli tie veci synchronizovane.

Ahoj,

pozri multichannel 4.2.3 Open API ako spúšťač prístupu k službám VS z tretích strán (partnerstvo), tam je to HL vysvetlene.

Projekt Open API (nie Open Data API) by to mal dotiahnut do detailu…

Ahoj,
pozeram je to tam dost highlevel s referenciou ze maju vzniknut nejake metodiky a standardy v tejto oblasti ako sa to bude realizovat. Ked hovoris ze projekt Open API… to je nieco existujuce alebo planovane v nejako dohladnom case? Ide mi hlavne o to ze ci sa da niekde referovat ze Open API bude implementovane v zmysle dokumentu/standardu/metodiky ako povinnost pre dalsie projekty.

Ten dokument sa publikoval pred pol rokom ale skupina co viem stale prebieha tak ci sa tam taka vec nerozvijala popripade ci je uz priradena nejaka zodpovednost nejakej standardizacnej PS aby take nieco vzniklo.

Draft dokumentu Strategickej priority pre Open Data:

verzia do ktorej môžete písať komentáre

verzia na stiahnutie:v0 92_SP_Otvorene_udaje.docx (471.1 KB)

Teraz je záverečné pripomienkovanie, 18.10. pripomienky prerokuje pracovná skupina.

Pozornosť čitateľa by možno zaujalo zopár špecialitiek, napr:

  • nové služby typu “archív otvorených údajov” (napr. str. 48), “nástroje umelej inteligencie”, “štátny github”, “blockchain”, “úložisko pre otvorené dokumenty” (všetko str. 42) - po ktorých túžia určite davy používateľov, len sa zatiaľ dobre ukrývajú
  • explicitne uvedené projekty pre “otvorené údaje v školstve” a zdravotníctve (str. 51), pričom kvalita tých projektov je zatiaľ asi takáto (mizerná)

Komentáre sú vítané, najmä teda do 17.10.

2 Likes

preco tolko ironie? ved tam Urad pise o proof of concept, nie o plosnom nasadeni blockchainu. Doteraz sa tu kritizovalo ako je Slovensko malo inovativne a ked ide UPPVI s dobou tak je to zle? Napr. ja som za, aby sa ten proof of concept vyuzitia blockchainu zrealizoval a nielen ja Open Data Blockchains: the missing link for opening up governments? | data.europa.eu

2 Likes

Je to nanestastie tak. Nehovorim ze blockchain je najdolezitejsia vec na svete, alebo aj ine z menovanych, skor ide o to ze ked sa ani napady, ktore maju hlavu a patu budu automaticky radit do kategorie ulet tak potom sa na konci obdobia budu robit take projekty, ze skonci to mozno aj horsie ako obdobie predtym (lebo nebudu vlastne existovat dobre napady, ktorymi sa bude dat naplnit scope ). Len pre porovnanie Estonsko ma uz N sluzieb na blockchaine : https://e-estonia.com/solutions/security-and-safety/e-law a funguje to. Ale niekedy je vyhodne sa porovnavat s Estonskom a brat si ich za vzor a niekedy zasa nie. Podobne plati aj o zvysnych temach.
Elementarny problem totiz podla mna nie je ani tak v temach, ale v ich vyslednej realizacii. Popisanych a akceptovanych veci, ktore boli “odovzdane” v minulom obdobi bolo tolko ze viac menej si zijeme v nadigitalizovanejsej krajine na svete. Ved aj sluzba na ktoru sa integruje GovBox funguje (to ze za normalnych okolnosti banalna integracia stala @jsuchal pol roka zivota a 3 roky popritom zostarol je druha veec). Na dopracovanie peniaze nie su a ani nie je mozne povedat EU ze tie akceptaky boli odrb a ze potrebujeme peniaze na to iste, lebo vlastne hento bol odpad. Deadlock. Podla mna je preto dolezite nastavit mantinely kvality a priebeznych kontrol pri projektoch, priebezne zverejnovanie zdrojakov, … a nie potapat napady, ktore maju aspon hlavu a patu.

tiež sa divím, ak sa spraví POC, riadny tender - kludne mikroobstaravanie, zdrojaky budu na githube, tak kde je problem?
naopak vitam ze @juraj.bardy to tam dal, kludne aj viac takychto tem, aspon sa to preveri, prediskutuje a uvidi sa

2 Likes

https://twitter.com/waldojaquith/status/922179043977564161

I talk about how RDF and linked open data are a waste of their time—that there’s no meaningful ecosystem around them

Keby ste niekto nevedeli tak. About – Waldo Jaquith

I used to be the Director of U.S. Open Data and a Shuttleworth Foundation fellow. Now I work for 18F.

1 Like

Time Berness Lee (memusím asi predstavovať) o Sémantickom webe, pričom hodne tam hovorí aj o úlohe Linked Government Data

obrázok

Webinár organizovaný Európskou komisiou (ISA2:SEMIC) 19.10.2017
obrázok

Tu je štandard implementácie anotácie slovenských datasetov cez DCAT-AP
https://wiki.finance.gov.sk/pages/viewpage.action?pageId=20022969

Samozrejme že netvrdím, že LinkedData predstavujú čarovný prútik. Ich úloha bude primárne reprezentovať jednotnosť v dátach v potrebnej miere (referenčné údaje) a otázne je, ako sa to efektívne bude manažovať. Na to existuje viac odporúčaní EK, a tie sa dajú použiť. A s tým, kam sa už dnes dostal MetaIS, a štandardy, som presvedčený že ak sa nebude tlačiť na pílu a bude stále hlavne zameriavať na kľúčové veci, tak som veľký optimista, že si LinkedData svoju rolu splnia. A potom zostane ešte riešiť ďalších 1000 ostatných problémov.

Každopádne, som presvedčený, že nedá sa úplne porovnávať a rovnako riešiť situácie v rôznych krajinách. USA začalo s OpenDatami v podstate na začiatku, kým Slovensko bolo vtedy úplne inde. Slovensko práve tým ako pozadu štartuje, resp. aké je malé napr. z pohľadu počtu obyvateľov (menšie než New York) zároveň je členom EÚ, myslím že práve z tohto môže veľa vyťažiť v silnejších centrálnych dátach.

Výstup z tejto pracovnej skupiny - dokument SP Otvorené údaje sa bude v piatok schvaľovať v Rade vlády:

1 Like

V novele výnosu o štandardoch ktorému práve končí MPK sú viaceré podstatné zmeny týkajúce sa referencovateľných identifikátorov, dereferenciácie, metadáta pre OpenData a ďalšie veci. Pokiaľ viem, konkrétne znenie zmien nebolo prebraté v žiadnej pracovnej skupine.

Here we go: Pripomienka GPSR Navrhujeme doložku vybraných vplyvov doplniť o špecifikáciu vplyvov na informatizáciu spoločnosti a vplyvov na rozpočet verejnej správy. … Kapitálové výdavky registra trestov, Úpravy/rozšírenie dátovej schémy pre vybavovanie žiadostí o výpis/odpis registra trestov tak, aby bola v zhode s národnými ontológiami podľa jazyka Web Ontology Language podľa § 13 ods. f) opatrenia, ÚSILIE: 60MDs IS EOO, SADZBA: 560,00 eur bez DPH/MD, ODHAD SPOLU: 40 320,00 eur s DPH.

1 Like

[1] ako prvú vec uvediem, že ma za UPVII mrzí, že sa robilo MPK cez koniec roka, takto by to nemalo byť. a to hovorím v zmysle, že UPVII je v prepojených dátach skvelý partner (aspoň niekto).

No musím zareagovať na Lubora k ostatným veciam, nakoľko považujem jeho komentáre k URI dosť tendenčné. A obzvlášť jeden prípad (metadáta) sú krásnym príkladom ilustrujúcim celkovú situáciu spolupráce všetkých čo chcú pomôcť. A z pohľadu transparentnosti patrí riešenie otvorených dát, postupne za 4roky, k tým najviac otvoreným témam.

schválené PS1: 12.06.2017.
https://metais.finance.gov.sk/standardization/votedetail/2

schválené PS1: 06.07.2017
https://metais.finance.gov.sk/standardization/votedetail/5

Toto je skvelý príklad ukážky, ako to funguje. DCAT-AP-SK, bol už prezentovaný na OpenData Meetupe 1.6.2017. Na PS1 bol predložený a prezentovaný 30.10.2017), kde si bol aj ty!
A jedine NASES chcel čas na vyjadrenie sa, iné pripomienky nepadli. Potom sa vypracoval ešte aj návrh opravy GUI pre NASES (čo sú minoritné zmeničky), a zavesil som to aj na vaše slovensko.digital 05.15.2017

odkiaľ neprišla žiadna spätná väzba ani od teba, ani od nikoho iného.
Podľa mňa za týchto okolnosti to malo ísť na MPK, hoc stále platí [1].

Čiže: Ak máš k hocičomu nejaké výhrady, tak to kľudne pošli aj teraz, po všetkom tom zverejnení a čase.

K tomuto: Prvá informácia je, že vidím to prvý krát. A som tomu rád, že je to tak v tejto sekunde. Snáď sa začína niekto chytať, avšak musím povedať že ak je niečo ešte skutočné otvorené, nie sú to URI, ale diskusia, o spôsobe implementácie prepojených dát. A budem len rád, keď sa to niekam dostane. Zatiaľ to vidím to asi takto:

A) prioritné zameranie prepojených dát je na referenčné dáta (či už otvorené, alebo sú použité v rámci 1xdosť). To je rozsah základných registroch, tj. RFO, RPO, RA … pričom GPSR patrí asi do ďaľšieho poolu dôležitých dát. Pre mňa je primárne použitie prepojených dát na základné registre (národné ontológie) a metadát (štandardy EU - DCAT).

B) vypočítanie ceny je otázne: zladenie (zavedenie) URI do publikovaných dát nepredstavuje obrovskú technologickú výzvu, je to RDF/XML, JSON-LD alebo iné, pridáva sa len globálne id(URI), čo je viac než žiadúce. V technickom ponímané ide len o použitie predpísanej schémy. ciže otázne je, ako si toto započítať do ceny.

C) Navyše nepredpokladám že podstatná množina dát sú referenčné dáta, čiže toto treba upresniť.

D) Je len jeden štátny model dát (jedny URI), čiže toto nie je opakovanom odhade 1:1 akoby som potreboval robiť model novej domény od začiatku. Uvedené náklady sú skôr o naučení problematiky, za 60MD sa dá urobiť obrovský model.

D) už dnes sa v projektoch robí UML. Použitie OWL je z pohľadu modelovanie rovnaké ako UML, technicky cez UML profil pre OWL. Aj OWL má triedy, relácie, …, čiže ak si chce niekto pridať za OWL, musí si ubrať aj niečo z návrhu (ak robí napr. UML) :slight_smile:

E) Navyše platí, že tvorba nových IS musí byť v zosúladená s UPVII, kde má byť aj podpora tvorby open dát (šablóny pre OpenData).

atď, atď …

Existuje ešte veľa otázok k danej téme. Treba ich jasne pomenovať a vyriešiť.
howg.

Mozno by stalo za zamyslenie, ci to nemoze znamenat to, ze to proste nikoho nezaujima. Specialne v momente, ked tu nemame vycistene data v registroch, nefunguje kopec zakladnych veci, obstaravaju sa milionove servisy, planuju projekty za stovky milionov eur. :blush:

Viem že to slovensko.digital príliš nezaujíma, najradšej by ste celú túto tému vymazali so všetkých dokumentov. A to že Vám to nehrá do biznis modelu s ekosystémom je čistá náhoda.

Táto správa má pár dní:

obrázok

Chápem že ani to Vás nezaujíma, je len nejaká blbosť. Ja som osobne na to hrdý a pracovali sme na tom viac rokov. Tak či onak, spoločne sme mohli vytvoriť niečo fakt skvelé. Takto nám ostáva byť separátni. Škoda.

Ach jaj, zase tato konspiracia. Skoda, ze sme to uz rozoberali a nevedel si to nijako vysvetlit. Ale tak teda ta vyzivam, skus znova: Rad by som videl to cislo, kolko sme zarobili tym, ze nepovazujeme za dolezite, aby stat preklopil svoje bordeldata na rovnaky bordel len v ontologiach. Ides…

Je mi to luto, ale moj postoj sa nemeni - nevidim v tom ziadnu velku pridanu hodnotu a nezmeni na tom nic ani jeden tvoj clanok co ti zverejni a nalinkuje eu data portal. Rozpravky o interoperabilite napriec EU… az bude fungovat aspon uplne zakladna interoperabilita na urovni Slovenska, potom mozeme polahky preklopit schemy - tam kde to treba - na nieco europske, dobre? Odhadom tak 2030 by sme o tom mohli zacat rozpravat.

Toto tvoje tazenie za piatimi hviezdickami zacina naberat uz naozajstne kontury pachania nepriamych skod - vid odhady za change requesty na GPSR. A co nam prinesie prechod na skvelu ontologiu na GPSR? Ja tvrdim, ze vobec nic. Lebo pointa je v prepojeni na referencne registre a podla tvojich slov - kedze tu ide len o pridanie globalneho URI - tu nevyriesi vobec nic. Opakujem sa ako stara platna.

Apropo za podobnu cenu ako tento changerequest, by sme mohli mat komplet open data napriklad z RPO alebo uplne nove datasety - co bude neporovnatelne vacsia hodnota za peniaze.

Verejne sa priznavam, ze moja strategia bola tieto tvoje pokusy uplne ignorovat a reagovat len ak to zacne naberat kontury obludnych rozmerov, lebo na to nemam tolko casu a povazujem za uplne zbytocnu vec. Ocividne budem musiet zvazit zmenu strategie, lebo toto uz nabera obludne rozmery a tvoja vytrvalost valcuje nase pokusy o pragmatizmus. Rad sa k tomu aj stretnem, nech si to vyrozpravame konecne, aby bolo uplne jasno.

2 Likes

Myslím že táto veta je presná. Neviem prečo informáciu, aké veci sa v novele riešia (vybral som tu veci čo sa hodia do tohto topicu), okamžite pokladáš za útok a ešte k tomu to berieš nejako osobne.

Keď už toto píšeš, konkretizuj - k novele vyhlášky.
Ináč Ťa opakovane vyzývam aby si sa vo vyjadreniach krotil.

Nuž “schvaľovať” prezentáciu, kde je technický postup prevedenia je jedna vec a paragrafové znenie súvisiacich povinností úplne iná. Znenie výnosu som nikde pred MPK nevidel - ak sa mýlim daj vedieť.

Myslia si to zrejme aj ďalšie subjekty, keďže poslali do MPK spolu 262 (ak naše nerátam) pripomienok. Za starých čias, keď boli veci poriadne prerokované vopred, bolo MPK pre výnos o štandardoch obvykle formalita…

Toto je skvelý príklad Tvojej paranoje. Alebo daj vedieť kde som túto konkrétnu vec kritizoval. Napr. si pozri aké pripomienky som poslal do S.D.

Pri metadátach si môžeme vypiplávať štruktúru, ale ja sa radšej chcem sústrediť na tých zopár podstatných parametrov - napr. licencie. A akom stave sú teraz?

V rámci 1x a dosť na to už konečne zabudni. Prečítaj si čo je schválené v dokumente SP Manažment údajov. Centrálny model áno, URI áno, výmena G2G v normálnych štruktúrach.

Ako som napísal do pripomienok - a hovorili sme o tom (viackrát) aj na PS. Tie “jedny URI” sa môžu použiť na “jedny údaje”. To sú stotožnené údaje s ref. registrom a základné číselníky. Lebo ináč “prepojením” dvoch gulášových údajov vznikne guláš na druhú, ktorý sa iba ťažko bude dať opraviť.

Kľúčové údaje - fyzické a právnické osoby - už podľa zákona majú byť všetky stotožnené. Kľúčové číselníky sú vyhlásené ako základné.

Ale zaujíma a úprimne ma to teší. Gratulujem!
Problém je v niečom úplne inom: 1) priority - ja mám tiež asi tak 100 vecí ktoré by sa mi fakt páčili, ale v kontexte súčasného stavu eGov sa skrátka podstatne treba sústrediť na kľúčové veci 2) v situácii plánovania veľkých projektov len aby sa rozflákali veľké peniaze sa každá blbostička zrazu stáva zámienkou pre veľkú implementáciu

Odporúčam dobre si prečítať štúdiu na nový OpenData projekt od Nasesu. Cena 22 miliónov EUR - a žiadne nové údaje z tých peňazí nebudú. Dnes si mal možnosť spýtať sa Finstatu, AFP a TIS, čo v OpenData potrebujú. Stavím sa o deravý bitcoin že ani raz v odpovedi nezaznie “blockchain”, ani “linked data”. Alebo skús túto tému nadhodiť tu v diskusii o ITMS2014+.

3 Likes

… prioritné zameranie prepojených dát je na referenčné dáta (či už otvorené, alebo sú použité v rámci 1xdosť) …

Teraz už rozumiem, napísal som to asi zle, neplánujem presadzovať RDF/XML aj v G2G, to nebolo nikdy na stole. RDF (či už rdf/xml alebo json:ld…) beriem pre open data. Uznávam že RDF/XML bude v G2G možno za 10 rokov, teraz to absolútne neriešim. Záber URI je hlavne na dátové prvky, číselníky a ich hodnoty aby najdôležitejšie open data, resp. referenčné prvky mali dohodnutý jediný identifikátor a hrali spolu čo najviac.

určite nie je mojím cieľom pracovať na tejto téme a potom to celé zabiť nejakým podivným obstarávaním, resp. dodaním nefunkčnej alebo zblúdenej IT komponente štátu. Alebo že sa spustí lavína prepájania všetkého zo všetkým. Pretože aj toto musí mať svoju postupnosť.

určite si to pozriem. ale čo sa týka linked data, tak

  1. je treba malá zmena na GUI, ktorú som špecifikoval pre NASES spolu s RDF/XML, ktoré sa má automaticky vygenerovať aby vlastne išlo toto nefunkčné rozhranie
    data.gov.sk/sparql

a bol by to určite dôležitý krok za pár peňazí ku konsolidácií opendata. a je to našpecifikované zadarmo :slight_smile:

  1. pokiaľ viem tak zabezpečenie dereferenciácie nie je žiadny veľký projekt skôr konfigurácia

takže chcem len povedať, že prepojené dáta nie sú dôvodom ani základom neefektívneho IT, a zaostávania slovenského IT, skôr naopak.
howg.

Mám otázku. Našiel som štúdiu Manažment osobných údajov / služba Moje dáta, ochrana osobných údajov a funkčný rozvoj platformy integrácie údajov.
https://metais.finance.gov.sk/studia/detail/d2112fad-b259-ae0c-157b-8587d43fa79a?tab=documents

Mirror: SU OPII UPVII MDOOU v0.1.docx (6.8 MB)

Zbežne som to preletel a tu mi padla sánka.

Toto sa mi teda vôbec nepáči a podľa mňa to je navyše úplne zle. Žiadne 1x a dosť toto nijakým spôsobom magicky nevyrieši. Je úplne jedno či budú referenčné dáta o fyzickej osobe uložené distribuovane alebo centralizovane. Systémy čo budú pracovať s referenčnými dátami si to aj tak budú musieť ťahať z iného systému (či už centrálneho alebo iného). Prípadné zmeny v referenčných dátach (napr. zmena trvalého pobytu) aj tak budú musieť niekde publikovať (ideálne publish event, nie tlačenie dát do nejakej centrálnej platformy). A kedže referenčné údaje budú aj niekde inde ako v centrálnej platforme, celá výhoda toho, že GDPR sa “vyrieši” centrálne je ilúzia. Lebo každý systém, ktorý sa tých údajov interne dotkne bude musieť GDPR riešiť tiež.

Trend je niečo takéto GitHub - google/rejoiner: Generates a unified GraphQL schema from gRPC microservices and other Protobuf sources - my ideme centralizovať všetky štátne dáta na jedno miesto.

Prosím Vás, kto toto píše tieto dokumenty? Programoval už niekedy?

1 Like