Európske (open)data, štandardy a ich implementácia v SR

[liska]

Priatelia/kolegovia, už veľmi dlho som chcel založiť toto vlákno a predstaviť niektoré vybrané dáta, štandardy, portály, resp. odporúčania Európskej Únie (komisie). Postupne by som chcel prejsť jednotlivými témamy ako je možné riešiť interoperabilitu na národnej a nadnárodnej úrovní, štandardmi v oblasti slovníkov dát, riešením 1xdosť, otvorenými dátami a podobne. Áno, priznávam úplne otvorene na začiatok, že sa budem zameriavať najmä na LinkedData, dátovú interoperabilitu a podobne Medzi kľúčové entity EÚ v tejto oblasti patrí najmä Európska komisia, program ISA2 (Interoperability solutions for public administrations, businesses and citizens) a pracovná skupina SEMIC (Semantic Interoperability Community).

@jsuchal

Mame centralny EU model?

Ako prvý štandard v tejto oblasti je podľa mňa Core Public Vocabulary, čo je množina ontológií vytvorená programom EK.

Registered Organization Vocabulary
http://joinup.ec.europa.eu/sites/default/files/distribution/2013-10/business-v1.00.rdf

Core Location Vocabulary
http://joinup.ec.europa.eu/sites/default/files/distribution/2013-10/locn-v1.00.rdf

Core Person Vocabulary
http://joinup.ec.europa.eu/sites/default/files/distribution/2013-10/person-v1.00.rdf

Core Public Service Vocabulary
https://joinup.ec.europa.eu/sites/default/files/distribution/2017-09/sc414di07171_d02.02_cpsv-ap_rdf_schema_v0.01.ttl

Core Criterion and Core Evidence Vocabulary
https://joinup.ec.europa.eu/sites/default/files/distribution/2017-02/cccev_rdf_schema_turtle_v0.03.ttl

corevocabularies-poster.pdf

e-government_core_vocabularies_handbook.pdf

@jsuchal

Ci bude sa vlastne nakoniec robit velky integracny projekt aby doslo k bajnej interoperabilite napriec EU? Tomu sme sa asi chceli vyhnut. Plus teda predstava, ze budem nejako vediet namapovat SK datovy model napr RPO na datovy model povedzme Spanielska je mi velmi smrdi vzdusnym zamkom specialne v pripade, ked uz len genericky model priamov RPO je este aj dnes (!!!) problem, kedze rozne zdroje pravnickych osob pouzivaju rozne datumy zalozenia PO v inom vyzname. To len pre ilustraciu.

Toto je podľa mňa už vyriešené.
Aj na slovensku. Zadarmo.

Centrálny model údajov verejnej správy je namapovaný na Core Public Vocabularies (CPV). Mapovanie na CPV Person je hotové, ostatné treba ešte dokončiť.
https://wiki.finance.gov.sk/pages/viewpage.action?pageId=23986724
V pondelok som mal meeting s Petrom Winstanley (škotské gov data), ktorý má blízko k
Dataset Exchange Working Group (DXWG)
Dataset Exchange Working Group kde som mu prezentoval naše riešenie, a pokračujeme v rozhovoroch ďalej.

Čo sa týka publikácie otvorených údajov, tak tam sú priamo použité ontológie DCAT/AMDS.

DCAT Application Profile for data portals in Europe

DCAT Application Profile for data portals in Europe - ISA² - European Commission

náš štandard
A.4.5.3 Pravidlá pre publikáciu katalógu, datasetu a distribúcie
https://wiki.finance.gov.sk/pages/viewpage.action?pageId=20022969

ako som už uviedol, tento bod išiel včera na PS1. Je to požitie presne tohto štandardu. Pre iné členské štáty si môžeš pozrieť napr. DCAT-AP.de, resp. http://difi.github.io/dcat-ap-no/

Alebo hociktorý súbor v LODe má definované vlastnosti práve cez DCAT/ADMS.

Ciže suma sumárum: naše dáta sú z centrálneho pohľadu zabalené v DCAT/ADMS, a na ich dopytovanie môžeš použiť CPV. Na národnej úrovni musíš použiť Centrálny model, pretože že je podstatne širsí ako len CPV. A tento celkový prístup je podľa mňa veľmi hodne gut.

[liska]

Kedže ma NASES ako člena pracovnej skupiny K9.4 Lepšie dáta oslovili so žiadosťou o spracovanie príkladu, akoby vyzerali anotované služby ako 5*, dovolím si to tu uviesť v kontexte štandardu CPSV (Core Public Service Vocabulary). Vianočný LOD Slovakia (otvorené linkované dáta verejnej správy) budú mať aj tieto príklady.

PS: Často sa tu na fóre spomína Estónsko, ešte sa k nemu vrátim na konci tohto príspevku.

Najskôr pár informácií o CPSV
https://joinup.ec.europa.eu/release/core-public-service-vocabulary-application-profile-v21-final-draft/v21-final-draft
LeafLet

tu je model, kde je vidno triedy PublicService, PublicOrganization a ostatné.

A teraz späť na slovensko. Pre názornosť tu je príklad služby Zverejňovanie informácií Protimonopolného úradu SR

2*-3* (Excel/ODS)

http://semantickyweb.sk/nases/sluzba_egov_821.xlsx

4* (RDF/XML)

Keďže uvedené služby patria do Centrálnych dát s vysokým stupňom znovapoužitia a evidujú sa v MetaIS, ani tu neuvádzam vymyslené sektorové URI.

5* (RDF/XML - služba je zaregistrovaná v MetaIS)

krásne jednoduché čitateľné XMLko,

keďže je v MetaIS viac informácií, aj anglické anotácie, resp. vzťahy na životné služby a podobne, tak širšia anotácia by mohla vyzerať

Tu je navyše pridaný aj uzol Identifier, ktorý obsahuje pôvodný kód MetaIS, tj. sluzba_egov_821, avšak aj priamo odkaz do MetaIS (dcat:accessURL), tj.
https://metais.finance.gov.sk/detail/KS/d3525391-2708-4f89-83ed-0e2c92d6ccc9/cimaster?tab=basicForm

ktorý keď si pozrieme, tak máme informácie o službe priamo v metais - a URI služby nám sedí

Ak to NASES takto spraví (to uvedené XMLko), tak to bude v súlade s pracovnými skupinami (k9.4 lepšie/otvorené dáta), s Estónskom a i Európskou komisiou. Samozrejme, opäť si dovolím pripomenúť, že to nie je čarovný prútik na vsetky problémy informatizácie na Slovensku, ale v tejto oblasti je to správna cesta.

[msurek]

Referencne registre podla EU: https://ec.europa.eu/isa2/sites/isa/files/8._re3gistry_leaflet.pdf . Je to OpenSource a tym padom by sa referencne registre dali na tom stavat a boli v sulade s EU ISA.

[msurek]

Zhodnotenie postavenia slovenska v zavadzani interoperabilnych standardov vramci EU (v zavadzani a monitorovani sme hlboko pod priemer) :

State of play of interoperability : report 2016.

[panda]

Tu je na inspiraciu prezentacia z finska/svedska kde je katalog sluzieb prepojeny na ontologie a dalej na ich obdobu slovensko.sk. Prezentovane teraz nedavno na talinskom summite.

Jani%20Ruuskanen_6.10.2017.pdf

[liska]

Ahojte, ak by to niekoho zaujímalo: súhrnná informácia o prepojených dátach je už na aj na joinupe. Prezentovali sme to Európskej komisii, resp. pre škótky data gov department. V decembri možno bude samostatný webinár na túto tému.

https://joinup.ec.europa.eu/news/linked-data-sk-report-2017

Či už Vás zaujíma problematika prepojených údajov, alebo úpne iných štandardov EK, vrelo vám odporúčam sa na uvedený portál zaregistrovať.

[liska]

Priatelia/kolegovia,

7. decembra sa uskutoční nasledovný webinár

Bude hostovaný cez škótsky gov, účasť máme potvrdenú aj z Belgicka a z ostatných krajín EÚ krajín. Je otvorený a budeme veľmi radi, keď sa ho zúčastníte aj vy.

[liska]

Priatelia/kolegovia, keďže v rámci PS1 pokročil štandard pre publikovanie metadát pre otvorené údaje na Slovensku (pošlem to večer), tak pred tým by som rád predstavil architektúru takejto špecifikácie. Na popis týchto metaúdajov odporúča Európska komisia použitie tzv. aplikačného profilu DCAT-AP

DCAT-AP

pdf špecifikácia
https://joinup.ec.europa.eu/sites/default/files/distribution/2017-03/dcat-ap_version_1.1_0.pdf

ktorý používa ontológiu DCAT (Data Catalog Vocabulary)

Data Catalog Vocabulary (DCAT) - Version 2

Uvedené metaúdaje (údaje o údajoch) sú pre publikované dáta použité aby bolo zrejmé: kto, čo, kedy, v akom formáte, s akými právami publikoval a podobne. To, aké meta-údaje majú byť použité, definuje tzv. publikačný profil, ktorý je definovaný množinou povinných, odporučených a voliteľných tried a ich vzájomných vzťahov.

Nasledovný UML model znázorǔje všeobecný publikačný profil, kde môžete vidieť jednotlivé triedy profilu (dcat:Catalog, dcat:Dataset, dcat:Distribution) a ich vzájomné vzťahy.

zdrojové EAPečko: https://joinup.ec.europa.eu/sites/default/files/distribution/2017-02/dcat-ap_1.1_.eap

Dôležité je ale aj definovať niektoré globálne číselníky, ktoré sa odporúčajú pre vybrané triedy profilu v rámci EU ako napr. typ datasetu, doména datasetu, typ licencie distribúcie a podobne pre zabezpečenie európskej interoperability (napr. pri harvestovaní údajov z portálov členských štátov). Preto sú súčasťou špecifikácie aj tzv. kontrolované slovníky, ktoré stanovujú aké môžu niektoré vlastnosti nadobúdať hodnoty.

Čiže napr. ak použijem vlastnosť dcat:mediaType pre distribúciu, tak hodnota musí reprezentovať len IANA média typy

.

Každý členský štát EU si potom robí vlastnú špecializáciu, tzv. národný aplikačný profil, pretože niektoré údaje sa môžu v rámci krajiny doplniť, nevyžadovať, či naopak vyžadovať a podobne. Príklady takýchto publikačných profilov môžete nájsť tu:

Nemecko http://www.dcat-ap.de/
Belgicko http://dcat.be/
Nórsko Standard for beskrivelse av datasett, datatjenester og datakataloger (DCAT-AP-NO)
Taliansko DCAT-AP_IT v1.1 – Profilo italiano di DCAT-AP | dati.gov.it

Slovenský

Publikačný profil DCAT-AP-SK

V súčasnosti prebieha schvaľovanie štandardu DCAT-AP-SK na pracovnej skupine PS1, ktorý je mierne odlišný od toho, čo súčasne podporuje data.gov.sk. Čiže toto si v podstate prosí o zmenovú požiadavku, ktorá by sa mohla podariť Podľa mojich info data.gov.sk skončil zhodou okolností tesne pred vydaním tohto štandardu. Tak či onak nefunguje endpoint https://data.gov.sk/sparql čo je možno nakoniec aj dobre, že RDFka už budú v súlade s celou sémantickou flotilou. Momentálne teda nie je …

[dami]

Chystane zmeny v oblasti Open Data na urovni EU:

https://www.euroskop.cz/8442/32275/clanek/informacni-spolecnost-v-listopadu-2018/