Denník NP OpenData 2.0

liska · August 11, 2023, 1:13pm

Ahojte, posielam krátky update stavu projektu OD2.0, aby som to stále neodkladal. Portál chceme do konca roka stihnúť za každú cenu, verím že sa nám to podarí.

1) NKOD (VO1) - Národný katalóg otvorených dát

Práce skončili MFFUK Praha vo februári, bohužiaľ stále sme ich ešte nevyplatili. Je to spôsobené chybou na našej strane. Projekt sme akceptovali neskoršie podľa dohodnutých termínov a to nám finančné oddelenie odmietlo uhradiť. Posun bol z našej strany, najmä kvoli tomu, že sme čakali na rozbehanie komerčnej časti vládneho cloudu (nakoľko projekt OD bol vybraný ako pilot). Samozrejme je to veľmi, jemne povedané nemilé, vyzeráme pred MFFUK ako amatéri. A to je ešte stále lepšie, ako keby to robila pre nás nejaká malá firma, ktorá obracia každé EURO a od nás by čakala mesiace vyplatenie.

Aby sa to korektne vyriešilo, musí sa najskôr podpísať dohoda o urovnaní. Verím že sa to čoskoro ale dotiahne.

Každopádne SPARQL endpoint funguje, môžete ho skúšať na data.gov.sk/sparql

2) Webový portál pre NKOD (VO3)

Konečne tu nastal posun. Ako som avizoval vyššie, aby sme projekt stihli do konca roka 2023, zúžili sme jeho scope (subsystém OD2.0Komunita je plánovaná interne), a zopakovali sme súťaž oslovením vybraných uchádzačov zapojených do zrušenej súťaže. Vyhrala spoločnosť Informo, sro. . Mali sme spoločne pár stretnutí k technickej realizácii. V súčasnosti sme v stave pripomienkovania dokumentov, ktoré môžete nájsť na nasledovných odkazoch:

Detailný návrh riešenia
https://wiki.vicepremier.gov.sk/download/attachments/134155331/DNR.docx?version=1&modificationDate=1691757797206&api=v2

Obrazovky
https://wiki.vicepremier.gov.sk/download/attachments/134155331/Obrazovky.zip?version=1&modificationDate=1691757771379&api=v2

Plán testov
https://wiki.vicepremier.gov.sk/download/attachments/134155331/Plán%20testov.xlsx?version=1&modificationDate=1691757814675&api=v2

Každopádne, jednou z najväčších komplikácií súčasného data.gov.sk je prihlasovanie, resp. vytváranie rolí a oprávnených používateľov. Toto bude zjednodušené. Prostredníctvom IAM ÚPVS sa autentifikuje jedna rola za OVM - Správca katalógu OVM, ktorý už môže vytvoriť viacerých Zverejňovateľov opendát za OVM.

3) GovGit

Tu sme stále ešte nenákupili potrebné licencie od Githubu/Gitlabu, verím že ale toto sa vyrieši v najbližšej dobe. Už máme takmer hotovú Výzvu na predkladanie ponúk, kde sa predpokladá použitie Dynamického nákupného systému. Čiže stále používame dočasný GitHub na adrese

Každopádne, zdrojáky nám pribúdajú, už ich máme 41! Bohužiaľ, stále sme nedotiahli Metodiku bezpečnostných testov pre zverejnenie zdrojových kódov ISVS. Najskôr sme si to chceli robiť interne, ale nestíhame, nakoľko architekti riešia primárne odovzdávanie zdrojových kodov od dodávateľa, a zverejnenie zdrojákov je až následná priorita.

Dnes som po dohode zverejnil náš ďaľší interný projekt MIRRI - OOTS POC

ktorý by mal pomôcť postaviť našu slovenskú časť systému OOTS.

Ešte jedna poznámka: Webový portál pre NKOD sa bude vyvíjať rovnako ako NKOD rovno na gitgube.

4) Validačný a transformačný modul (interne)

Validačný a transformačný modul pre opendata - tu plánujeme minimálne rozbehnúť

a) validáciu Lokálnych katalógov na harverstáciu (pozn. automatizovaná publikácia opendata sa zmení na harvestáciu), tu napr. môžete vidieť validáciu LKODU MFSR
https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=134154593

b) a súčasne transformáciu vybraných datasetov, ktoré budú pravdepodobne niektoré datasety z Publikačného minima.

Riešenie bude založené na použití opensource LinkedPipes, ktoré používa aj nový portál otvorených dát.

liska · September 20, 2023, 7:41am

Ok, takže projekt Webový portál pre NKOD sa začína zhmotňovať.
Toto je screnshot z prostredia u dodávateľa, avšak čoskoro už bude nasadený aj v našom cloude a potom sa už bude dať testovať verejnosťou.

Každopádne ako bolo dohodnuté aj v zmluve, projekt je prístupný na githube už počas vývoja, nech sa páči, môžete si ho pozrieť:

liska · September 22, 2023, 1:51pm

Posledným subsystém portálu NKOD je OD2.0-Komunita, tj. funkcionalita pre používateľov otvorených údajov (komentáre, podnety, registrácia aplikácií používajúcich otvorených údajov a ďaľšie). Tento subsystém ostal na našu dátovku, a my ho samozrejme chceme dotiahnuť za každú cenu. Jednak podporuje rozširovanie a skvalitňovanie otvorených údajov, a súčasne táto funkcionalita je súčasťou indexu ODMI (DESI), a v tomto chceme rozhodne stúpať. (Za množstvo vecí, ktoré sme v dátovke za posledné 2 roky spravili by sme už mali v novom indexe postúpiť, a toto sú krásne body o ktoré samozrejme máme tiež záujem).

V súčasnosti hľadáme riešenia implementácie. Možno sa bude dať toto riešiť nie čistým programovaním, ale použitím nejakého opensource systému, ktorý sa do nového portálu len zaintegruje.

Podrobnejšia dokumentácia:
2023-09-22-SRS-WebovýPortálNKOD_OD2.0-Komunita.pdf

2023-09-22-SRS-WebovýPortálNKOD_OD2.0-Komunita.docx

2023-09-22-KATALOG_POZIADAVIEK_OD2.0-Komunita.xlsx

2023-09-22-OD2.0-Komunita-screenshoty.zip

liska · October 24, 2023, 7:53am

Pár nových info:

1)

Webový portál sa dá už testovať z pohľadu používateľa dát, beži na adrese

http://nkod.mirri.tech

Neberte to prosím ako finálnu apku, tu je napr. pár issues, ktoré som nahodil k tejto prvej verzii:

Ešte neviem testovať funkcionalitu pre poskytovateľa, riešime zapojenie IAMka. Malo by to byť dostupné v najbližších dňoch.

2)

Tu je zoznam dokumentov, výstupov z Fázy M2 na pripomienkovanie:
Bezpečnostný projekt.pdf (388.8 KB)
Prevádzkový opis.pdf (112.5 KB)
Konfiguračná príručka.pdf (120.7 KB)
Integračná príručka.pdf (98.2 KB)
Inštalačná príručka.pdf (163.6 KB)
Havarijný plán.pdf (115.1 KB)
Aplikačná príručka.pdf (378.4 KB)

3)

Faktúra pre MFFUK Praha ešte nebola vyplatená, ale podarilo sa nám konečne na našej strane podpísať dohodu o urovnaní, takže snáď sa to už dotiahne.
https://crz.gov.sk/8474385-sk/20232023/

4)

Momentálne riešime SLAčku pre projekt, tým že sa jedná o infraštruktúru, ktorá nie je v NASESe, tak to nie je také jednoduché a priamočaré. SLAčka bude pravdepodobne riešená cez VO.

5)

Začíname aj s testovaním harvestovanie Lokálnych katalógov. Dočasne sa to rieši cez github, tu môžete vidieť prvé pridané LKODy:

Najlepšie je spravený ten LKOD mesta Zvolen, dostupný na adrese:
https://opendata.zvolen.sk/set/catalog/lkod

Prvé miesto stratilo MFSR, ktoré ešte potrebuje upraviť LKOD podľa týchto požiadaviek:
https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=134157152

IvanK · October 24, 2023, 11:44am

Ahoj

Ten bezpečnostný projekt bude treba spraviť "ozajstný ", lebo analyza bezpečnosti v ňom je minimalisticko - formálna, v praxi nepoužiteľná a v rozpore s požiadavkami legislatívy. Odvolávajú sa síce na 179/2020, ale tam sa určuje " Štruktúra výstupu analýzy bezpečnosti musí zodpovedať oblastiam ustanoveným osobitným predpisom alebo technickou normou. T.j. mala by pokryť 16 oblasti bezpečnosti stanovených zákonom o kybernetickej bezpečnosti. Toto sa odignorovalo.

liska · October 24, 2023, 12:20pm

Ďakujem, posuniem do tímu a na dodávateľa.

Lubor · October 24, 2023, 1:17pm

Len taký (nekonštruktívny) povzdych: vyzerá to dokonca ešte menej prehľadne ako doterajší portál.

liska · October 24, 2023, 1:41pm

Radšej buď teda konštruktívny, a uveď konkrétne, čo máš na mysli. Pretože ja si myslím, že už jednoduchší frontend byť nemôhol.
Nesnažili sme sa nič vymýšlať, návrh je urobený tak, že sa maximálne možne podobal na portály otvorených dát v iných krajinách. Obrazovky sme prezentovali veľa krát a samozrejme, dodržali sme IDSK (resp. snažili sme sa). Čiže na ľavo máš fazetové vyhľadávanie, vpravo sú výsledky. A keďže sa jedná aj o rovnaký metadatový model (DCAT), snažíme sa urobiť rovnako aj fazety ako sú inde. (Toto sa ešte dorába).

Niektoré drobné detaily sa dajú úrobiť asi ešte lepšie, napr. názov poskytovateľa dát v zozname výsledkov splýva s popisom textu, a rôzne formáty by mohli byť reprezentované skôr nejakou ikonkou ako textom, lebo tiež s popisom datasetu splývajú.

Alebo máš na mysli ešte niečo iné?

Lubor · October 24, 2023, 2:04pm

Pozri môj obľúbený príklad: register adries / MV. Mrte “výsledkov” v ktorých sa nedá vyznať.

liska · October 24, 2023, 4:40pm

OK. Uznávam že to GUI nie je celkom dobrúsené. Skúsime s tým niečo spraviť.
Ja tam vidím dve veci: a) aby tie texty nesplývali, b) pridanie farebné ikoniek pre formáty, to mohlo ku prehľadnosti pomôcť, napr. tak je to v španielsku - Conjuntos de datos | datos.gob.es. A asi je pravda, že zoznam datasetov (bez faziet) súčasného data.gov.sk je vizuálne prehľadnejší.

Alebo plís napíš, čo más ešte presnejšie na mysli.

dusoft · October 24, 2023, 5:23pm

Trosku hanba, ze niekto doda prace a kod a ministerstvo neplati, vsak naco. Potom riesi dohodu o urovnani. To znie ako riadna zlodejina.

K webu: zadam “doprava”, dam hladat, dojdem sem:
http://nkod.mirri.tech/datasety/21637c70-7377-41f5-9821-44e7caa97f70

Cakam, ze ked kliknem na CSV, tak mi to da stiahnut a nie ma posle na hlavnu stranku na uplne iny web. Mozno jeden dataset, ale hned nepouzitelny web.

Strankovanie - chyba moznost dat vypisat komplet zoznam. 50 je naozaj malo. Navyse neviem ist po strankach, ale len predchadzajuca alebo dalsia.

vid odporucania UX autorit:

Ked hladam na nejakej stranke typu poskytoval, tak nic nenajde = bug.

Web mi pride prehladny (porovnaj ten open data paskvil od financnej spravy), ale ja sa v takychto weboch nepohybujem, cize nepoznam ich standardy.

Doplnam: chyba RSS/Atom feed pre nove datasety, resp. nove datasety v ziadanej kategorii.

liska · November 15, 2023, 10:56am

Ahojte,

pár najnovších informácií o vývoji projektu. Čas jeho konca sa neúprosne blíži.

1)

Frontend ešte nie je celkom dokončený, a harvestovanie nie je ešte finálne nakonfigurované. Tu je možné vidieť požiadavky pre koniec roku 2023

NKOD-23.12

Toto je len malý výber, kde je možné vidieť issue s prehľadnosťou:

2)

Čo sa týka subsystému komunita, ktorý bol vyčlenený že bude spracovaný priamo v Dátovke, po našich viacerých diskusiách to vyzerá tak, že riešenie rozšírime o opensourcove headless CMS, ktoré poskytne požadovanú funckionalitu pre používateľov, podľa špecifikácie.
Tu si môžete pozrieť aktuálny návrh:
Celý dokument:

Model

ADR.docx (589.2 KB)

Pozn. Prihlasovanie členov komunity nebude riešené cez IAM, to bude platiť len pre poskytovateľov dát
Aj keď sa budeme snažiť stihnúť do konca roka, pravdedobnosť, že sa to ešte bude riešiť v januári/februári je nenulová.

3)

V súčasnosti pracujeme na SLA pre projekt OD2.0., ktorá bude na dva subsystémy, tj.

NKOD (Národný katalóg otvorených dát) - produkt MFF UK
Webový portál pre NKOD - končiaci projekt s dodávateľom webového portálu Informo

Kedže subsystém komunita nie je ešte hotový, tak SLA tento komponent nebude mať ešte exaktne definovaný (aby sa náhodou nestalo, že sa SLA platí ale komponent neexistuje), avšak predmetom SLA bude aj: analýza, otestovanie a nasadenie komponentu tretej strany (aby bola možnosť ho aj odmietnuť), čím sa bude môcť nasadiť jednak Komunita, alebo nejaké iné vylepšenie vyvinuté niekým iným (napr. aj nejakým aktivistom, ktorý chce pomôcť). My okrem Komunity tam napr. chceme ešte nasadiť DCAT-AP-SK2.0 validátor pre tvorcov Lokálnych katalógov.

4)

Dobré správy máme aj GovGit, resp. GitHub. Po viacerých rozhovoroch s SKB (Sekcia kybernetickej bezpečnosti) sme sa rozhodli, že súčasťou nákupu licencií bude aj licencia na skener bezpečnosti kódu v rámci Advanced Security Features.

Pre verejné repozitáre je to free, takže to plánujeme otestovať napr. na tomto projekte OpenData, pretože ten je celý zverejnený na githube, ale pre neverejné repozitáre to musí byť kúpené, a takých repozitárov máme veľké množstvo. Toto spolu s vytvorením metodiky (procesu okolo incidentov) bude základných stavebným kameňom zverejňovania zdrojových kódov.

5)

Konečne sme uhradili faktúru MFFUK Praha, takže tento veľký trapas je už za nami.

Nejednalo sa o žiadnu “zlodejinu”, skôr našu chybu. Akceptačný protokol bol podpísaný po s dátum neskorším ako bolo uvedené v zmluve, a naše fakturačné oddelenie nám odmietlo faktúru uhradiť, nakoľko by to mohol byť problém pri kontrole. Tak sa musela spustiť celá peripetia okolo dohody o vyrovnaní.

liska · November 20, 2023, 4:47pm

Ahojte,

krátka informácia k doméne pre novú verziu portálu NKODu. Aj keď sme sa snažili, aby aj nový projekt bežal na adrese data.gov.sk, či už podľa data.gov.cz, dati.gov.it, datos.gob.es, …,

nebude to bohužiaľ možné, nakoľko sa nepodarilo ešte vyriešiť prepojenie medzi MIRRI a NASESom, ktoré by umožnilo využívať verejný cloud pre gov.sk domény. Odhad je, že to bude trvať ešte rok (čiže koniec roka 2024). Súčasné testovanie je na adrese nkod.mirri.tech, avšak z pohľadu času to tiež nie je dobré riešenie. (mirri môže raz zaniknúť, resp. sa rozplynúť, pretransformovať)

Domény, ktoré sú momentálne v hre sú nasledovné:

opendata.slovensko.sk
otvorene.slovensko.sk
data.slovensko.sk (podľa data.europa.eu)
govdata.sk (podľa govdata.de)

Veríme, že sa po roku k tomu vrátime. Samozrejme bude nastavené aj presmerovanie z data.gov.sk na novú doménu. Či budeme veľmi promovať novú adresu ešte nie je jasné, ja si viem predstaviť, že stále budeme preferovať data.gov.sk

Každopádne ak máte preferenciu k horeuvedeným variantám, ale k nejakej novej, dajte vedieť.

jsuchal · November 20, 2023, 5:25pm

opendata.slovensko.sk
otvorene.slovensko.sk
data.slovensko.sk
govdata.sk

0 voters

jsuchal · November 20, 2023, 5:26pm

Fun fact: govdata.sk bola kedysi moja doména.

liska · November 22, 2023, 8:25am

Dakujem za zriadenie hlasovanie aj hlasovanie. Nemame uz cas, takze som dal zaregistrovat vitaza data.slovensko.sk

Kazdopadne chcem povedat, ze tuto domenu berieme ako docasnu, kym sa nevyriesi problem s pouzitim domeny *.gov.sk pre aplikacie beziace v komercnej casti vladneho cloudu. Tu mam informaciu, ze sa to planuje riesit nejakym VPN uzlom, priznam sa, ze presne neviem o co ide.

Jednak viacere vyhlasky spominaju data.gov.sk, a aj tato domena tvori zaklad pre URIcka datasetov, ciselnikov, vsetkych ontologii … Takze to neplanujeme ani legislativne menit a skor to berieme ako podporu, ze sa to vyriesi.

robert.kuchar · November 22, 2023, 11:00am

ale tu docasnu by som potom nechal a nastavil tam forward, pretože pre bežného človeka bude prirodzenejší názov domeny data.slovensko.sk ako data.gov.sk …

liska · December 10, 2023, 3:04pm

Ahojte, malý update.

1)

Zajtra bude Webový portál pre NKOD nasadený do produkčného prostredia.

https://data.slovensko.sk

Avšak zápis datasetov bude až do 15.1.2024 prebiehať do súčasného portálu. Po tom čase bude súčasný neprístupý, a začne postupne jeho vypísanie (pred tým ešte riešime ešte jeho plnú zálohu).

Kedže končí programové obdobie a veľa OVMiek publikuje svoje datasety práve spojené so svojimi projektami súvisiacimi s opendata, tak teraz nebudeme riskovať problémy. Nový portál bude o všetkom informovať a aj pri uložení datasetu vyskočí popup s týmto upozornení.

Tento režim nám pomôže doladiť veci, otestovať ho viacerými poskytovateľmi, čiže istým spôsobom je to pre nás veľká pomoc.

2)

Ak chcete podrobnejšie sledovať vývoj, stav riešenia požiadaviek, či ich zaradenie do daných fáz, môžete sledovať viaceré naše míľniky:

Okrem webového portálu riešime aj harvestovanie v rámci NKODu (dátový backend), kde si môžete pozrieť zas priebeh riešených požiadaviek:

3)

Rád by som dodatal že OD2.0 je pomerne veľký skok od predošlej verzie, a určite bude chvíľu trvať, kým sa začne používať správne/efektívne. Napr. - jedným z problémov starého portálu bolo nesprávne katalogizovanie datasetov ako distribúcii, čo bolo spôsobené najmä potrebou zoskupenia súvisiacich datasetov dokopy.

V novom portáli je toto riešené cez tzv. Dataset typu Dátová séria, ktorá nemá distribúcie, len zoznam datasetov. Toto bude musieť byť urobené ručne na novom portáli. Nedalo sa to plne automatizovať, pretože niektoré datasety boli správne, niektoré nesprávne katalogizované.

Aby som uviedol príklad, tu môžete vidieť Dátovú sériu faktúr zverejnených na v novom portáli:

Dôležitá výhoda, ktorá ale z tohto vyplynie je, že jednotlivé časti datasetu sú opäť datasety, a teda majú svoje vlastné metadáta. Jeden vnorený dataset platí pre jedno časové obdobie, druhý pre iné.

A potom je možné jednoducho si cez SPARQL Endpoint pýtať vždy najnovší dataset patriaci do danej série, ktorú sledujem. Ale chvíľu potrvá, kým sa toto celé vyladí. Každopádne plánujeme množstvo podpory a veľa školení.

Val · December 11, 2023, 9:22am

Ak dám do vyhľadávania register adries nájde mi 10 výsledkov Národný katalóg otvorených dát
ak zaškrtnem kľúčové slová register adries (10) nezobrazí nič.

Ak si vyberiem Register ulíc Národný katalóg otvorených dát
nie je tam info z akého dátumu sú údaje.
Podľa názvu súboru je to z roku 2018?

Kde teda nájdem tieto údaje ktoré sú na starom https://data.gov.sk/dataset/f2b3af7a-b4d4-45d7-9605-29fa5d7ad115

Kde si stiahnem CSV pre aktuálny a kompletný zoznam ulíc?

Posledný záznam v tabuľke je z 8.12.2023.

liska · December 12, 2023, 12:51pm

Pozdravujem, ďakujeme za podnet, dovolím si vyjadriť zatiaľ narýchlo a trochu všeobecne, podnet si ešte prejdem, ak z toho bude bug tak to nahodím medz iissues.

Čo sa týka registra adries. My s Ministerstvom vnútra pravidelne riešime opendata, najmä k projektu nového OpenData API Registra adries, ktoré bude presne riešiť to čo ste tu navrhli:

a)
Ja som to už aj testoval, ale ešte pred časom to bolo len zavesené na testovaciom prostredí dodávateľa Min. Vnútra, a čaká sa, ký mto bude na finálnych URLkach. Bude to množina APIčok, a všetky budú skatalogizované v NKOD. Bohužiaľ, máme padnutý MetaIS Confluence, kde máme štandardy pre tieto API, tam by bolo presne všetko vidieť, ako sa dáta volajú, či vracajú. Každopádne služba bude podľa mňa čoskoro prístupná.

b)
Druhá vec je, že rovnako riešime aj zmenové dávky, resp. veľké dumpy súborov. Tie sa už nebudú kopírovať na data.gov.sk, ale budú prístupné priamo z úložiska Ministerstva vnútra. Z pohľadu používateľa je to v podstate jedno, metadáta budú rovnaké, len dáta sa stiahnu z iného miesta.

c)
vyhlľadávanie určite vie byť lepšie, verím že sa ešte v rámci podpory (fáza projektu M4) niečo podarí vylepšiť. Metadáta sú sémantické, vyhľadávanie nad nimi je ale fulltextové, čiže potenciál je obrovský, len sme toto už nedokázali ku dnešnému dňu urobiť ešte lepšie. Je to určite ale priorita.