Denník NP OpenData 2.0

https://www.uvo.gov.sk/vestnik/oznamenie/detail/557899

II.1.4) Stručný opis

Predmetom zákazky OD V2.0 je vytvorenie portálu pre správu Národného katalógu otvorených údajov. V tomto portáli bude vytvorené metadátové jadro pre centrálne sprístupňovanie otvorených údajov. Pre dosiahnutie cieľa projektu OD V2.0 je potrebné vybudovať potrebnú infraštruktúru. Tento dokument špecifikuje technické požiadavky infraštruktúry pre projektu OD V2.0 vrátane jednotlivých komponentov architektúry OD V2.0, ktoré bude potrebné vybudovať.
Kompletná infraštruktúra bude vybudovaná z cloudových služieb poskytovaných komerčným poskytovateľom. Infraštruktúrne služby budú dodané pre projekt OD v2.0 v štandardnej lehote do 30 dní po podpisu zmluvy.

II.1.5) Celková predpokladaná hodnota

71 798,13 EUR bez DPH

Ja len pre upresnenie. Toto je druhé VOčko pre komerčný cloud (komerčná časť vládneho cloudu).
Mrzí ma, že je to trošku nezrozumiteľne napísané v tom predmete. O tomto VOčku som už písal vyššie:

Čo sa týka prvého VOčka - tj. vytvorenie NKODu (Národný katalóg otvorených dát), tam je už podpísaná pár dní aj zmluva s MFF.
https://crz.gov.sk/zmluva/6345166/

Tu posielam aktualizovaný pohľad na jednotlivé VO v rámci OD2.0:

Každé VO má inú farbu. Toto najnovšie (druhé VO) je tá zelená časť, v realizácii je to prvé (modrá časť).

Ešte info: 31.3. bol riadiaci výbor, na ktorom sa napr. schválil prechod do realizačnej časti (kvoli podpísanému prvému VO). S čím máme teraz problém je SKIT, pretože pôvodne mal realizovať tú oranžovú časť, bohužiaľ kvoli kapacitám vypadol. Snažíme sa urobiť čo najviac na našej strane, aby VOčko bolo potom menšie a presnejšie. Tu dokončujeme podrobný OPZ, a čoskoro zverejníme aj klikateľný prototyp vo figme, čo sme na úrade spravili. Celkom úplne nie je ani vylúčené klepnutie pár riadkov kódu, ktoré by potom viťaz mohol dokončiť.

Ahojte,

aspoň pár informácií o aktuálnom stave.

Projekt ide, samozrejme, bojujeme. Je nás veľmi málo a máme veľa agendy, ale OD2.0 napreduje. Hoc teoreticky / technicky by to mohlo byť aj hotové.

ČO sa týka prvého projektu s MFFUK, tj. databáza, metadata, procesing, kvalita, sparqlendpoint, to postupne prebieha. jednak sa tvoria nové pipelines, nové slovenské urička, pripravujú sa podklady pre migráciu. Určite dojde k zmene počtu datasetov, pretože súčasná štruktúra metadát skresluje skutočný počet datasetov - voči DCAT sémantike. Niekedy to čo je už nový dataset na data.gov.sk sa nesprávne eviduje len ako distrúcia datasetu. A naopak, niekedy dataset obsahuje len www odkaz na nejaký portál, kde sú datasety. toto ale nie je dataset, treba samostatne katalogizovať všetko na danom webe. Odhady sme ešte nerobili, ja predpokladám mierny nárast počctu datasetov.

Na tomto linku
https://sk-nkod.opendata.cz/datové-sady

môžete nájsť testovaciu verziu novej databázy OD2.0 (frontend je z data.gov.cz a počas vývoja ho udržujú priamo naši projektoví partneri z MFFUK). Skvelí Jakub Klimek a Petr Škoda.
Zatiaľ sa jedná o budovanie stavu AS IS. Mnoho metadát chýba. Meranie kvality začína postupne fungovať tiež.

Celkovo z pohľadu projektu, a teda najmä nového portálu, kedže vypadol SKIT (už ani nemajú hlasovacie právo na RV), je pre nás teraz kľúčové obsadenie dvoch interných vývojárov, ktorý by robili priamo pre nás. Hoc budeme robiť aj veľké VO na dokončenie všetkých komponentov, aby sme samozrejme nečakali/nestratili polroka, tak sme s tým rátali a do rozpočtu sme ich vložili. Zadanie pre vývoj si vytvárame priamo v dátovke.

Aby som bol presný, hľadáme jedného backendistu - tam silno preferujeme javu, spring, openapi - kedže pre RDF spracovanie zatiaľ jasne vyhráva RDF4J. Ako vyzerá konkrétny kód môžete napr. vidieť na našom projekte znalosti.gov.sk
https://github.com/datova-kancelaria/znalosti.gov.sk/blob/main/src/main/java/sk/gov/knowledgegraph/rest/DataAPI.java
(vráti zoznam datasetov nahraných do databázy)

Čo sa týka frontendu, tu chceme preferovať moderné webové javascriptové frameworky: AngularJS, ReactJS, TotalJS, VueJS.
Napr. na znalosti.gov.sk je použitý Vaadin (java) a dokonca vzniklo idsk4j

avšak nie som si istý, či je to tá najlepšia cesta aj pre OD2.0. Znalosti.gov.sk sú zatiaľ prototypový projekt, tam hlavne ide o API a je to OK.
Čo sa týka OD2.0, ide o to, aby sa dala ešte nejakú dobu udgradovať, a dobre servisovať mnohými potenciálnymi silami.

Tu prichádza otázka, či napr. také Ruby on Rails spadá do takej kategórie, alebo je to menej vhodné, podobne ako napr. idsk4j. Priznám sa že v oblasti frontentu som celoživotný junior, hoc snažím sa držať krok s dobou. Aký máte na to plís názor? Ide nám o to, aby bol i frontend v budúcnosti dobre supportovateľný čo najväčšioum potencionálnou množinou ľudí. Ak bude niečo treba dorobiť, aby sa to vedelo urobiť veľmi rýchlo.

Ak Vás to zaujalo, napíšte mi prosím na miroslav.liska@mirri.gov.sk

Ďakujeme

1 Like

V tom DataApi máš fatálnu chybu na ktorú prídeš až v prevádzke a bude sa prejavovať náhodnými pádmi alebo nesprávnym vysledkom. Dôvod : databaseTreemap je atribút v singletone, takže je zdieľaný krížom cez všetkých paralelne pripojených používateľov. Riešením je zahod ten atribút, nepotrebuješ ho. Stačí ti final premenená vo vnútri metódy. Navyše ani nepotrebuješ použiť treemap, ale stačí obyčajný ArrayList keďže na výstupe chces mať rovnaké poradie v akom čítaš záznamy.

AngularJS je uz zastaraný framework. Kompletne ho prekonali, teraz ho píšu v typescripte (lebo statická traspilacia do je má svoje nesporné výhody). Po novom sa to volá už iba Angular. https://angular.io/

Hovoríš o podpore frameworkov v mnoznom čísle. Odporúčam aby ste si vybrali jeden a sústredili sa naň.

Vyzerá to že hladate ako vyskladať vývojový stack, ja zvyčajne začínam s https://www.jhipster.tech/ kde si vyberám kombináciu gradle + Spring Boot + Angular + Hibernate + H2/development + postgres/produkcia a pridávam ku tomu ešte https://projectlombok.org/

2 Likes

Ďakujem za upozornenie. :+1: Čoskoro budem nasadzovať novú verziu, toto opravím.

Áno, presne to tak chceme spraviť, samozrejme zamerať sa na jeden. Tu sa snažíme nájsť taký, aby bol čo najviac používaný a známy. Pretože jednak chceme spraviť niečo my v dátovke s niekým kto by napr. urobil nejakú základnú časť GUI portálu (internista, resp. nejaká dohoda), a plánujeme aj urobiť VO na dokončenie, a zase aby to nebol prílišný showstopper pre nejakého záujemcu.

Ahojte,

dokončili sme ďaľší dôležitý míľnik na OD2.0., resp. blížime sa k nemu. Momentálne sa maximálne zameriavame na portál.

Máme pripravenú špecifikáciu softvérových požiadaviek pre Webový portál NKOD

k tomu prototyp riešenia vo figme

prípadne screenshoty na stiahnutie

celý UML model s požiadavkami a architektúrou,

V súčasnosti pripravujeme ocenenie tohto diela prostredníctvom PHZ (predpokladanej hodnoty zákazky), kde budeme oslovovať záujemcov. Databáza a k tomu procesing sa už stavia (postavený na jadre data.gov.cz), predmetom Webového portálu je spravenie API a idsk frontendu.

Kým prvá časť portálu bola veľmi technická a nastavili sme na ňu kritéria aj kvality, táto druhá časť bude mať pravdepodobne kritérium iba najnižšia cena. Ešte to nie je úplne stanovené, ale k tomu to smeruje. Na serveri predpokladáme javu (kvoli rdf frameworkom), klient je viac menej voľný, hlavne ide o dobrú podporu idsk.

Tie služby budú implementovať SPARQL dotazy, s čím určite pomôžeme. Ten kto vie písal SQL, tak SPARQL je veľmi podobný.

Boli by sme veľmi radi, aby sa prihlásilo čo najviac záujemcov, za koľko by to spravili. Uvedenú dokumentáciu ešte budeme aktualizovať a robiť asi OPZ (opis predmetu zákazky), takže si to môžete aspoň začať pozerať. Ak by ste mali záujem, dajte mi vedieť a keď budeme oslovovať subjekty, tak oslovíme aj Vás.

Ďakujeme

Ahojte, posielam pár noviniek z projektu.

1)

V rámci projektu OD2.0 prebehlo 2. verejné obstarávanie, ktoré bolo určené na komerčný cloud - resp. komerčná časť vládneho cloudu.
https://www.uvo.gov.sk/vestnik/oznamenie/detail/563853

Do súťaže sa zapojilo viac subjektov, a bol vybratý víťaz s najnižšou cenou (Oracle).

Zmluva myslím ešte nie je podpísaná. Pevne verím že sa tak stane tomu čo najskôr, aby sa mohla prvá datová časť, ktorú dodáva MFF, nasadiť.

2)

Ako som už uviedol vo vyššiom príspevku, pripravujeme sa na získanie PHZ na naprogramovanie Webového portálu NKOD. Tu chceme najskôr osloviť čo najviac firiem. Zatiaľ ešte nemám predstavu ako zostaviť nejaký zoznam, ale chceli by sme tu osloviť čo najviac subjektov. OpisPredmetuZákazky na Webový portál je už na 99% hotový, takže sme veľmi blízko.

3)

Ešte stále hľadáme nejakého programátora, ktorý by nám pomol s ďaľším komponentom (trošku prilepeným k OD2.0), a to je Katalóg pre sprístupnené zdrojové kódy ISVS code.gov.sk

Je to samozrejme podľa vzoru napr. USA - https://code.gov/agencies, prípadne francúzska code.gouv.fr - Codes sources du secteur public - French Public Sector Sources Codes

kde sa jedná o veľmi jednoduchú aplikáciu, ktorá bude obsahovať len metadáta o tom, čo je kde po verejných úložiskách zverejnené. Aj keď vo väčšine našich projektov používame na servri JAVU (OD2.0, znalosti.gov.sk) kvoli RDF databáze, tak tu sme sa rozhodli, že to môže byť urobené v hocičom modernom (samozrejme nie v Pascale), samozrejme v súlade s idsk.gov.sk, a musí to byť dobre zdokumentované a samozrejme zverejnené. Dataset ktorý sa takto zozbiera bude dostupný aj cez data.gov.sk.

Ak by to niekoho zaujímalo, ozvite sa mi plís. Vieme sa rozprávať aj o dohode popri Vašej inej práci. Keďže sa jedná a malý projekt a máme dosť času (do konca roka 2023), tak tu ešte nie sme v časovej tiesni. Viac informácií rád poskytnem. Ozvite mi na môj miroslav.liska@mirri.gov.sk.

4)

V rámci riešenia sprístupňovania zdrojových kódov pripravujeme dotazník pre OVM, aby sme získali spätnú väzbu, ktorá rozhodne, či sa pokúsime v rámci OD2.0 aj nasadiť nejaký existujúci github, ktorý bude presahovať základný katalóg code.gov.sk. Toto je ešte otvorené.

1 Like

Fíha toto je zaujímavé, že Oracle dal niekoľkonásobne menšiu cenu ako phz. Čím si to vysvetľujete?

Rozptyl cien od 17tisic do 170tisic je nenormalny, tam muselo byt nejake nedorozumenie, nie je mozne aby niekto to iste ponukal za desatnasobok ceny

1 Like

Dovolím si tu odpovedať našim stanoviskom:

Celý projekt Open data sa snažíme robiť maximálne transparentne a odborne tak, aby sme čo najefektívnejšie dosiahli jeho ciele. Aj toto VO sme otvorene komunikovali aj tu a myslíme si, že aj zadanie bolo jasné – o čom svedčí aj 5 zapojených uchádzačov - pričom počas VO sme nedostali žiadne pripomienky, ktoré by naznačovali, že sme nejakú časť VO popísali nedostatočne či nejasne.

O dôvodoch takéhoto rozptylu cenových ponúk môžeme, ale nechceme špekulovať resp. zamýsľať sa nad internými riešeniami a obchodnou politikou uchádzačov.

1 Like

Ahojte,

za prvú časť projektu, tj. NKOD, ktorú realizuje MFF UK už máme hotovú dokumentáciu prvej fázy. Budeme veľmi povďační, keď si dané dokumenty pozriete, a ak tam nájdete nejakú časť, ktorú považujete za nekvalitnú, nedopracovanú, resp. otáznu, dajte nám prosím vedieť.

Dokumenty spracoval Jakub Klimek, pre mňa je to veľký macher, a takisto vníman tieto výstupy.

DNR
R1_1_DNR_DETAILNY_NAVRH_RIESENIA_OD2.0-NKOD_130622_v0.3.docx (2.5 MB)

Plán testov
R1_2_PLAN-TESTOV_Priloha_2_SUMARNY-PROTOKOL-TESTOV_OD2.0-NKOD_Jakub-Kl¡mek_DDMMYY_v0.1.docx (18.7 KB)
R1_2_PLAN-TESTOV_OD2.0-NKOD_080622_v0.1.docx (996.1 KB)

Tescases
Test casy.zip (343.5 KB)

Neustále hľadáme posily pre projekt:

Analytik/analytička otvorených údajov

(rôzne analytické/metodické činnosti nad otvorenými údajmi )
https://ats.nalgoo.com/sk/gate/mirri-gov/position/67619

Vývojár aplikácii otvorených údajov

(vytvorenie apky code.gov.sk + pár transformácií nad otvorenými údajmi)
https://ats.nalgoo.com/sk/gate/mirri-gov/position/67673

2 Likes

1)

Rád by som zazdieľal naše Lessons learned z projektu NKOD, kde sme dostali upozornenie od Štatistického úradu o zvýšenom sťahovaní ich datasetov.
Dôvodom je, že nový portál pravidelne kontroluje kvalitu metaúdajov, a medzi tým aj dostupnosť - čo je štandardná vlastnosť kvality metadát otvorených údajov.

Najpravdepodobnejší dôvod je keď poskytovateľ má nesprávne nastavaný protokol HTTP HEAD, nevracia len hlavičku ale obsah súboru. Z ČR sme dostali informáciu, že toto sa pár kráť stalo aj u nich, a že po správnej implementácii to funguje OK (majú cez 100K datasetov).

Bol to dobrý dôvod opäť aktualizovať náš metodický portál otvorených údajov
https://opendata.gov.sk

(ktorý vznikol na základe inšpirácie opendata.gov.cz)

Spomínaná technická prekážka správneho sprístupnenia otvorených údajov je súčasťou metodiky:
Chybné nastavenie metódy HTTP Head
https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=101815853

V ČR je obdobne: Příklady špatné praxe v oblasti otevřených dat - Otevřená data

2)

Projekt OD2.0 je aktuálne vo fáze, keď sme začali proces stanovenia PHZ (predpokladaná hodnota zákazky) kde plánujeme osloviť vybratých 18 firiem a následne bude vyhlásené verejné obstarávanie na Webový portál pre NKOD, veríme že ešte v septembri. Samotné dielo Webový portál nepovažujeme za náročný, ale čas nás tlačí (trvanie vo, posledná možná fakturácia).

1 Like

Minulý týždeň bola pracovaná skupina Otvorené údaje, ktorá bol zameraná na prezentáciu aktuálneho stavu projektu NP OpenData2.0, v rámci ktorého riešime jednak nový portál pre Národný katalóg otvorených dát a tiež pripravujeme riešenie na zdieľanie otvorených zdrojových kódov.

Tu môžete nájsť záznam:

Ahojte.
:point_right: Novembrová pracovná skupina otvorené údaje bude opäť špeciálna. Bude to už 2. ročník eventu Otvorené údaje v Československu, na ktorom si chceme vymieňať skúsenosti s funkciou a smerovaním otvorených dát v celom ekosystéme CZ a SR egovernmentov.

https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=101824243

1 Like

Pozor pozor! Začala sa verejná súťaž pre implementáciu diela: Webový portál pre NKOD. Trvá do 5.12.2022. Zapojte sa.

image

Rád by som poznal odpovede na tieto otázky:

  1. Ako dopadla sútaž na Webový portál pre NKOD s termínom 5. 12. 2022?
  2. Na základe čoho bola určená PHZ tejto zákazky? Kto bol oslovený a s akým výsledkom?
1 Like

Pozdravujem. Súťaž ešte stále beží, deadline je teraz do piatku. Ak sa zvažujete zapojiť, prosím urobte tak.

Keďže súťaž ešte beží, na informácie musím byť strohý a môžem komentovať to čo sa dá zo zverejných podkladov vyčíťať.

Súťaž sa trikrát posunula. 1x krát kvoli mojej chybe, pretože linky na technické prílohy smerovali do vnútra našej organizácie, a neboli prístupné verejnosti. Toto sme zistili pomerne rýchlo, ale museli sme to posunúť. Potom muselo prísť druhé posunutie, pretože obdržané cenové ponuky čo sme dostali, konkrétne percentuálne rozdelenie ceny pre jednotlivé role (Analytik N%, Návrhár M% …) neboli v súlade s príručkou EŠIF. Toto bola opäť naša chyba na MIRRI, zistili sme to až keď sme vyhodnocovali súťaž. Horko-ťažko som zaplakal.

Formálne sa súťaž zrušila a vyhlásila sa nanovo:
https://www.uvo.gov.sk/vyhladavanie-zakaziek/detail/455613

Nový deadline sa stanovil na 9.1., čo bolo opäť veľké množstvo dní. Následne prišla žiadosť o posunutie termínu od subjektu, nakoľko boli vianoce. Takže, hoc je súťaž už vonku pomerne dlhšie, aby nikto nič nenamietal, posunuli sme ju teraz do piatka.

PHZ bola spracovaná na základe výzvy a predložených ponúk. Oslovili sme 16 spoločností. Po skončení súťaže určite zverejníme všetky ďaľšie informácie.

Z mojej pozície a podľa mojich vedomostí môžem povedať, že sme urobili všetko tak, aby mohol raz byť OD2.0 projekt príkladom transparentného projektu. Budem veľmi rád keď skontrolujete všetko čo sa len dá.

1 Like

Dobry den, je niekde napisane, ako dopadla opakovana sutaz ?

Dobrý deň, súťaž ešte neskončila. V súčasnosti prebieha jej vyhodnocovanie.