K datam vestnika zverejnenym na data.gov.sk sme poslali uradu splnomocnenca vlady pre rozvoj obcianskej spolocnosti nasledovne pripomienky.
Urad splnomocnenca organizuje buduci tyzden stretnutie na UVO, bude tam niekto od nas. Ak mate napady co by mali zverejnovat prioritne dajte vediet. Budeme tieto poziadavky tlmocit na stretnuti.
Náš scenár čo sme si narýchlo prešli:
vo vestniku 132/2016 vyšlo oznámenie Oznámenie 10663 [http://www.uvo.gov.sk/vestnik/oznamenie/detail/339428], číslo oznámenia aj linku nie je možné zistiť aj keď sa odkazuje na Oznamenie 1431 - DES [http://www.uvo.gov.sk/vestnik/oznamenie/detail/329324] z vestniku 34/2016, kde samozrejme nie je možne zasa zistiť ani to “1431 - DES” ani číslo 329324 (aj keď toto je už v návrhu popísane, ale ak mám odkazovať súvisiace oznámenia, prečo k ním neexistujú identifikátory?).
Jedine je to možné nejak napojiť cez zakazku, ktorej id síce je, ale v rámci nej je takmer nemožné z vestníka zistiť väzby => aj tak budem musieť navyše parsovať web, kvoli identom oznámení.
Zostávame stále pri tejto zákazke, pretože v 136/2016 vyšla oprava, ktorá už našťastie má správnu url [http://www.uvo.gov.sk/vestnik/oznamenie/detail/339428?v=correction] ale zmenový obsah je encodnute xml, čo by bolo ako v pohode, akurát dôležita časť a to, že tam bola zle uvedená cena je raw text, čiže nič automaticke to neopraví, aj keď zdroj by sa dal cez nejake identifikátory veľmi dobre upraviť na správnu hodnotu.
Keďže okrem hackathonu som s týmito dátmi nerobil, tak viac zatiaľ nepomôžem.
Nie som si isty, ci ta prva vec, co @vlko opisoval, koresponduje s bodom c.3 v tom docku, ale pride mi to ako podobne (“Odkaz resp. jednoznačný identifikátor na jednotlivé oznámenia chýba. V xml je uvedený len odkaz na zákazku a obstarávateľa, nie oznámenie.”).
K tej druhej veci - nepodarilo sa mi nikde najst schemu k tomu embednutemu XML v opravach, takze ked uz nic, tak aspon schemu by sa mohlo podarit ziskat. Podrobnejsi vysvetlujuci popis, ako je pisane v docku k “hlavnemu” dokumentu by bol samozrejme ovela lepsi.
Silno suhlasim s tym, aby sa silno tlacilo na to, nech to nie su datasety rozdelene po mesiacoch. Okrem statistiky (aha, kolko datasetov sme zverejnili) to sposobuje same komplikacie.
Atom feed nefunguje https://data.gov.sk/feeds/group/656f92fc-f8ed-4da5-a9f5-1499e03ad575.atom - vracia 404. Ten isty problem je aj pri inych organizaciach, takze to je asi problem data.gov.sk ako takeho
Preposlal som do NASES. Diky.
Nové datasety, ktoré by malo úvo zverejniť/prepojiť s vestníkom:
- Register konečných užívateľov výhod
Dnes vyšiel prvý vestník v roku 2017 po odstávke informačných systémov ÚVO a zmenil sa spôsob zverejňovania oznámení…
Doteraz sme boli zvyknutý, že text oznámenia je priamo dostupný po kliknutí na hyperlink oznámenia - po novom je používateľ presmerovaný na “profil zákazky”, kde si môže oznámenie jedine stiahnuť/zobraziť vo formáte PDF 
Je to takto OK vzhľadom na ust. § 148 ods. 1 ZVO, ktorý hovorí: “Úrad sprístupňuje vestník aj v podobe štruktúrovaných údajov, ktorá umožňuje ich ďalšie automatizované spracovanie.”?
De jure to ok podla mna je, kedze tie udaje su na data.gov.sk. Velmi by ma vsak zaujimalo preco si niekto pridava (!) tuto pracu. Kedze generovat PDF je vzdy vacsi problem ako to vyklopit do HTML. O strukturovanosti dat sa tu myslim uz pisalo.
Ono to skor vyzera, ze dodavatelia a UVO robia vsetko preto, aby sa ten web pouzival co najhorsie.
Vid https://www.uvo.gov.sk/robots.txt
User-Agent: *
Disallow: /
Pre neznalych problematiky - toto vyradi cely web UVO z google. Ocakam argument - “vytazovalo nam to nadmerne server” alebo podobnu somarinu.
Toto je strasna hanba.
Ku detailom oznámenia sa nedá dostať v štruktúrovanej forme, čiže aj podľa mňa §148 dodržaný nie je.
Skúsime to riešiť cez ÚSVROS, sľúbili dohodnúť stretko s ÚVO.
Zvláštne je aj že pre výsledok VO je oznámenie dostupné aj “po starom”, ale pre vyhlásenia VO a výzvy na predkladanie ponúk iba ako PDF.
Pre vestnik z 2.1. nie je strukturovane dostupny ziadny obsah oznamenia - az na redakcne upravy.
Pre vestnik z 3.1. to vyzera (ne)dostupne ako vravi @lubor, ale je tam toho malo, cize uvidime po sviatkoch.
Neviem co sa deje a to vravim ako jeden z dodavatelov systemov (tykajucich sa vo) na uvo, takato poziadavka mna obisla. Ale je to smutne, aj to strukturovane xml na data.gov.sk je smutne. Mrzi ma to ale zakaznik si za to moze sam…
Jeden deň PDF, iný deň HTML. Keď to je len v html, potom sa dalo vždy z jeho generovať aj PDF (ikona vpravo hore). Keď je to PDF ťažšie niektoré automaty sledujúce vestník zachytia a vyhodnotia jednotlive nové oznámenia. Možno je za tým snaha obmedziť takýchto poskytovateľov služieb. Možno …
Z ÚVO poslali takúto odpoveď:
Nezmenil sa spôsob zverejňovania oznámení vo vestníku verejného obstarávania. Podľa vyjadrenia dodávateľa sa vyskytla chyba u oznámení zaslaných koncom roka 2016, ktoré boli zverejnené až v novom roku 2017.
Na odstránení uvedeného nedostatku sa pracuje, všetky oznámenia, ktoré sú zverejnené len vo formáte pdf budú doplnené aj o formát xml, tak ako tomu bolo minulý rok.
Za prípadné komplikácie sa ospravedlňujeme.
priestor pre konspiracie typu “spravili to naschval aby sa nedalo googlit” sa nejako zmensil
robots.txt je stale tak, aby to Googlebot neindexoval. Google navyse indexuje aj PDF. Nechapem.
Aha. Ale aj tak si myslim ze to je skor admin error ako cielena sabotaz.
Prieskum dopytu po najžiadanejších datasetoch verejnej správy a otvorených aplikačných programových rozhraniach (do 31.3)
Cim viac pracujem s datami z vestnika verejneho obstaravania, zistujem ze mame tu jeden problem a to je chaotickost xml exportu, kde neexistuje napr unikatny identifikator zaznamu, ci to ze tam je 25 formularov a pribudaju dalsie, kazdy s trosku inou strukturou, ale zaroven aj druhy mozno vacsi problem a to je obrovsky bordel v samotnych datach vestnika
Ako je mozne pomoct na zlepseni tychto dat? Kedze vylepsenim datovych exportov si sice urychlime a zlahcime pristup ale ku stale nekvalitnym datam. Myslim ze 90% ak nie viac je sposobenych ludskym faktorom, takze predpokladam ze nejake strojove spracovanie vstupov miesto manualneho vytukavania do systemu a plus nejake overovania vo formularoch by pomohli (ako prve mi napadllo ze pri vyplnani formulara by uradnik len zadal ICO firmy a vsetky udaje by mu natiahlo z ORSR a nic dalej by nevyplnal a pod)
Nechces robit nejake reporty kvality a posielat im to tam? Podla mna je toto fajn projektik a dalo by sa to nad vela datami z ekosystemu.
Napriklad https://www.hlidacsmluv.cz/Report/2
skusim urobit nejaky report, casto su to ale nahodne (manualne) objavy…ale mozno sa mi podari vymysliet nejaky algoritmus co aspon zakladne veci ako porovnanie nazvu firmy, ICO, krajinu a pod spravi a vyreportuje nezrovnalosti
udaje ako zla DPH vyreportujem lahko
pri sumach to je zlozitejsie, ono obcas uverejnia opravu, ktora je vsak v tom xmlku v opravach ako textova polozka v zmysle “oprava obstaravania bla bla, suma mala byt tolko a je tolko”, co je realne skoro nemozne strojovo spracovat