OpenData Eurofondy ITMS2014+

Ano ano. Toto by riesilo aj problem synchronizacie a prechody medzi stavmi.

Ano, je to vcelku pouzitelne az na par ‘zvlastnosti’, ako ked error v sql query referuju podla cisla pozicie namiesto cisla riadka, alebo (co je priam bug) nemaju spravne zarovnane hodnoty na X-ovej osi grafu, ako napr. tu:

1 Like

Fuha, otvoris im pls issue tu Issues · metabase/metabase · GitHub ?

Uz to tam maju zadane od Oct 21, 2016 :wink:

2 Likes

V druhom issue ohladom sql error line number som dostala aspon tuto odpoved vztahujucu sa rovnako aj k tomu bugu:

Cize ani ten bug pre nich teraz nema prioritu a ak ma to trapi, konstruktivnejsie nez nahlasovat to, by bolo fixnut to.

No ano, toto sa vo svete opensource stava. Rozmyslam ci poznam niekoho kto pozna Clojure, ze by to vedel opravit.

1 Like

@Ernest_Walzel nezabudol som na teba s bug reportom ohladne generovania dokumentacie pre example. Je to fixnute a pojde to von s novou verziou.

3 Likes

@Ernest_Walzel robim nieco zle ak mi hadze “no results” pre “Zmluvy Verejne Obstaravanie Dodavatelia” a “Zmluvy Verejne Obstaravanie Dodavatelia Dodavatel”, ci chybaju data?
v api su. dik.

@Matej_Hruska podľa mňa nám chýbajú nejaké dáta. Tento týždeň som bohužiaľ
mimo PC, ale budúci pondelok sa na to pozriem. Bude ti to dovtedy stačiť?

1 Like

Narazila som na data ktore sa mi zdaju byt v ekosysteme nekonzistentne voci API

Tu vidno aj chybajuce subjekty pre prijimatelov ukoncenych projektov (staci si to zoradit podla stavu projektu):
https://bi.ekosystem.slovensko.digital/question/50

Chybajuci datum zamietnutia a stav na zop_zamietnute suvisia predpokladam so spominanou chybou v dokumentacii.

a @peter_k, ako to vyzera s tymi datami 7-13? :slight_smile:

pripravuju sa…snad do 2 tyzdnov to bude na data.gov.sk

1 Like

super, dik.

Riesenie problemu prechodov medzi stavmi mi pride jednoduchsie najma v normalizovanej DB strukture.

Aktualna DB struktura skoro 1:1 zodpoveda API endpointom a strukture elementov v nich, hoci napr na tabulkach ‘projekty_vrealizacii_intenzity_zdroje’ resp ‘projekty_ukoncene_intenzity_zdroje’ vidno, ze aspon rozne zdroje ako listove elementy intenzit na projektoch ma @Ernest_Walzel uz teraz pekne spracovane ako jednotlive instancie v tychto tabulkach.
Verim ze obdobne by sa dalo riesit aj projekty ci ZoP v roznych endpointoch (ano je to kus prace), ktore ako consumer dat v SQL nasledne potrebujem pre projekty pracne Union-ovat a pre ZoP zase Case-ovat.

Iste, normalizacia nemusi byt nutne sucastou samotneho zberu dat, ale velmi sa hodi pre ich dalsie spracovanie. V tejto situacii by mozno stalo za to zadefinovat nad aktualnymi datami aspon akesi normalizovane Views nad ktorymi by sa nasledne dalo jednoduchsie selectovat (aby napr. tie uniony nemuseli byt rozkopirovane v mnozstve podobnych selectov). Ak by s takymito Views vedel Metabase pracovat ako s beznymi tabulkami, urcite by to zjednodusilo aj pracu v jeho vyklikavacej casti.

Nasledne by to mohlo zjednodusit aj zatial chybajucu dokumentaciu k tejto scheme v ramci https://ekosystem.slovensko.digital/otvorene-data kedze v aktualnom mnozstve tabuliek nie je vobec jednoduche sa zorientovat.
Moj ‘normalizovany’ pohlad napr. len vo vyseku struktury pre cerpanie na projektoch redukuje 24 vasich tabuliek (u mna itms_typ) na 6:

2 Likes

Mozno sa ti bude hodit toto - http://www.metabase.com/blog/Metabase-0.25 prave som upgradol verziu Metabase u nas a saved queries by ti mohli toto trosku riesit.

Co sa tyka normalizacie - @Ernest_Walzel alebo @martin.kovacik mozno povie viac, ale mam pocit, ze sa tie endpointy v niecom lisia, preto sa nenormalizovali.

2 Likes

Ak sa bavime o ZOPkach tak tie 3 endpointy sa lisia datovych strukturach ktore sa vracaju (vid dokumentacia). Interne, data pre kazdy z endpoitov berieme z inych tabuliek. IDcko a KOD su ale jedinecne napriec tymito 3ma endpointami.

2 Likes

Vyzeralo to nadejne, avsak zatial som nasla tie ‘Saved queries’ spristupnene len vo vyklikavacej casti - vramci dalsich sql queries ich zial pouzit neviem.
Vo vyklikavacej casti su ‘Saved queries’ radene podla Collections - tak by som si tie moje queries rada upratala, len mi na to asi chybaju prava (ked sa pokusam presunut question do collection tak mi pod ‘Which collection should this be in?’ ponuka ‘NONE’).

Ano to som si uz vsimla a vdaka tomu som si to uz v mojich selectoch znormalizovala do jedneho uceleneho pohladu na vsetky ZoP so vsetkymi informaciami pospajanymi z vasich (ak dobre ratam) 17 tabuliek, vid moja schema tu OpenData Eurofondy ITMS2014+ - #194 by balgava

Akonahle takyto select nasledne pouzijem v inom selecte, straca sa v nom prehladnost a musim ho nasledne udrziavat na oboch miestach. Preto ma laka pomoct si s Views.
Aj so ZoP aj s Projektami sa uz da pracovat aj bez normalizacie na strane zberu, len by to chcelo doladit najdene nezrovnalosti v datach a doplnit chybajuce casti struktur s ich datami.

Pouzivanie saved queries v ramci SQL moze dostat priorioritu na zaklade zhody tu:

Vid blog:

1 Like

to su ake neztrovnalosti a ake chybajuce struktury?