OpenData Eurofondy ITMS2014+


#41

ak sa vsetko podari, tak v priebehu buduceho tyzdna by mala byt beta dostupna na testovanie…vela veci nie je z mojej strany dokoncenych (ako napr. biznis popis jednotlivych atributov), ale nejako to vyriesime…kludne aj osobnym stretkom


#42

OpenData_ITMS2014 .xmind (964.3 KB)

zdielam mindmapu, ktoru tvorim…ide o taky biznis pohlad na opendata ITMS2014+…mindmap je vytvorena v programe XMind…odporucam stiahnut program je zadara v zakladnej verzii…tuto zakladnu verziu mam aj ja a moznosti exportu do inych formatov su minimalne…html export nie je pekny a plne funkcny a pdf je pre platenu verziu…cize vopred dik za pochopenie, ze budete musiet pracovat s dalsim softom…ale inak sa ten XMind da celkom dobre vyuzit…cize tu je link http://www.xmind.net/

teraz k mindmape a ako ju citat:

  • ide o pracovnu verziu, cize mozu tam byt nepresnosti, preklepy, niektore objekty nie su este rozpracovane a pod.,
  • mindmapa je v XMind delena na viac tabov, kde 1. tab predstavuje celkovy koncept, ktore data a z akych oblasti sa chcu zverejnit a v akej logickej postupni v nadvaznosti na domenu a jej specifika a plus aj podla aktualneho stavu implementacie eurofondov v SR,
  • potom nasleduju jednotlive taby, kde v kazdom tabe je rozpracovany navrh datovej struktury konkretneho objektu ako napr. Operacne programy, vyzvy, ziadosti o NFP, projekty a pod.,
  • v ramci jednotlivych tabov a struktury udajov pre objekt sa pouzivaju cisla 1, 2, 3, …tieto cisla hovoria o priorite tasku…ak atributu nizsej urovne neobsahuju prioritu, ale nadradeny atribut prioritu obsaju, tak tato priorita plati aj pre podradene atributy,
  • cize z vyssie uvedeneho vyplyva, ze data v API budu postupne rozsirovane pre jednotlive objekty podla zaujmu…cielom je teraz ponuknut co najviac objektov so zakladnymi datami a potom ist hlbsie, ak bude zaujem,
  • kazdy objekt ma strukturu taku, ze sa popisuje struktura zoznamu objektov a potom struktura detailu konkretneho objektu,
  • vydefinovane su aj data, podla ktorych sa da zoznam filtrovat.

co ocakavam a preco to zdielam:

  • poprosim o feedback najma k datovej strukture, nakolko struktura vznika na zaklade nasho usudku a aj na zaklade poziadaviek, prosieb o data s ktorymi sa stretavame,
  • na zaklade datovej struktury budu definovane jednotlive sluzby/API,
  • poprosim o navrhy na doplnenie dat, ktore vam chybaju a su podla vas dolezite,
  • poprosim o navrhy zmeny priorit, ked povazujete za nutne,
  • poprosim o rozny iny feedback, navrhy a pod…
  • tieto data maju podla mna zaujimavu hodnotu a vypovedaci schopnost, ale o tom osobne :wink:

problematika eurofondov je pomerne zlozita a dobre ju pozna, len co s nou pracuje…preto nie je problem jednotlive atributy vysvetlit, priblizit, aby ste si vedeli predstavit, co sa pod nimi skryva a lepsie pochopili dokument…nakolko tuto aktivitu robime po veceroch, tak by bolo lepsie skocit na pivo a prebrat si otazky, vysvetlit si veci a pod., ako to tu riesit v xy komentoch

mindmapa bude priebezne, podla moznosti aktualizovana…plus mame rozrobene API…aktualne mame pokryte objekty ako OP, vyzvy, subjekty, ZoNFP, Projekty…pokracovat sa bude objektami VO, UD, ZoP…preto je dobre aj pozriet sa datovu strukturu, aby sme vedeli zmeny “pomerne” flexibilne zapracovavat…

vopred dik za konstruktivnu debatu


#43

Trochu som poscreenshotoval.

Koncept

OP

Subjekt

Vyzva

ZoNFP

Projekt

Uctovny doklad

Verejne obstaravanie


#44

Ahojte všetci, ktorí čítate … Peter_k navrhol stretko, vymenili sme si nejaký mail, dajme si k tomu pivo, niekedy po 17:30, pridávam doodle poll, zahlasujte, kedy môžete. Príďte, bude dobrá debata.

http://doodle.com/poll/bq2gzxk92hge42pu#table

@jsuchal @otopse @peter_k @PeterAFP


#45

myslim, ze viac nas nebude, ak sa este nepridaju @jsuchal a @PeterAFP @hanecak


#46

Na zaklade doodle to vyzera takto:

pivo a data, 28.9.2016, 17:30 hod., Nervosa


#47

rezervovany stol pre 6-8 ludi na 17:30 na meno peter…ja tam budem a kazdy ma spozna podla cerveho flaku na lici


#48

dik za stretko…ako som povedal osobne:

  • ak niekto bude mat otazky, tak sa kludne pytajte, cez mail, cez spravu tu alebo opat osobne,
  • za feedback k mindmape a struktre budem rad,
  • dalsi update celej aktivity bude komunikovany cez toto forum.

#49

maly update, aby som tu nebol za chuja…

  • mame uz hotovu 1. verziu API pre OpenData
  • aktualne mame problemy so zverejnenim API u nasho prevadzkovatela…nie technicke v ramic ITMS2014…za ITMS2014+ by sme to vedeli zverejnit z dna na den, ale “bezpecnostne”…take poziadavky, ze dovi…

@skdd som za, toto genericky poriesit…infrastrukturu, prostredie pre opendata, ich prevadzku a pod…lebo vymyslis a nakodis pomerne rychlo, pripravis, tesis sa a ztroskota to na tom, ze treba urobit take penetracne testy, onake, nemoze to bezat nad PROD DB, treba pouzivatelovi s read pristupom do DB vydefinovat, ku ktorym tabulka v DB ma operavneny pristup a pod…proste ziadna agilita…

aktualne si pripadam takto nejak http://4.bp.blogspot.com/-X2bRhTFrRLw/T0UcO2-ONoI/AAAAAAAAADc/55WjFcy4lQI/s1600/dark+souls+hydra.jpg


#50

a to je s prepacenim prave ta kokotina, ze prevadzkovatel sa ti stara do toho, na akej databaze to bezi. pre datove centrum ma byt aplikacia blackbox, oni sa maju starat len o jej prevadzku a spristupnenie zvonka.


#51

@hanecak, OpenDataNode (COMSODE -> data.gov.sk) vie s takýmto niečím helfnúť?

EDIT: myslel som to tak, že by to bežalo na externej infraštruktúre a pripájalo by sa to zvonku napr. cez nejaký read-only prístup na repliku databázy, čo by mohlo pentesterov ukľudniť.


#52

jj … ale to sa API zmeni na offline export, transport a load do ODN…
Na druhej strane je to skutocne asi bezpecnejsie, nakolko aj DB Selectom sa da zabit ostry transakcny system…


#53

@robert.kuchar ved zas to APIcko nerobime tak ze nam jeden request zhodi produkciu. Nema zmysel cokolvek dopredu optimalizovat a chodit zbytocne do repliky. Ak by bol problem vieme obmedzit pocet reqs/s per IP adresu per endpoint.


#54

OT: Napriklad take kvalitne PaaS (zmurk @zyx, @rho) maju rozbehanie repliky na jeden klik.

Vid http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_ReadRepl.html#USER_ReadRepl.Create alebo https://devcenter.heroku.com/articles/heroku-postgres-follower-databases#create-a-follower

Celkom fajn poziadavka na sluzbu vladneho cloudu.


#55

S dôverou sa obráť na Nases, presne táto infraštruktúra je už u nich vybudovaná.
Ak chceš, vieš si tam súbory aj DB endpointy manažovať kompletne samostatne, pozri integračné manuály k eDOV.


#56

Ak by uz poriesil read-only a repliku DB, tak vlastne ma hotove gro toho, co od neho chceli a ODN teda velmi nepotrebuje.

Na druhu stranu, NASES ma centralnu infrastrukturu, takze bezpecaci by mohli byt OK s tym, ze ITMS2014+ natlaci (push) udaje do data.gov.sk (t.j. ziaden connect “zvonka” do ITMS2014+). Strati sa tym sice zrejme pekne(*) API ktore uz @peter_k s kolegami spravili, ale zase lepsie take ako nic. Referenciu dal @Lubor .

(*) “pekne” = robili zrejme custom, t.j. asi na sposob RegisterUZ, pricom data.gov.sk ponuka len genericke REST+SQL API; cize nic proti generickemu, je fajn, ale nikdy nebude take fasa ako dobre urobene custom API :slight_smile:

Uz len otazka pomimo, ak je tu niekto bezpecak: Ak mam web, ktory je verejne dostupny a ktory lezie na produkcnu internu DB a mam Open Data API, ktore lezie na tu istu DB, tak z pohladu bezpecnosti, aky je rozdiel medzi webom a API? Ako z pohladu bezpecnosti inak riesim web a inak API?

Mne to totiz pripada tak, ze pretazit DB sa da aj cez web (nie len API) a neopravnene pisat do DB sa da ako cez zle urobene API, tak aj cez zle urobeny web (SQL injection, …). T.j. pri implementovani oboch by som mal pouzit tiez iste alebo velmi podobne opatrenia.


#57

Samozrejme nie je žiadny rozdiel medzi bezpečnostnými požiadavkami na prístup k internej DB pre web gui a pre verejné api. V skutočnosti aj web je iba istá forma verejného aplikačného rozhrania.


#58

argument postaveny na rovnakom principe sme pouzili aj my


#59

update aktualneho stavu:

  • dohodli sme sa s prevadzkovatelom a API bude
  • spustenie smerujeme k terminu 9.1.2017
  • od 9.1.2017 bude k dispozicii “docasne riesenie”, ktore z pohladu konzumenta dat ma iba take obmedzenie, ze nepozera priamo do produkcnej DB, ale do jej klonu a update dat v ramci klonu je raz za den a to v noci
  • docasne riesenie bude k dispozicii dovtedy, kym CSIRT nevykona penetracne testy “finalneho riesenia”. Final riesenie pre konzumenta bude znamenat, ze data budu priamo z produkcnej DB a teda budu realtime k dispozicii

V kratkej dobe tu zavesim aj updatejnuty xmind subor,


#60

Ktore vsetky data budu open? pojdete cez data.gov.sk? vedel by si zavesit podrobnejsie info?

Dik