EKS - kritika zadani a zverejnovanie evidentnych "podvodov"


#22

OK, pusher je hotovy, vid: https://github.com/OpenDataSk/eks-od-datastore-pusher

Teba teda bude zaujimat najma: https://odn.opendata.sk/dataset/eks-zakazky-beta1/resource/04b0a323-853b-48a0-bff8-d4e8905119d5

Kedze EKS neposkytje timestampy typu “created” ci “modified” (a ani ja zatial nemam implementovane ich dopocitavanie) tak kludne stahuj cele. Resp. ak sa spolahneme, ze EKS “neprepisuje historiu”, tak sa mozes obmedzit na stahovanie udajov za posledny mesiac ci dva, priklad:

http://odn.opendata.sk/api/action/datastore_search_sql?sql=SELECT%20count(_id)%20FROM%20"04b0a323-853b-48a0-bff8-d4e8905119d5"%20WHERE%20"DatumVyhlasenia"%20>=%20now()%20-%20interval%20'1%20month'

V CSV ale vidno, ze minimalne za aktualny mesiac pribudaju riadky kadetade (nie len na koniec), vid napr.:

Co sa tyka ulietavania nul: Kedze v API boli obstarozne udaje, tak to by rozdiel tiez mohlo vysvetlit. Pozri prosim teda nove (beta) API a ak budu rozdiely aj tam, budem riesit.


#23

diky, trosku som sa s tym pohral
ak som spravne pochopil tak stara api bol experiment, preto tam je obrovsky rozdiel v pocte zaznamov
avsak nuly ulietavali hlavne v zmluvnych vztahoch, nie zakazkach
budes aj tu API prerabat?


#24

OK, tiez stary experiment (https://odn.opendata.sk/dataset/eks-zmluvne-vztahy/resource/1aa6f933-6bb1-416f-b5b5-4baf5b941afe) cize ak uz zmluvy vyzeraj OK, tak ako krok dva upravim obdobne aj zmluvne vztahy.

Dopln ujuca otazka: Planujes preluskavat uplne vsetky datasety alebo len tieto dva? (Ono ked uz spravim tie dva tak “vsetky” budu trivialne, ale tot aby som zas nerobil zbytocne.)


#25

Minimalne referencie by som rad tiez zaimplementoval a tie ponuky v dlhodobejsom horizonte tak isto
takze zbytocne to urcite nebude :slight_smile:


#26

OK, myslim, ze nateraz hotovo, vid:

Referencia: https://github.com/OpenDataSk/eks-od-datastore-pusher/issues/3

Ak by mi niekto poslal PR, ktory by ten pusher rozsiril aj o upsert-y do Ekosystem.Slovensko.Digital, tak to rad mergnem a deploynem na nas server (= prevadzka). Alternativne (ale menej rad, kedze volneho casu je malo), ak mi @jsuchal “da noty”, tak ten upsert do Ekosustm-u doplnim aj sam.


API na data z EKS
#27

Robim posledne pripravy pred nasadenim, ale vsimol som si ze url zakazky mi pravidelne na eks hodi chybu, stranka nenajdena.
Je tam nejake obmedzenie na nutnost byt prihlaseny na eks portal? Zabudol som totiz heslo, ich reset hesla nefunguje nejak po pracovnej dobe tak sa radsej spytam niekoho kto o tom vie viac :slight_smile:


#28

Neviem. Ale nutnost prihlasit sa je napr. ked chcem stiahnut “open data”, ergo teda scraper ( https://github.com/OpenDataSk/eks-od-harvestrer ) . Z prevadzky scrapra som si vsimol:

  1. Z casu na cas aktualizuju “obchodner podmienky”. Ked ich neodkliknem, ziadne “open data” nedostanem.
  2. Obcas (v noci) server EKS vracia chyby, ked spusim harvester cez den, “vsetko OK”.

Tvoje by ozno mohlo suvisiet s 2. Kolko dopytov a kedy robis?


#29

test bezal defaultne v noci ale medzi tym som zistil ze mi to robi akurat z dev systemu (dev virtualky)…len co som url skopiroval inam tak isla ok…nerozumiem ale v prod to funguje pekne :slight_smile:


#30

@hanecak chcem sa spytat ci je nejaky dovod preco niektore ICO su osekane o uvodne nuly? Napr ministerstvo hospodarstva
je na to nejaky rychly fix co by si vedel aplikovat, alebo si to mam radsej osetrit na svojej strane?
Diky :slight_smile:


#31

Ten najprimitivnejsi je, ze takto to zverenuje EKS. Aj ked rovno zo screeenshotu vidno, ze nie su konzistentny (raz paduju, raz nie).

Ked idem do sirky, tak to nevyzera byt porusenim definicie ICO (sudim podla https://sk.wikipedia.org/wiki/Identifikačné_číslo_organizácie ). (Ale, opat, EKS nie je konzistentne.)

A ked sa alibisticky alebo prakticky pozriem na schemu RPO v Ekosysteme.S.D, tak tam ICO maju ako ‘bigint’, t.j. tiez len cislo bez padingu nulami. (Ved ak je to “cislo”, tak nech to je cislo :slight_smile: )

Navrhujem nechat EKS extraktor byt len extraktorom (nie cisticom) a teda pridavaj alebo uberaj nuly na u seba, podla svojich potrieb.


#32

dik za vysvetlenie, som nevedel ze ci to osekavas u seba, alebo ci to tak uz ide od zdroja :slight_smile: tak som si pridal jeden if aby sa to lahsie parovalo, kedze nemozem prejst na bigint lebo vo vestniku su aj ICO zo zahranicia, ktore obsahuju znaky tak nech sa mi to nebije