Lepšia orientácia v metodikách UVO

1

Urad pre verejné obstarávanie nás poprosil, či im vieme pomocť s orientáciou v metodikách, ktoré vydáva.

Dnes vydáva kopec metodík, stanovísk a rozhodnutí v konaniach o námietkách, ktoré následne slúžia ako precedens pre ďalšie konania. Doteraz sa jedná o cca. 7000 metodických usmernení a cca. 7000 stanovísk.

Problémom je orientovanie sa v takej hromade výkladov, ktoré sa vydávajú ako .pdf. Oslovili nás, či by sme im nevedeli pomôcť s riešením, ktoré by dokázalo nad týmito .pdf podľa kľúčových slov extrahovať vety, v ktorých sa tieto slová nachádzajú (pretože kontext slova je dôležitý), aby sa následne vedeli “prehrabávať” už len v relevantných .pdf.

Vzorový scenár (len taký pri pive spísaný :slight_smile: ):

  • úradník sa potrebuje zorientovať v usmerneniach pre nákup ceruziek metódou XY
  • po zadaní kľúčového slova sa zobrazí prehľad usmernení, v ktorých sa slovo nachádza a zároveň bude vidieť kontextovo 1-2 vety okolo tohto slova
  • následne sa môže ozhodnúť, ktoré z pdf sú pre neho relevantné a čítať detail
1 Like
2

…otazne je ci su relevantne tie vyklady… :slight_smile:

7000 usmerneni a 7000 stanovisk:

  • za ake obdobie to je?
  • kolko z nich je uz v zmysle neaktualnych zneni zakona o VO?
  • su to len vyklady zakona o VO alebo aj v kontexte inych zakonov? nie som pravnik, uplne sa v tom nevyznam, ale viem, ze kontrola VO v ramci EU fondov je prisnejsia ako pri standardnych zakazkach?
  • ako sa menia usmernania v case? viem, ze sa stavalo, ze nieco pred par rokmi bolo vykladane ako ok a po par rokoch uz ten vyklad nebol ok a neviem, ci sa vydal novy vyklad alebo sa menil ten povodny?

…ako sa v tom orientovali doteraz? ako to prehladavali? lebo urcite si nasli nejaky kluc, od ktoreho sa da mozno odpichnut…

…plus nech identifikuju par vzorovych usmerneni a vykladov pre zorientovanie sa…je to na nejakej URL linke volne dostupne alebo to maju len u seba interne?..

3

Ja som nasiel toto https://www.uvo.gov.sk/legislativametodika-dohlad/metodicke-usmernenia-39f.html a je to vtipne lebo vyhladavanie tam je, len teda nie v dokumentoch.

Inak keby si spravili poriadnu sitemapu a neblokovali googlebota https://www.uvo.gov.sk/robots.txt tak by mozno stacilo aj http://lmgtfy.com/?q=metodicke+usmernenie+site%3Ahttps%3A%2F%2Fwww.uvo.gov.sk%2Fextdoc%2F

2 Likes
4

Inak na toto existuje takyto soft - ten enterprise search. https://swiftype.com/

5

Ahoj,

bezne sa to robi aj extrakciou textu ktory potom das do niecoho co vie
dobre robit fulltext search, Elasticsearch alebo Solr.

Samozrejme to predpoklada ze PDFka obsahuju text, nie bitmapy
screenshotov z wordu.

r.

6

neviem presne, ale bude to dlho :slight_smile:

veľa, ale kôli sporom potrebujú aj tú históriu, aby sa vedeli odkazovať na stav platný v danom momente v minulosti

priznam sa, že toto neviem ani ja

toto je práve ten problém, ktorý sa snažia adresovať. Ich rozhodovanie bolo často nekonzistentné, aj preto, že sa v historických výkladoch ťažko orientovalo a ťažko sa tak tvoril ucelený “názor UVO”. Viaceré si odporovali atď. Práve cez lepšiu orientáciu v predošlých rozhodnutiach by chceli pomôcť vyššej kvalite rozhodnutí v budúcnosti.

vraj si každý robil taký vlastný knowledge base, čo kde hladať. A tiež fungovali tak, že niekedy proste museli prečítať 20-30 pdf, kým sa zorientovali.

Tu by to malo byť všetko:

Na úvod som im navrhoval len toľko, že si nad vzorku 100 pdf niekto sadne a pohrá sa s tým (proof of concept). Oni sa radi pridajú a budú dávať spätnú väzbu.

7

Este lepsie by bolo si s ludmi co s tym robia sadnut a nech ukazu ako pracuju dnes. Z toho vypadnu nejake scenare.

1 Like
8

Jop - rozmýšľame rovnako :slight_smile: Práve som poslal mail zodpovednému človeku na UVO, aby sa sem pridal a nech skúsime niečo také dohodnúť. Mne to príde ako pomerne jednoduchá vec, ktorá im môže dosť uľahčiť život.

9

Ahojte,

vieme im tam ponúknuť náš Luigi’s Box - za krátky čas by sme vedeli zistiť, koľko ľudí tam čo hľadá a nakoľko sa s tým trápia (reformulácie, prekliky na zlé výsledky, …). A máme aj SaaS vyhľadávanie, ktoré vie autocompletovať a hľadať aj v súboroch a presne pasuje na tú ich základnú potrebu. Nech sa ozvú, určite sa dohodneme a pomôžeme.

1 Like
10

tie usmernenia vyzeraju byt v generovanych pdfkach, tak je mozne ze tie texty maju aj niekde v DB. Ak by tie data vedeli pustit von odpadne cast roboty stiahnut vsetky pdfka, prejst ich robotom a hodit do DB.
Nasledne fulltext podla prvotnej poziadavky (klucove slovo, okolo neho 1-2 vety a vyhodit v ktorom usmerneni sa nachadza)
Robim uz nejaky ten fulltext nad obsahom obstaravani, toto je trosku viac textu, ale malo by to byt zvladnutelne

11

Zdravím.

  1. metodika ÚVO nie je právne záväzná, rovnako ako rozhodnutia o námietkach, rozhodnutia rady, rozhodnutia z kontrol atď…, keďže jediným relevantným vykladačom práva u nás sú súdy (a neviem, či je to chvalabohu alebo žiaľbohu :slight_smile: ) Takže o precedensoch je ťažké hovoriť.
  2. kontextovo 2 vety moc nepomôžu, obvykle je potrebné prečítať (alebo aspoň preletieť) celý dokument, tie rozhodká sú robené často tak, že sa v nich nachádza niečo dôležité, potom nasledujú 4 strany totálnej vaty a potom zase nejaká dôležitá časť
  3. ak sa bavíme čisto o metodických usmerneniach, tak tá kvalita je strašidelná…na mieste ÚVO by som na minulosť zabudol a riešil súčasnosť a budúcnosť, minulosť je jeden veľký bordel.
    Ako pozerám, link na metodiku tu už je, takže rozhodnutia o námietkach (ktoré sú relevantnejšie) sú tu:
    https://www.uvo.gov.sk/legislativametodika-dohlad/namietky/prehlad-rozhodnuti-o-namietkach-582.html
    Rozhodnutia rady ÚVO tu:
    https://www.uvo.gov.sk/legislativametodika-dohlad/rada-uradu/odvolania/prehlad-rozhodnuti-podla-zakona-c-3432015-z-z-5c5.html
    Rozhodnutia o kontrole tuto:
    https://www.uvo.gov.sk/legislativametodika-dohlad/kontrola/prehlad-rozhodnuti/prehlad-rozhodnuti-v-konani-o-preskumanie-ukonov-kontrolovaneho-podla-zakona-c-3432015-z-z-5be.html

Vtipné je, že v každom z typov rozhodnutí sa vyhľadáva inak, štrukturované informácie sú iné…tá stránka je celkovo jeden veľmi zlý vtip, ale tak to je vedľajšie.

Takže záver: podľa mňa je to strata času, a to nielen tá appka, ale aj analýza ich minulých rozhodnutí.

1 Like
12

Chlapci prosim skuste mi odpovedat na takuto otazku a nasledovne navrh:

  1. hladam informacie na roznych statnych weboch a je to hroza, pdf, doc, scan

  2. nemaju system ako zapracovat zmeny k aktualnemu datumu, odkazy vselikade, jeden je na stare metodiky, ale inde su na nove metodiky a pod., cize nikdy neviem, co je najaktualnejsie a oni sami nevedia, kde vsade maju tie odkazy …

  3. je jedno ci to je UVO, FSSR, MVSR, MFSR, NBU atd.

  4. z toho co poznam, by som najlepsie hodnotila (aj ked je stale co zlepsovat) Slov-lex - z dvoch pohladov
    A. Legislativne normy - Zbierky zakonov, ich novely, casove rezy, rezortne predpisy atd
    B. Softver, na ktorom to bezi

  5. otazka: da sa ten softver vyuzit na tvorbu metodik?

  6. navrh: ak je to mozne, vytvorit jedno “miesto” na metodiky

  7. dobre premysliet a vytvorit strukturu v sulade s OVM, dalej metodiky, usmernenia, informacie atd. (teraz je tam zbierka zakonov, rezortne zbierky v nich rezortne opatrenia … )

  8. vsetky weby OVM by odkazovali na toto ich “miesto”

  9. uradnici by sa naucili pisat zmysluplne texty, strukturovat texty, casove verzie platne od … atd.

  10. uzivatel - aj uradnici aj verejnost by pouzivali rovnaky softver, zlepsilo by to vyuzitie aj Slov-lexu, aj tych ostanych metodik

  11. usetrilo by sa kopu penazi na vyvoj noveho softveru, zjednotil by sa system tvorby tychto dokumentov, ulahcilo by to ich vyhladavanie na webe, aj priamo v nich, tlac atd.

  12. netreba ani novy zakon ani zmenu zakonov :slight_smile:

Pavlina

13

A co takto? https://github.com/bundestag/gesetze :slight_smile:

14
  1. ciastocne ano. Ak by sa metodiky pisali podobne ako zakony, podla legislativnych pravidiel.
  2. Ano, to bol jeden z rozvojovych napadov, Slov lex ako centralne miesto na vsetky vyhlasky, metodiky a zavazne predpisy.
  3. Toto je ten slaby bod, chcelo by to podporit vzdelavanie uradnikov, aby vedeli spravne strukturovane pisat texty.
1 Like
15
  1. otazka: da sa ten softver vyuzit na tvorbu metodik?
  • aby sme si rozumeli metodiky nie su legislativnym dokumentov, ktory je pravne zavazny, preto by nemali byt zahrnute priamo v Slov-lexe, ale ten SW by sa dal pouzit (tak napad metodiky.gov.sk)
  • metodiky sa nemusia pisat podla legislativnych pravidiel, ale stacilo by aspon jednoducho strukturovany text, paradox je v tom, ze vo worde to aj tak robia, potom to “prehodia do pdf” alebo naskenuju
  • strukturovane texty pisu aj dnes, len nevedia ze to robia a potom sa postupne naucia zlepsovat svoje metodiky

Vzdelavanie uradnikov

  • uradnici sa chcu vzdelavat, len im urobia jedno skolenie a potom pridu domov a uz im nik nepomoze, lebo sa skoncil projekt a minuli sa peniaze :frowning: a este potom sa urobili zmeny
  • pisala som o tom Výnos o štandardoch - MPK
  • ked vieme identifikovat “slaby bod” tak je to super, lebo mozeme hladat riesenia :slight_smile:
16

Mozno by k metodikam nebolo odveci aby UVO upravilo svoj zoznam datasetov v excel subore, co je na data.gov.sk, lebo je tam tento link, ktory je nefunkcny
http://www.uvo.gov.sk/legislativametodika-dohlad/kontrola/priklady-dobrej-praxe/priklady-dobrej-praxe-58d.html

17

Dobrý deň,
som zamestnancom ÚVO. Ďakujem za reakcie. Chcel by som upresniť problém, ktorý na úrade máme.

V prvom štádiu by sme chceli zlepšiť relevantnosť vyhľadaných materiálov pre zamestnancov úradu. V súčasnosti si každý zamestnanec pomáha ako vie. Teda pokiaľ chce zistiť, či už určitá otázka týkajúce sa verejného obstarávania bola úradom alebo súdom riešená, tak sa často spolieha iba na vlastnú pamäť, na pamäť kolegov, má nejaké vlastné databázy, resp. zisťuje to čo sa dá vyhľadať na web stránke úradu. Takýto spôsob činnosti úradu je samozrejme neefektívny, a v podstate umožňujúci vedomé či nevedomé vydávanie nekonzistentných rozhodnutí úradu.

Tento “bordel” som sa pred nejakým časom pokúsil riešiť vlastnou databázou, ktorú prostredníctvom internej siete úradu zdieľam so všetkými zamestnancami (som právnik nie ITčkár). Táto databáza obsahuje nielen výstupy úradu (rôzne rozhodnutia, metodické usmernenia), ale aj rozhodnutia súdov (SR alebo EÚ), odborné články, výklady Európskej komisie k VO, prezentácie, české a anglické komentáre k európskym smerniciam o VO, atď, atď., jednoducho všetko čo som za roky k verejnému obstarávaniu našiel. Databáza má veľkosť niekoľko GB a v pravidelných intervaloch ju updatujem o aktuálne výstupy úradu a ďalšie materiály.

Túto databázu si každý zamestnanec môže stiahnuť zo siete do svojho počítača a prostredníctvom štandardného nástroja „Windows Search“ vyhľadávať podľa kľúčových slov v obsahu daného priečinku/databázy. Všetky PDF súbory sú riadne zocerkované. Samozrejme ešte predtým je potrebné nastaviť indexovanie dokumentov vo Windowse, tak aby vyhľadával fulltextovo v obsahu dokumentov a nielen v ich názve.

Tento systém mne osobne dosť pomáha. Väčšina zamestnancov to však nevyužíva, a to z nasledujúcich dôvodov:

• Na úrade používame OS Windows 7, a na vyhľadávanie v PDF dokumentoch je pri tomto OS potrebné nainštalovať iFilter, viac o tomto probléme na: http://www.documentsnap.com/how-to-fix-pdf-search-in-windows-7-64-bit/ . To si vyžaduje zásah nášho odboru IT, pretože akékoľvek sťahovanie softvéru máme blokované.

• Ak už zamestnanec prekoná túto záležitosť, tak je často sklamaný relevantnosťou vyhľadaných výstupov. Windows Search síce vyhľadáva fulltextovo, avšak (pokiaľ viem) nedokáže vyhodnotiť relevantnosť vyhľadaných výstupov. Teda pokiaľ nie sú kľúčové slová dostatočne špecifické, Windows Search vyhľadáva množstvo výstupov, v ktorých sa napr. len okrajovo spomínajú dané kľúčové slová, ale daný materiál určitú tému v podstate nerieši.

Otázka teda znie:

Existuje softvér/nástroj, ktorý funguje lepšie ako Windows Search, a ktorý by dokázal vyhodnocovať aj relevantnosť vyhľadávaných výstupov? Teda napr. vyhľadané výstupy by zoraďoval podľa počtu výskytu vyhľadávaných kľúčových slov.

Ďakujem veľmi pekne za Váš čas, ak máte akékoľvek otázky dajte mi prosím vedieť.

3 Likes
18

…problemy, ktore vidim:

  1. zadefinovanie pravidel ako vyhodnocovat relevantnost, co vo vasom ponimani predstavuje relevantny dokument, co ma vacsiu vahu a co nie…viete definovat sadu takychto pravidiel?

  2. co si predstavujete pod fulltext searchom? je potrebne, aby search respektoval sklonovanie a pod.?

1 Like
19

ak som spravne pochopil z prispevkov vyssie tak jedina vaha je pocetnost hladaneho vyrazu v dokumente

sklonovanie ako take by mozno nemusel byt problem

20

problem je zlozitejsi, aspon tak to vnimam ja. Da sa pouzit lepsie vyhladavanie napriklad elastic search so slovenskym lexiklanym modulom ale to je len prvy krok.
Toto je skor uloha pre AI, textovu analyzu a spravnu kategorizaciu. Ale dost pochybujem ze je to tak trivialne aby sa dal pouzit rovno hotovy sw,
Druha rovina je procesna, rozhodnutia UVO dnes nie su prilis dobre predikovatelne. Uz pomerne dlho je jasne ze UVO sa zacina podobnat na sudy ale nema implementovane procesy podobne a su tam casto porusovane principy spravodliveho sudu. A to zlepsene vyhladavanie nezmeni.