otazka znie ci je nutne robit textovu analyzu a kategorizaciu cez AI a komplikovat to (tymto z casti nahradis uradnikov) alebo im na zaciatok len ulahcit robotu, nechat na nich uz analyzu a kategorizaciu metodik/rozhodnuti a len im ponuknut nastroj, ktory im ulahci samotne vyhladavnie v tej horde dokumentov
toto by si mal uvo ujasnit, co chcu
myslim ze toto je zle postavena otazka. Co vyhladavas ? V skutocnosti hladas precedensy rozhodnutia aby si rozhodol rovnako. Ale to vyhladavanie samo nevyriesi.
…no kym nie je jasna definicia relevantneho dokumentu a proces jeho identifikacie, tak tu zbytocne strielame…
…kazdy to chape inak…od dummy vyhladavania v nejakych metadatach, tagoch dokumentu, cez hladanie vybranych slov v obsahu dokumentu az po sofistikovane vyhladavania a porovnavania textov a kontextu dokumentov…inak ci toto nie je tema na projekt v ramci tych dopytovo orientovanych vyziev 
@pulsar ak mas zaujem, aby sa to riesilo konstruktivne, tak urobte na UVO workshop pre zainteresovanych ludi pri stole s konkretnymi prikladmi a pri tabuli, na ktoru sa da kreslit a s par relevatnymi ludmi za UVO, co s tym casto pracuju
p.s. mari sa mi, ze SAV s nejakou IT firmou robila nieco pre sudy, ale bolo to skor o prepisovani hlasu do textu…ale museli riesit par veci, ktore sa vyskytnu aj tu
relevatny dokument : výstupy úradu (rôzne rozhodnutia, metodické usmernenia), ale aj rozhodnutia súdov (SR alebo EÚ), odborné články, výklady Európskej komisie k VO, prezentácie, české a anglické komentáre k európskym smerniciam o VO, atď, atď., jednoducho všetko čo som za roky k verejnému obstarávaniu našiel. Databáza má veľkosť niekoľko GB
Metadata su dost obmedzene ( datum vytvorenia, zdroj a mozno este par podobnych).
Hladanie je teda v roznych jazykovych verziach.
Pre dobre nasadenie sofistikovaneho resienia je potrebne ratat aj s pomerne velkou ludskpou pracou, bude potrebne vytvorit ontologie pre VO, tezaury idealne viacjazycne atd.
Otazne je ako to ma podporu v UVO, ci je mozne uvazovat aj nad zmneou legislativy
myslim ze ides s kanonom na vrabce
To co ty spominas je vyborny napad, avsak komplikovany velky projekt, ktory neviem ci urad zaplati. Po rokovaniach na IT oddeleni UVO som pochopil ze ich rozpocty su velmi, velmi obmedzene, t.j. na takyto projekt by musela prist predpokladam poziadavka zhora, aby to aj niekto iny zatiahol ako samotny urad.
Zatial co mala uprava/vytvorenie vyhladavania dokaze usetrit hodiny uradnikom a spravit ich efektivnejsimi
hodnota za peniaze
1 Like
tak jednoduche riesenie aby sa dalo bez namahy nasadit nie je Ale zazil som co znamena robit reserse k VO. Dolezitym zdrojom su napriklad rozhpodnutia europskych sudov a co myslis kolko uradnikov bude schopnych aktivne prehladavat taketo zdroje ?.
Ale dobre, ak teda to musi byt zadarmo a bez prace, tak co tak rovno pouzit google ? Nahrat do vlastnej kniznice a pouzit goole search ?
velmi rad zadarmo zapracujem dane data do portalu kde uz mam verejne obstaravania, akurat by som sa rad vyhol scrapovaniu webu UVO pre vsetky tie dokumenty a ich OCRkovaniu ked to uz je urobene v nejakej DB ak sa podari, rovno to ako pridanu hodnotu mozem prepojit s existujucimi verejnymi obstaravaniami, kde ta metodika bola pouzita…ale to uz odbieham, netusim co v tych datach bude
1 Like
A sme tam kde sme boli. 
a este tie dalsie zdroje , sudy a EU
To je ešte väčšia utópia ako minule keď tu niekto chcel jednotný web pre všetky obce. To je logisticky nezvládnuteľné. Príliš veľa záujmov, nedostatočné kompetencie…
nie celkom, vsetky taketo texty prechadzaju cez legislativne odbory a tie uz dnes pracuju s legislativnymi navrhmi v slovlexe. Obmedzenie je trochu v tom ze slovlex umyselne komplikuje pisanie tak aby bolo v sulade s legislativnymi pravidlami a bolo spravne strukturovane. Ostatne materialy nie su takto viazane a je ovela jednoduchsie ich pisat vo worde ako v editore slovlexu. Ale z pohladu vysledku by pre uzivatelov bolo prinosne mat ich kvalitnejsie.
Kompetecne samozrejme obsah je nadalej v plnej zodpovednosti OVM, toto je skor legislativne technicka uprava. Ale rozumiem ze pre uradnika, ktory nie je pravnik je to dost komplikacia
Ale veď mne je jasné že niečo také by sa im zišlo. Ibaže je to nezorganizovatelne. Nie je jeden zastrešujúci orgán nad ovm, ktorý by im to dal príkazom, alebo ich to naučil. Jediné žeby ovm štátnej správy si vzal na starosť UV, a verejnú správu… ZMOS ? Aj tak ostanú VUbCky… A nejaké špeciálne ovm. Ale pre nich je v porovnaní s tým čo riešia toto taká banalita, že väčšina ani nepochopí načo prečo a začo…
ani judikatura nie je zavazna :), ale v pripade UVO je dolezitejsie aby tie rozhodutia boli konzistentne. A ked pride k zmene aby to bolo jasne najlepsie vopred. A na to nie je potrebne aby boli pravne zavazne ale aby boli preskumatelne. Ak teda je rozhodnutie odlisne ako predchadzajuce, tak je potrebne to zdovodnit. A to sa tyka aj kontrol a metodik.
Vyznamne rozhodnutia, ktore tvoria novy trend by mali byt zapracovane ako metodiky ( obdoba judikatov) a pristupne verejnosti hned.
na uvod by stacili ustredne organy, tie produkuju najviac. Verejna sprava je skutocne prilis velky problem vzhladom na mozne prinosy. Aj ked mozno specialny editor na VZN prepojeny na slovlex by pomohol.
…keby biznis vlastnik v tomto pripade, teda UVO a nie diskutujuci tu na platforme, jasnejsie povedalo, co vlastne chce, tak by sa im mozno aj dalo pomoct… 
1 Like
s tymto nesuhlasim!
metodiky, usmernenia su strukturovane, len namiesto nazvu § moze byt nazov bod, a potom odseky, jeden za druhym a uz toto staci na stukturovany dokument, ktory je lepsi ako tie horory v pdf, skene, rtf atd., ja tie usmernenia poznam, lebo s nimi robim, uz toto by uzivatelom pomohlo, aj uradnikom aj verejnosti
1 Like
len tak pre informaciu, aby sme vedeli o com sa bavime
-
metodiky, usmernenia, informacie, rozhodnutia su umiestnene vsade, nie je medzi nimi ziadny suvis
-
tu je priklad, ze nieco je v doc a nieco v pdf https://www.uvo.gov.sk/legislativametodika-dohlad/vykladove-stanoviska-uradu/prehlad-vseobecnych-informacii-57c.html, este su tam aj rtf, len ich neviem najst a nieco je priamo v stranke
-
okrem zakona a vyhlasok, kde su niektore odkazy na slov-lex a niektore nefunguju, ani jeden z tych dokumentov nie je pravne zavazny
-
ale maju pekny projekt z ESIF, ktory konci az v 12/2018 https://www.uvo.gov.sk/vdoc/1506/financovanie-mzdovych-vydavkov-opravnenych-ak-uvo-65.html mozno by to tam mohli pristrcit
preco by sa to nerobilo jednoducho, ked to ide zlozito, ze?
Z možného technického riešenia problému nenáročného na zdroje:
Existuje open source nástroj pre crawlovanie, indexáciu a vyhľadávanie proste všetko v jednom. Má v sebe OCR (tesseract), ktoré podporuje slovenčinu, dokáže extrahovať fulltexty a zaindexovať metadáta do indexu. Je možné nadefinovať boosty na jednotlivé fieldy (vďaka čomu je možné zoraďovať výsledky podľa rôznych parametrov). Je možné to využiť na autocomplete, podporuje text snippety a má to aj fazety. Treba to vyskúšať, či by to pasovalo, tu sú vypísané funkcie:
https://github.com/jaeksoft/opensearchserver/blob/master/src/doc/en/documentation/tutorials/functionalities.md
Ak tomu chýba slovenčina, treba zakomponovať toť:
K riešeniu, ktoré by extrahovalo informácie z textu môžte využiť regexpy v opensearch serveri a na základe týchto informácií by bolo možné výsledky zoraďovať. Ak by ste moc moc silno chceli AI tak vám môžem poskytnúť nástroj, niečo ako:
http://nlp.bednarik.top/ner/
Ktorý si viete natrénovať ručnou anotáciou textu a následne vám bude entity rozpoznávať v textoch sám a na základe nich si môžte zoraďovať.
1 Like
Ďakujem veľmi pekne za reakcie.
Pre upresnenie uvediem príklad:
Zamestnanec ÚVO potrebuje nájsť akýkoľvek výstup, ktorý sa týka „vylúčenia ponuky uchádzača doručovanej do P.O.BOXU z dôvodu jej neprevzatia verejným obstarávateľom v lehote na predkladanie ponúk“. Vo svojom počítači má do jedného priečinka stiahnutú komplexnú databázu materiálov k VO. Cez štandardné fulltextové prehľadávanie v danom priečinku, ktoré umožňuje Windows zadá kľúčové slová: vylúč ponuk uchádzač doručovan p.o.box lehot predkladan. Koncovky/prípony slov nedáva, pretože či je niekde uvedené „doručovanie“ alebo „doručovaním“ nie je podstatné. Windows po chvíli zamestnancovi generuje niekoľko desiatok dokumentov. Väčšina z nich však nie je pre neho relevantná, pretože sa tejto konkrétnej problematike vôbec nevenujú, keďže napr. spojenie „p.o.box“ sa bežne nachádza v adresách firiem a tak isto ostatné slová ako „doručovanie“, „ponuka“ obsahuje prakticky každý výstup týkajúci sa verejného obstarávania. Jednoducho Windows vyhľadá všetky dokumenty, ktoré na ktoromkoľvek mieste v akejkoľvek početnosti obsahujú zadané kľúčové slová.
Otázka: Existuje iný softvér (nielen fulltext v priečinkoch vo Windowse), ktorý by napr. výstupy, v ktorých sú predmetné kľúčové slová zastúpené vo väčšom počte (teda je väčšia šanca, že sa v nich daná téma rozoberá podrobnejšie) uviedol medzi prvými výsledkami vyhľadávania? Teda, existuje iný softvér ako štandardný fulltext vyhľadávania vo Windowse, ktorý by umožňoval kvalitnejšie vyhľadávanie v obsahu dokumentov?
Áno, je tu Google. Avšak nie všetky materiály, ktorými disponuje úrad sú verejne prístupné, napr. pri niektorých si nezverejňovanie vyhradila Európska komisia. Je možné použiť Google len na vyhľadávanie v určitej internej databáze úradu?
To či je alebo nie je určitý výstup/dokument relevantný, musíme nechať na konkrétneho zamestnanca ÚVO. Dôležité je, aby mal rýchlo k dispozícii podklady pre svoje rozhodnutie, ktoré sa určitou témou už podrobne zaoberali, bez ohľadu na to, či sú to podklady kvalitné alebo či boli aplikačnou praxou/legislatívou prekonané.
V prvom kroku by sme chceli riešiť interné vyhľadávanie iba pre zamestnancov úradu.
Počas diskusie ste otvorili veľa tém, do ktorých sa nechcem púšťať. Všetky kritiky na činnosť ÚVO sú známe a úplne legitímne. Máme záujem o vyriešenie konkrétnej technickej otázky, ktorá môže pomôcť zamestnancom v ich činnosti, a tým aj v zlepšení činnosti ÚVO.
Radi zorganizujeme aj workshop na danú tému.
2 Likes