Heroku-style nasadzovanie a sluzby

State-of-art nasadzovania a sluzieb je v komercnom svete www.heroku.com.

V spojenie so sluzbami https://elements.heroku.com/ je to vynikajuca ukazka toho ako by mohol takyto system existovat. Potrebujes open data sluzbu? Klik. Potrebujes databazu klik. Nejake sluzby by mohli byt default, prierezove, tak ako moduly UPVS dnes.

Zaroven by mohli do takejto “chranenej infrastruktury” nasadzovat riesenia aj tretie strany cim by vznikal tlak na konkurecne riesenia a kvalitu.

1 Like

na aky konkretny usecase v state si to predstavujes?

Prva vec co ti to riesi je strasne prekomplikovana a nestandardizovana integracia, ktora funguje dnes. Keby sa to robili v takomto prostredi, tak uz len tam sa usetri. Testovanie bude jednoduchsie, atd.

Dalsia vec je, ze takto sa daju stavat pluginy/platformy, ktore budu vyuzivat ine aplikacie. Paradoxne dobry priklad su moduly z UPVS. Je tam napriklad sluzba na zarucene dorucovanie, co by napriklad uplne odstranilo sluzbu dorucovania do vlastnych ruk postou a nahradila ju el. ekvivalentom.

Stat ma sancu usetrit prave na takychto prierezovych sluzbach/platformach, aby si to kazdy rezort/urad nerobil po svojom za nase peniaze.

Druha vec je spristupnenie tych sluzieb tretim stranam a tam to zacina byt naozaj zaujimave. Predstav si, ze spravis (trebars platenu) alternativnu pre schranky na slovensko.sk alebo mobilnu appku atd atd. Toto otvara ekosystem na dalsie pouzitie a stat nemusi velmi vobec pohnut prstom.

4 Likes

PaaS a SaaS uz dlho vysvetlujem v ramci statnej spravy. Zial naraza to na rezortizmus a na zly koncepte budovania statneho cloudu kde najskor pocitaju len z IaaS. To znamena najrv tam navezu servery a az potom zacnu vobec zistovat co na tom bezi :frowning:

Dalsi problem je dobrovolnost uradov pre migraciu existujucich sluzieb do cloudu. Nastastie pre OPII to ma byt mandatory - no uvidime.

To dava uplne zmysel, asi by bolo dobre spravit repository kde by sa pospisoval vsetok takto nakupeny hardware. Spravit nejaku konsolidaciu by mohlo znacne pomoct a mohol by to byt prvy krok. Heroku style ako vravis … o tom si necham chvilu snivat :smile:

Neviem či máte bližšie informácie ako to funguje na Slovensku.

Ak sa v softvére šuchne čo len jedno Euro, tak Ministerstvo Financií robí nátlak aby bol softvér nasadený v Datacentre, kde je aj Štátna pokladňa a pod. Na Datacentrum sa napojené overené firmy, ktoré spravujú Datacentrum a predávajú tam hardvér.

Hardvér je vždy značne nadsadený a navyše je v troch kópiách (Datacentrum, Záloha v Datacentre, Záloha v nejakej dedine pre prípad fyzického zničenia Datacentra). A jedná sa o pekne predražené počítače.

Správa Datacentra je tiež pekne nadsadená. Služby sú často duplicitné - napríklad pre overenie prístupu tam je nainštalovaný aj Netscaler aj F5. Raz sme využívali komunikáciu s inou službou v Datacentre a zistili sme, že počas prenosu dát v rámci Datacentra, boli dáta 4x zašifrované a potom rozšifrované.

Ale Heroku je dobrý nápad - určite sa nájde firma, ktorá to za miliardu dá…

2 Likes

Dik za info, aj napriek tomu si myslim, ze to je dobry napad co tu pisal @jsuchal a preto to skusime nejako davat dokopy. Security expertov slovensko vychovalo uz vela, a preto 4x sem alebo 4x tam nemyslim, ze bude problem.

Iste - pri dobrej voli by sa dalo usetrit 50-80% nakladov na HW.

Pri jednotnom nasadzovani - nieco ako Heroku - by kazdy IS dostal svoj virtualny priestor. Novy HW by sa kupoval iba keby to bolo potrebne. V sucasnoti je uz mozne aj dynamicky zvacsovat kapacity.

Este lepsie by bolo riesenia ako ma AWS, kde su vlastne k dispozii urcite typy databaz a softvery pouzivaju iba tieto typy databaz.

Taketo nieco by mal byt ten novy vladny cloud

IMO potrebujeme pozerať do low-level designu cloud infraštruktúry. Aby sme pilotom získali 100% garanciu online krájania/škálovania (všetkych vrstiev - SAN, NAS, LAN, WAN, OS, APP ako Thin) bez straty výkonu. Čiže z práve dostatočnou kapacitnou rezervou (ani menej, ani viac = tradeoff) na ich online rozširovanie.

Urcite by bolo super cool, keby vladny cloud dokazal poskytovat najmodernejsie nasadzovanie appiek, ten vyvoj ide velmi rychlo dopredu. Ale nie je este Heroku prilis mlada a riskantna technologia na Enterprise robustne systemy? Napriklad use case zaruceneho dorucovania potrebuje zaruceny podpis, a podpis zas potrebuje integraciu so systemami pre statom zarucene identity obcanov a podnikatelov. Aj tie enterprise use cases su este take opatrne https://www.heroku.com/customers/citrix

Tiez rozumiem tomu spravne, ze statny CRM system musi byt cez salesforce, aby fungovala datova integracia?
https://www.heroku.com/connect

Mate niekto skusenosti s nasadzovanim niecoho zlozitejsieho cez Docker Docker?

1 Like
  1. Heroku nie je technologia. Je to firma. Dokonca heroku ako take bezi na AWS. Pointa tohto prispevku je v tom, takto by v idealnom pripade malo vyzerat to co volate vladny cloud. Podla mna je to skor vladne AWS. :slight_smile:
  2. “CRM” - toto je komplet mimo. Salesforce kupil Heroku. Preto tam ma “nativnu” integraciu. To je cele.
  3. Toto forum bezi cez docker, nie je komplikovane. Ono to je vlastne cela pointa, aby komplikovane kontainery s vela zavislostami sa dali lahsie nasadzovat. My to vo firme pouzivame (limitovane) a su tam nejake zadrhely, ale inak je to uz production-ready vec. Komercia sa hybe smerom k takymto veciam. http://radar.oreilly.com/2015/10/swarm-v-fleet-v-kubernetes-v-mesos.html
  1. “Heroku is a cloud platform based on a managed container system, with integrated data services and a powerful ecosystem, for deploying and running modern apps.” Takze je to predsa cloudova platforma, a tym padom technologia od Heroku na predaj ako aPaaS, ci?. Takze teda navrhujes, ze si take nieco ma stat spravit od piky sam, alebo si to ma kupit?
  2. No a kedze som cakala, ze davate napady, co si ma stat kupit, samozrejme, ak su firmy to ochotne nasadit aj do vladnych cloudov, tak potom cakam nativnu integraciu co najviac uzitocnych veci, a nie ucelovy Salesforce. Pretoze prave pre riesenie proklientsky budovanych sluzieb bude stat potrebovat velmi moderny CRM system.

Ty si pisal, ze vdaka Heroku sa poriesi komplikovana integracia. Ale tak teraz chapem, ze vdaka konceptu, ako ma Heroku?
3. Tak tie zadrhely by bolo potom super vediet, ak budete odporucat nieco takto pokrokove, lebo mnohe eGov systemy su o moc komplexnejsie ako forum. Tak aby bolo jasne, na ake systemy je mozne nieco tak fresh vobec pouzit.

Skusim este raz odznova. Ale priznam sa, ze mi dochadzaju nervy. Pointa tohto celeho topicu je v tom, ze nasadzovanie by malo byt lahke ako na Heroku. git push heroku master a vybavene. Druha pointa tohto celeho topicu je v tom, ze heroku je otvoreny ekosystem. Mas tam zakladne sluzby ako logovanie, databazy a milion dalsich third-party sluzieb, ktore vies rozbehat par klikmi. V prostredi “govcloudu” (ked to tak chceme volat) by to znamenalo to iste. Chces robit s eid? Klik. Chces Oracle db. Klik. Chces vyskalovat zataz. Klik. Chces agendovy system? Tu je 10 moznosti. Akonahle do toho zacnes tahat standardizovane API, tak otvaras priestor aj pre konkurenciu.

Toto nie je tema o tom co ma stat kupit. Toto je tema o tom ako by to malo fungovat, lebo komercia to tak robi uz roky. A ked sme pri tom, neviem o tom, ze Heroku sa da kupit na vlastny cloud.

K otazkam:

1 - 2: vid hore

“integracia” - sorry moja chyba. Pisal som v rychlosti. Heroku ma s riesenim integracie pramalo (a podla mna to neni bug ale feature), tuto som chcel pisat o nasadzovani a best-practices typu http://12factor.net/

3: Tie zadrhely su male technikality, nic zasadne. A o tom ci mnohe egov systemy by mali byt komplikovanejsie ako toto forum som ochotny sa hadat do krvi :smile:

Dost skoro ti Jano dochadzaju nervy ak chces diskutovat. Mrzi ma, ze casto reagujes povysenecky a arogantne, co podla mna dobrej diskusii skodi.

Tu je odpoved ze ano, mali by. eGov riesi verejnu spravu, co je jeden z najkomplexnejsich systemov, ktory musi reagovat na poziadavky milionov obcanov a riesi v principe celu krajinu (je to radovo zlozitejsie ako bankovy sytem, aleobo telco system). Ked sa hovori o jednoduchych sluzbach, to neznamena, ze na pozadi budu jednoduche systemy, prave naopak, predstav si modernu verejnu spravu ako tablet, na pouzivanie super jednoducha a intuitivna, az tak, ze ju vie ovladat male dieta, ale vo vnutri ide o velmi komplikovany mechanizmus. Ak to nie je doteraz zrejme, caka vas este velmi dlha cesta.

1 - 2 Nerozumiem, ze ti dochadzaju nervy, ked prave aj tou tvojou chybou o rieseni integracie si tejto teme daval iny rozmer. Dik moc za vysvetlenie, teraz je to uz uplne jasne. Ano, to uplne suhlasim, a takto sa to planuje. Navyse by vsak bolo optimalne mat priamo v PaaS aj integracnu platformu na centralne registre a komponenty. Akurat treba ratat s tym, ze uz zial nezaciname na zelenej luke. Len potom nerozumiem uzitocnosti tejto temy, ked kazdy sa zhodne, ze toto je novy trend a takto to chceme po novom, ale nikto este nevie, ako a na akych technologiach to vybudovat pre stat. Ja som si myslela, ze vystupom pre MF maju byt konkretne podklady pre zadania, nie polemizovanie, ako by to malo fungovat, keby stat bol cool, trendy a lean firma, co nie je, alebo keby existovali neexistujuce technologie. Ale tak mozeme si dat za ciel hoc vybudovat aj vlastne slovenske PaaS, ak si trufame. Paci sa mi, ze tymto zaciname sutazit na skoro rovnakej startovacej ciare s UK, takze sa dostavame do uplne inej ligy. To video z britskej GDS je total cool a oni vlastne robia pre UK research, ktoru technologiu pouzit.

Vidim vsak zmysel v best practices pre nasadzovanie, z nich sa potom mozu urobit napriklad poziadavky na dodavatelov, alebo metodicke pokyny ci smernice MF.

3 To, ze eGov systemy su zlozitejsie, ako toto forum, je zial kruta realita, kedze verejna sprava je jeden z najzlozitejsie fungujucich “podnikov” s najvacsou mierou zodpovednosti. Vyzva je, robit tie systemy tak, aby ta komplexita bola skryta vo vnutri inteligentnych backendov, a na front-ende boli co najviac user-friendly, ako toto forum. Stale opakujem, ze v NKIVS sa teraz neriesia len sluzby obcanom, ale aj vnutorne systemy pre zamestnancov statu.

Dovolim si sa zapojit, napriek tomu, ze sa necitim ako ostrielany software engineer.

Ja som si myslela, ze vystupom pre MF maju byt konkretne podklady pre zadania, nie polemizovanie, ako by to malo fungovat, keby stat bol cool, trendy a lean firma, co nie je, alebo keby existovali neexistujuce technologie.

Tu nejde o to, ci to bude cool, skor ide o to, ako to robit efektivne. Pristup “je to zlozite a preto sa to neda robit efektivne” je cesta do pekla a prave preto dnes su systemy v statnej sprave tam, kde su.

Vidim vsak zmysel v best practices pre nasadzovanie, z nich sa potom mozu urobit napriklad poziadavky na dodavatelov, alebo metodicke pokyny ci smernice MF.

Nebolo by rozumnejsie urobit nieco ako “katalog sluzieb pre PaaS”, rovnaky, ako existuje pre IaaS a nadiktovat dodavatelom, ze vsetko co nasadia musi zahrnat integracne testy, ktore musia zbehnut pri kazdom deploymente novej verzie? Potom sa da lahko udrzat konzistentny interface voci zvysku vesmiru.
Zvykne sa tomu nadavat continuous integration.

3 To, ze eGov systemy su zlozitejsie, ako toto forum, je zial kruta realita, kedze verejna sprava je jeden z najzlozitejsie fungujucich “podnikov” s najvacsou mierou zodpovednosti. Vyzva je, robit tie systemy tak, aby ta komplexita bola skryta vo vnutri inteligentnych backendov, a na front-ende boli co najviac user-friendly, ako toto forum. Stale opakujem, ze v NKIVS sa teraz neriesia len sluzby obcanom, ale aj vnutorne systemy pre zamestnancov statu.

Je zlozita z 2 dovodov

  1. zakonodarcovia ohybaju legislativu tak, aby bola vynimka pomaly na kazdeho obcana, toto by mohlo napriklad zanalyzovat IFP, ak to este nerobili, ze ci nas vsetky tie vynimky, a ulohy pre matfyzakov v zakonoch nestoja v implementacii do praxe viac, nez v konecnom dosledku prinesu do statnej kasy. Od brucha strelim, ze sa to bude hybat niekde okolo break-even a ako vecny pesimista dodam, ze skor to bude v strate.

  2. je to dobra vyhovorka, ked chce niekto minut viac penazi a zabetonovat sa v projekte, ktory statu dodava

Okrem toho nesuhlasim, treba tu komplexitu v maximalnej moznej miere eliminovat, ked sa bude “schovavat” niekde v implementacii, tak sa v zivote nikam nepohneme a o 5 rokov sa budema bavit o tom, ze sa minuli 4 miliardy eur, stoji to na udrzbe 10x tolko, ako dnes a stale to je malo pouzitelne.

V sucasnosti je jedinou skutocnou vyzvou tie systemy radikalne zjednodusit a urobit ich user friendly hlavne pre vyvojarov, nie len pre obcana. Lebo zmenit interface je ovela jednoduchsie a lacnejsie, nez refactorovat spagety.

1 Like

Kde vravim, ze sa to neda robit efektivne? Praveze chcem mat konkretne zadanie, ako to robit efektivne. Len pisem, ze tym, ze stat nie je trendy a lean firma, hoci moze byt aj to ultimate goal, tak nestaci len ukazat, ze aha, takto to funguje v top progresivnej firme.

Dalej jasne, musia byt katalogy XaaS, ale presny deployment a implementaciu sluzieb treba navrhnut az potom, co budu dane technologie. Kedze je ale cielom agilnejsia implementacia projektov, musi byt mozne velmi casto nasadzovat a testovat integrovane verzie systemov. Verim, ze prave PaaS, v ktorom bude dostupna aj integracna platforma, tomu pomoze.

Nie je zlozita len z dvoch dovodov - zial doba, v ktorej zijeme, je zlozita a dynamicka, a bude este zlozitejsia. Ak ma stat sluzit obcanom a podnikatelom, musi vediet rovnako zlozito fungovat vo svojom vnutri, aby mohol reagovat na vsetky vyzvy modernej doby. Teraz samozrejme nehovorim o zbytocnej zlozitosti, vyplyvajucej z neefektivity slovenskeho legislativneho ramca. Tu plne suhlasom s Estonskom, ze legislativny ramec treba uplne prekopavat - oni si dali ciel, ze kazdych 13 rokov. Tu tiez treba dohliadat na Europsku uniu, aby vo svojej agende Better Regulation bola tiez uspesna. Aj na Slovensku sa definovali uz aktivity v tomto smere, kedy sa metodikou posudzovania dopadov regulacii budu identifikovat a rusit tie neefektivne na zaklade objektivnych datovych analyz.
Teraz ale hovorim o tom, ze v obdobi Big Data, Machine Learning a AI rozhodne nesmerujeme k tomu, ze by funkcionalita systemov bola jednoducha. Alebo je implementovanie umelej inteligencie jednoduche? Just click a mam ju? Siri sa pouziva velmi jednoducho, ale za nou je komplikovany system. Stat sa musi tiez prezentovat jednoduchym a modernym rozhranim, automatizovanymi sluzbami vsade tam, kde je to mozne a uzitocne, ale vo vnutri musi imlementovat vsetky vychytavky modernej doby ako fraud detection, predikcie, algoritmy behavioralnej vedy na prednastavenie sluzieb, auditovanie pristupov, riadenie bezpecnosti, kontrolne mechanizmy a viacurovnove zalohy. Pomiesat alebo znehodnotit data pre vyber dani alebo vyplatu socialnych davok ma katastrofalny dopad. Pritom zacinajucim alebo experimentujucim firmam sa casto statne, ze im uplne uleti Billing.
Zoberme si ale konkretny priklad - take colne konanie. Len zakladny europsky predpis ma okolo 100 stran.
Pravne predpisy - colna oblast Ako sa da jednoducho implementovat system, kedy ani len poziadavky nan nemozno predpovedat, kedze Slovenska republika ma minimalny dopad na aktualizaciu predpisov v EU, a sytemy musia byt plne cezhranicne interoperabilne a implementovat vsetky europske opatrenia? Plus prave na hraniciach sa odohrava vela klucovych aktivit v oblasti odhalovania podvodov a odchytavania skodlivych produktov pre zdravie obyvatelstva, tak to uz si hadam vie kazdy predstavit, ake dopady ma kompetencia statu a jej IT systemy len v tejto jednej vypichnutej oblasti.

Tento topic driftuje totalne inam kam bola jeho povodna pointa a pisem to uz 4x. (A preto mi dochadzaju nervy.)

Dagmar tuto temu ocividne pochopila tak ze treba, aby stat kupil nejaku technologiu Heroku. (Napriek tomu, ze to tu nikde nie je napisane a ani naznakom spomenute) Nie. Preco navyse ako konzultanti povazujete za dolezite vysvetlovat vyvojarom, ktori sa vyvojom backendovych systemov zivia, ze to je komplikovanejsie ako to vyzera na frontende je pre mna absolutna zahada. Povedzme, ze sme sa nepochopili a ci uz to bolo vymenenim jedneho slovicka (integracia za nasadzovanie) alebo niecim inym je jedno. Nechajme tak.

Tento topic je o best practices v “nasadzovani a sluzbach” a ako priklad uvaza ako to riesi Heroku. Ci uz 12factor zapracuje MF do nejakej metodiky, NKVIS, vynosu alebo kamkolvek je uplne nepodstatny detail.

To co je zaujimave (a nedivim sa, ze tu nikto z vas ani naznakom nespomina), su dosledkym, ktore ma taketo vynutene nastavenie best-practices pre skalovatelnost aplikacii ako aj samotny vyvoj sw.