Heroku-style nasadzovanie a sluzby

  1. Heroku nie je technologia. Je to firma. Dokonca heroku ako take bezi na AWS. Pointa tohto prispevku je v tom, takto by v idealnom pripade malo vyzerat to co volate vladny cloud. Podla mna je to skor vladne AWS. :slight_smile:
  2. “CRM” - toto je komplet mimo. Salesforce kupil Heroku. Preto tam ma “nativnu” integraciu. To je cele.
  3. Toto forum bezi cez docker, nie je komplikovane. Ono to je vlastne cela pointa, aby komplikovane kontainery s vela zavislostami sa dali lahsie nasadzovat. My to vo firme pouzivame (limitovane) a su tam nejake zadrhely, ale inak je to uz production-ready vec. Komercia sa hybe smerom k takymto veciam. http://radar.oreilly.com/2015/10/swarm-v-fleet-v-kubernetes-v-mesos.html
  1. “Heroku is a cloud platform based on a managed container system, with integrated data services and a powerful ecosystem, for deploying and running modern apps.” Takze je to predsa cloudova platforma, a tym padom technologia od Heroku na predaj ako aPaaS, ci?. Takze teda navrhujes, ze si take nieco ma stat spravit od piky sam, alebo si to ma kupit?
  2. No a kedze som cakala, ze davate napady, co si ma stat kupit, samozrejme, ak su firmy to ochotne nasadit aj do vladnych cloudov, tak potom cakam nativnu integraciu co najviac uzitocnych veci, a nie ucelovy Salesforce. Pretoze prave pre riesenie proklientsky budovanych sluzieb bude stat potrebovat velmi moderny CRM system.

Ty si pisal, ze vdaka Heroku sa poriesi komplikovana integracia. Ale tak teraz chapem, ze vdaka konceptu, ako ma Heroku?
3. Tak tie zadrhely by bolo potom super vediet, ak budete odporucat nieco takto pokrokove, lebo mnohe eGov systemy su o moc komplexnejsie ako forum. Tak aby bolo jasne, na ake systemy je mozne nieco tak fresh vobec pouzit.

Skusim este raz odznova. Ale priznam sa, ze mi dochadzaju nervy. Pointa tohto celeho topicu je v tom, ze nasadzovanie by malo byt lahke ako na Heroku. git push heroku master a vybavene. Druha pointa tohto celeho topicu je v tom, ze heroku je otvoreny ekosystem. Mas tam zakladne sluzby ako logovanie, databazy a milion dalsich third-party sluzieb, ktore vies rozbehat par klikmi. V prostredi “govcloudu” (ked to tak chceme volat) by to znamenalo to iste. Chces robit s eid? Klik. Chces Oracle db. Klik. Chces vyskalovat zataz. Klik. Chces agendovy system? Tu je 10 moznosti. Akonahle do toho zacnes tahat standardizovane API, tak otvaras priestor aj pre konkurenciu.

Toto nie je tema o tom co ma stat kupit. Toto je tema o tom ako by to malo fungovat, lebo komercia to tak robi uz roky. A ked sme pri tom, neviem o tom, ze Heroku sa da kupit na vlastny cloud.

K otazkam:

1 - 2: vid hore

“integracia” - sorry moja chyba. Pisal som v rychlosti. Heroku ma s riesenim integracie pramalo (a podla mna to neni bug ale feature), tuto som chcel pisat o nasadzovani a best-practices typu http://12factor.net/

3: Tie zadrhely su male technikality, nic zasadne. A o tom ci mnohe egov systemy by mali byt komplikovanejsie ako toto forum som ochotny sa hadat do krvi :smile:

Dost skoro ti Jano dochadzaju nervy ak chces diskutovat. Mrzi ma, ze casto reagujes povysenecky a arogantne, co podla mna dobrej diskusii skodi.

Tu je odpoved ze ano, mali by. eGov riesi verejnu spravu, co je jeden z najkomplexnejsich systemov, ktory musi reagovat na poziadavky milionov obcanov a riesi v principe celu krajinu (je to radovo zlozitejsie ako bankovy sytem, aleobo telco system). Ked sa hovori o jednoduchych sluzbach, to neznamena, ze na pozadi budu jednoduche systemy, prave naopak, predstav si modernu verejnu spravu ako tablet, na pouzivanie super jednoducha a intuitivna, az tak, ze ju vie ovladat male dieta, ale vo vnutri ide o velmi komplikovany mechanizmus. Ak to nie je doteraz zrejme, caka vas este velmi dlha cesta.

1 - 2 Nerozumiem, ze ti dochadzaju nervy, ked prave aj tou tvojou chybou o rieseni integracie si tejto teme daval iny rozmer. Dik moc za vysvetlenie, teraz je to uz uplne jasne. Ano, to uplne suhlasim, a takto sa to planuje. Navyse by vsak bolo optimalne mat priamo v PaaS aj integracnu platformu na centralne registre a komponenty. Akurat treba ratat s tym, ze uz zial nezaciname na zelenej luke. Len potom nerozumiem uzitocnosti tejto temy, ked kazdy sa zhodne, ze toto je novy trend a takto to chceme po novom, ale nikto este nevie, ako a na akych technologiach to vybudovat pre stat. Ja som si myslela, ze vystupom pre MF maju byt konkretne podklady pre zadania, nie polemizovanie, ako by to malo fungovat, keby stat bol cool, trendy a lean firma, co nie je, alebo keby existovali neexistujuce technologie. Ale tak mozeme si dat za ciel hoc vybudovat aj vlastne slovenske PaaS, ak si trufame. Paci sa mi, ze tymto zaciname sutazit na skoro rovnakej startovacej ciare s UK, takze sa dostavame do uplne inej ligy. To video z britskej GDS je total cool a oni vlastne robia pre UK research, ktoru technologiu pouzit.

Vidim vsak zmysel v best practices pre nasadzovanie, z nich sa potom mozu urobit napriklad poziadavky na dodavatelov, alebo metodicke pokyny ci smernice MF.

3 To, ze eGov systemy su zlozitejsie, ako toto forum, je zial kruta realita, kedze verejna sprava je jeden z najzlozitejsie fungujucich “podnikov” s najvacsou mierou zodpovednosti. Vyzva je, robit tie systemy tak, aby ta komplexita bola skryta vo vnutri inteligentnych backendov, a na front-ende boli co najviac user-friendly, ako toto forum. Stale opakujem, ze v NKIVS sa teraz neriesia len sluzby obcanom, ale aj vnutorne systemy pre zamestnancov statu.

Dovolim si sa zapojit, napriek tomu, ze sa necitim ako ostrielany software engineer.

Ja som si myslela, ze vystupom pre MF maju byt konkretne podklady pre zadania, nie polemizovanie, ako by to malo fungovat, keby stat bol cool, trendy a lean firma, co nie je, alebo keby existovali neexistujuce technologie.

Tu nejde o to, ci to bude cool, skor ide o to, ako to robit efektivne. Pristup “je to zlozite a preto sa to neda robit efektivne” je cesta do pekla a prave preto dnes su systemy v statnej sprave tam, kde su.

Vidim vsak zmysel v best practices pre nasadzovanie, z nich sa potom mozu urobit napriklad poziadavky na dodavatelov, alebo metodicke pokyny ci smernice MF.

Nebolo by rozumnejsie urobit nieco ako “katalog sluzieb pre PaaS”, rovnaky, ako existuje pre IaaS a nadiktovat dodavatelom, ze vsetko co nasadia musi zahrnat integracne testy, ktore musia zbehnut pri kazdom deploymente novej verzie? Potom sa da lahko udrzat konzistentny interface voci zvysku vesmiru.
Zvykne sa tomu nadavat continuous integration.

3 To, ze eGov systemy su zlozitejsie, ako toto forum, je zial kruta realita, kedze verejna sprava je jeden z najzlozitejsie fungujucich “podnikov” s najvacsou mierou zodpovednosti. Vyzva je, robit tie systemy tak, aby ta komplexita bola skryta vo vnutri inteligentnych backendov, a na front-ende boli co najviac user-friendly, ako toto forum. Stale opakujem, ze v NKIVS sa teraz neriesia len sluzby obcanom, ale aj vnutorne systemy pre zamestnancov statu.

Je zlozita z 2 dovodov

  1. zakonodarcovia ohybaju legislativu tak, aby bola vynimka pomaly na kazdeho obcana, toto by mohlo napriklad zanalyzovat IFP, ak to este nerobili, ze ci nas vsetky tie vynimky, a ulohy pre matfyzakov v zakonoch nestoja v implementacii do praxe viac, nez v konecnom dosledku prinesu do statnej kasy. Od brucha strelim, ze sa to bude hybat niekde okolo break-even a ako vecny pesimista dodam, ze skor to bude v strate.

  2. je to dobra vyhovorka, ked chce niekto minut viac penazi a zabetonovat sa v projekte, ktory statu dodava

Okrem toho nesuhlasim, treba tu komplexitu v maximalnej moznej miere eliminovat, ked sa bude “schovavat” niekde v implementacii, tak sa v zivote nikam nepohneme a o 5 rokov sa budema bavit o tom, ze sa minuli 4 miliardy eur, stoji to na udrzbe 10x tolko, ako dnes a stale to je malo pouzitelne.

V sucasnosti je jedinou skutocnou vyzvou tie systemy radikalne zjednodusit a urobit ich user friendly hlavne pre vyvojarov, nie len pre obcana. Lebo zmenit interface je ovela jednoduchsie a lacnejsie, nez refactorovat spagety.

1 Like

Kde vravim, ze sa to neda robit efektivne? Praveze chcem mat konkretne zadanie, ako to robit efektivne. Len pisem, ze tym, ze stat nie je trendy a lean firma, hoci moze byt aj to ultimate goal, tak nestaci len ukazat, ze aha, takto to funguje v top progresivnej firme.

Dalej jasne, musia byt katalogy XaaS, ale presny deployment a implementaciu sluzieb treba navrhnut az potom, co budu dane technologie. Kedze je ale cielom agilnejsia implementacia projektov, musi byt mozne velmi casto nasadzovat a testovat integrovane verzie systemov. Verim, ze prave PaaS, v ktorom bude dostupna aj integracna platforma, tomu pomoze.

Nie je zlozita len z dvoch dovodov - zial doba, v ktorej zijeme, je zlozita a dynamicka, a bude este zlozitejsia. Ak ma stat sluzit obcanom a podnikatelom, musi vediet rovnako zlozito fungovat vo svojom vnutri, aby mohol reagovat na vsetky vyzvy modernej doby. Teraz samozrejme nehovorim o zbytocnej zlozitosti, vyplyvajucej z neefektivity slovenskeho legislativneho ramca. Tu plne suhlasom s Estonskom, ze legislativny ramec treba uplne prekopavat - oni si dali ciel, ze kazdych 13 rokov. Tu tiez treba dohliadat na Europsku uniu, aby vo svojej agende Better Regulation bola tiez uspesna. Aj na Slovensku sa definovali uz aktivity v tomto smere, kedy sa metodikou posudzovania dopadov regulacii budu identifikovat a rusit tie neefektivne na zaklade objektivnych datovych analyz.
Teraz ale hovorim o tom, ze v obdobi Big Data, Machine Learning a AI rozhodne nesmerujeme k tomu, ze by funkcionalita systemov bola jednoducha. Alebo je implementovanie umelej inteligencie jednoduche? Just click a mam ju? Siri sa pouziva velmi jednoducho, ale za nou je komplikovany system. Stat sa musi tiez prezentovat jednoduchym a modernym rozhranim, automatizovanymi sluzbami vsade tam, kde je to mozne a uzitocne, ale vo vnutri musi imlementovat vsetky vychytavky modernej doby ako fraud detection, predikcie, algoritmy behavioralnej vedy na prednastavenie sluzieb, auditovanie pristupov, riadenie bezpecnosti, kontrolne mechanizmy a viacurovnove zalohy. Pomiesat alebo znehodnotit data pre vyber dani alebo vyplatu socialnych davok ma katastrofalny dopad. Pritom zacinajucim alebo experimentujucim firmam sa casto statne, ze im uplne uleti Billing.
Zoberme si ale konkretny priklad - take colne konanie. Len zakladny europsky predpis ma okolo 100 stran.
Pravne predpisy - colna oblast Ako sa da jednoducho implementovat system, kedy ani len poziadavky nan nemozno predpovedat, kedze Slovenska republika ma minimalny dopad na aktualizaciu predpisov v EU, a sytemy musia byt plne cezhranicne interoperabilne a implementovat vsetky europske opatrenia? Plus prave na hraniciach sa odohrava vela klucovych aktivit v oblasti odhalovania podvodov a odchytavania skodlivych produktov pre zdravie obyvatelstva, tak to uz si hadam vie kazdy predstavit, ake dopady ma kompetencia statu a jej IT systemy len v tejto jednej vypichnutej oblasti.

Tento topic driftuje totalne inam kam bola jeho povodna pointa a pisem to uz 4x. (A preto mi dochadzaju nervy.)

Dagmar tuto temu ocividne pochopila tak ze treba, aby stat kupil nejaku technologiu Heroku. (Napriek tomu, ze to tu nikde nie je napisane a ani naznakom spomenute) Nie. Preco navyse ako konzultanti povazujete za dolezite vysvetlovat vyvojarom, ktori sa vyvojom backendovych systemov zivia, ze to je komplikovanejsie ako to vyzera na frontende je pre mna absolutna zahada. Povedzme, ze sme sa nepochopili a ci uz to bolo vymenenim jedneho slovicka (integracia za nasadzovanie) alebo niecim inym je jedno. Nechajme tak.

Tento topic je o best practices v “nasadzovani a sluzbach” a ako priklad uvaza ako to riesi Heroku. Ci uz 12factor zapracuje MF do nejakej metodiky, NKVIS, vynosu alebo kamkolvek je uplne nepodstatny detail.

To co je zaujimave (a nedivim sa, ze tu nikto z vas ani naznakom nespomina), su dosledkym, ktore ma taketo vynutene nastavenie best-practices pre skalovatelnost aplikacii ako aj samotny vyvoj sw.

Kedze Juraj a Dagmar ma nasmerovali na tuto diskusiu, pridavam momentalne kriteria pre pripravu PaaS vo vladnom cloude - za AKVS, kedze to nie je iba o Heroku. Excel som dal na onedrive, dufam ze to linku po postnuti nejako "neosetri"
https://onedrive.live.com/redir?resid=5E40B7AFF1165853!788&authkey=!AP0F9sB7Wl2Nhxo&ithint=file%2Cxlsx

3 Likes

Ten XLS je vlastne co? Zoznam poziadaviek na PaaS alebo?

Kriteria na služby ale aj na platformu(y) ktoré majú tie služby manažovať. Musí to hrať na obidve strany, samozrejme nespadnut do “lock-in”-u a ciel je podporiť štandardizovaný devops v cloude.

2 Likes

Ale ved v tvojom videu z GDS v UK babena zacina, ze isto ste uz vsetci vyskusali Heroku. A potom ukazovala obrovsku tabulu, kde mali evaluaciu asi 10ich technologii PaaS, ktore chceli nakupit/nasadit. Ved ja len reagujem na to, co sa tu pise, a co je trend.

Tak lebo uz len minimalne zyx mal pocit, ze back-endy statnych systemov mozu byt velmi jednoduche. Aby tato platforma bola uzitocna, je dolezite poukazovat na komplexnost systemov pre stat, armadu, banky, Google … Nie kazdy vyvojar, aj ked sa tym zivi, mal prilezitost riesit tak velke enterprise projekty.

Ale dobre, podme sa bavit o dosledkoch, i ked myslim, ze prave kvoli tym dosledkom vobec staty taketo pristupy zvazuju, ako je spominane aj v tvojom videu, tak neviem, ci je potom tato diskusia pre MF uzitocna.

Napriklad je zaujimave to, ze technologie, ktore zvazuje UK a tie co tu v XLS napisal @rho maju dost maly prekryv (takmer ziadny). V UK zvazuju takmer vyhradne free riesenia https://gdstechnology.blog.gov.uk/2015/10/27/looking-at-open-source-paas-technologies/, u nas platene produkty (az na openshift). Chyba tam openstack (je tam len tak mimochodom schovany). Mna by zaujimalo preco.

Ako ze u nas vyberame iba platene produkty ? Dokonca este aj ten “zatracovany” Azure Pack je poskytovany for free.
To ze existuje silny (a komercny support) k OSS rieseniu pokladam za podstatnu vyhodu.

A aby som nezabudol, diky za ten link z UK, uz som to zaradil do “eval” zoznamu.

1 Like

No vychadzam z vedlajsej diskusie, kde bolo povedane, ze public cloud only je no-go (aj ked nie preco). Cize ked si pozriem tuto tabulku:

Tak sa to tam dost preriedi a Azure je von z hry tiez.

To je uplne bez debaty. Navyse v UK maju interny tim, cize tam ma nieco taketo asi ovela mensiu vahu.

Takze uplne nanic toto cele nebude. :thumbsup:

Inak @tomas.corej ma nedavne skusenosti ako taketo nieco vyberali pre WebSupport. Mozno by vedel poradit alebo ukazat ich tabulku toho co zvazovali. Ked uz sa teda ideme hrat na participaciu. Dame pokus? Hm?

1 Like

“Azure Pack” = nasadenie Azure do privatneho cloudu, takze to berieme stale vazne.


A moj favorit uz od roku 2009 je rightscale (www.rightscale.com), a ten zrovna nechce ist na on-premise riesenie :smile:

1 Like

Ak to bude konstruktivne a pragmaticke (a nebudu sa bat ze im niekto ukradne ich know-how :slight_smile: ), tak uplne vitam tento pristup.

1 Like

Ja uz som svoj pohlad na to ako by mal byt rieseny cloud opisal v govCloud threade. Potom som si pozrel aj ine thready na tuto temu a vsimol si, ze v zasade myslime vsetci to iste. Len na roznej urovni, ci uz je to IaaS alebo PaaS.

Kazdopadne k sposobu ako sme vyberali cloud vo Websupporte v roku 2013. My sme riesili hlavne IaaS, takze budem hovorit hlavne o tom.

Vtedy sme sa rozhodovali medzi VMWare a Openstackom, pricom VMWare licencie by nas vysli na 7500 eur za dvojsoketovy server. Vtedy to tusim tvorilo dokopy 180k eur len za licencie pre VMWare a nam to jednoducho nevychadzalo biznisovo.

Museli sme ist do opensource aj ked sme vedeli, ze to bude o to narocnejsie na deployment. V tom case opensource distribuovane storage systemy (Ceph,GlusterFS) neboli z nasho pohladu pripravene, tak sme sa rozhodli o.i. ze pojdeme do diskoveho pola. Vybrali sme Netapp ktory mal ako jediny HW podporu pre Openstack takze sme mohli vyuzivat rozne vychytavky ako klonovanie a pod. V inych cloudovych systemoch taka podpora neexistovala, takze vyber bol jasny. Cela priprava Openstacku nam trvala polroka, ktora vsak zahrnala aj integraciu s povodnym systemom.


2.5 roka neskor je situacia znacne odlisna a mnohe technologie dozreli. Ak by som vyberal cloudovy system dnes, siel by som znova do Openstacku z tychto dovodov:

  1. silna integracia s Ceph storage (podpora v KVM, delta backupovanie, klonovanie) -
  2. silna komunita, Openstack tu s nami bude pretoze ma silnu podporu velkych hracov - statistika
  3. vyvoj robi komunita takze nove featury treba len integrovat a tie pribudaju pomerne rychlo. Kazdeho pol roka vyjde novy release.
  4. existujuce velke produkcne nasadenia - DreamHost, PayPal, BBVA, CERN a pod ukazuju, ze moze bezat aj v produkcnych prostrediach.
  5. velky ekosystem projektov.

Co sa tyka PaaS, tak v Openstacku existuju napriklad tieto projekty:

  • Trove - database as a service
  • Sahara - big data as a service
  • Zaqar - message service na komunikaciu medzi komponentami
  • Murano - application catalog - https://vimeo.com/120445504

a dalsie… . Kazdopadne tieto sluzby su povazovane este za relativne nove a niektore potrebuju chvilku dozriet.

Alebo ak chcete PaaS, vzdy si mozte nainstalovat niektoru z vyssie menovanych technologii na Openstack ako napr. Openshift.

4 Likes