Greška u bazi podataka prizemljila sve zrakoplove

Dok se vi sjetite objaviti clanak avioni vec na povratnom letu sa prve rute

METAR i TAF ne spadaju u NOTAM.

 -da, recimo da se slažem :) ..

-većina juzera (pa i firme-admini..) imaju neki backup no nikad ga ne provjeravaju, nikad ne testiraju .. pogotovo ne 'džon-hrkljuš' metodom ..

.. sam izazoveš problem, npr čupanjem žica iz servera i naprasnim gašenjem u radu, ne kontrolirano gašenje-restart i sl. nego incident-slučaj s razlikom ne čekamo udar groma ili meteora nego to napravimo sami.. pa do tog da zamislimo scenarij da je taj server-kutija-rack recimo 'nestao'.. tad pravi-adekvatan backup radi ono što je svrha backupa, tj ovisno o raspoloživim resursima (drugo računalo i sl.) i količini podataka, veličini sustava.. sve je opet tu 'na nogama' za x-minuta ili dana.. no ništa ne smije biti izgubljeno ili da u tom restoranju recimo računalo ne boota, ne radi neka app i sl. .. jer tad to nije adekvatan backup, pravi, odnosno sve različito-manje od 100% je skoro beskorisno ili služi samo smanjenju nastale štete-gubitka, suprotno od smisla backupa koji gubitak mora eliminirati kao rizik.

-adekvatan backup! .. mora izdržati sve što u scenariju smislimo, tj ovisno o nivou zahtijeva nekog posla-servisa, hitne službe-država, ili neko skladište-firma.. pa do kućnog juzera, dok svi imaju neki backup recimo glavne baze podataka istovremeno nemaju recimo rezervno računalo, jer što ako je postojeće izgorilo-ukradeno ili nešto deseto.. što ako je crkao disk, što ako je crkao cpu-mbo.. novi disk se kupi u prvoj trgovini, cpu ovisi o seriji-starosti-dostupnosti, neki xeon i generacije socketa pa u trgovini možda imaju nove ali nema nešto od prije recimo 5g.. itd. zamislimo da je cpu nedobavljiv ili ne dovoljno brzo (par dana-tjedana recimo s ebaya..).. ovisno o hitnosti, može se (i mora!) složiti novo računalo, nove komponente mbo-cpu.. a onda pitanje, ako ste imali image osa-sustava (ne samo podataka-backup) .. hoće li to raditi kao restore? .. neće ili možda hoće a možda nije dovoljno dobro jer možda su u šumici .. :)

-no naravno nitko od pametnih admina neće testirati takav scenarij tj većina će znati da nije adekvatan backup ali će se nadati da se problem neće nikad dogoditi, kao što se za loto nadamo suprotno pri čemu su šanse slične osim kad se upetlja murpyh i njegovi zakoni :) ... pa se tako nešto loše lako dogodi, nešto dobro daleko teže. To je čak u skladu s logikom-matematikom tj radnom-kaos sustavu pri čemu je beskonačno mnogo permutacija-kombinacija nekih molekula moguće no samo određena kombinacija daje nešto upotrebljivo, npr ručni sat koji točno radi.. dok sve ostale permutacije daju smeće, bicikl, nešto deseto-beskorisno i sl. tad je logično da će nas recimo iskusan kirurg spasit ismrti ako napravi ono što je potrebno dok slučajno da netko na ćoravo zabode skalpel vodi do smrti.. odnosno tek promil šanse da slučajno pogodi ono što bi kirurg napravio, dok i on može pogriješiti.. tj uvjek imamo više negativnih mogućnosti-ishoda od pozitivnih jer su naprosto različiti skupovi-veličine-šanse. (koji nemaju veze s postom no eto i tog odlomka..) :))

 

-koliko firmi-admina ili institucija i kućnih juzera imaju backup a koliko ih ima adekvatan-pravi, otporan na sve tj ovisno o kriteriju pojedinih levela sigurnosti-robustnosti, npr server s dvostrukim napajanjem-redudndancijom upravo zato ima dva napajanja.. no to ne riješava problem ako ga netko ukrade ili pogodi meteor, potopi noin potop itd.. kao i pravilo da se iz tih-takvih razloga rade dvostruki backupovi udaljeni na sigurnoj lokaciji barem 50km u sefu itd i tad prežive svašta osim možda opću kataklizmu kad više backup nije ni važan tj tad dan poslje ne posotji pa ni potreba za radom takvog servera-servisa ili obitelj koja bi recimo gledala slike s ljetovanja i slušala glazbu.

-koliko admina-juzera je testiralo svoj backup? recimo ako nešto drže na stikiću ili cd-mediju, jesu li pomislili što ako se taj skikić-cd izgube, oštete? banalna situacija, realna-moguća-predvidljiva.. no 99% se ne ponaša tako mada kažu da im je to jako važno, pri čemu to nije neki velik trošak imati dva stikića i sl. .. tj u slučaju gubitka bi im taj trošak bio zanemariv u odnosu na podatke koje mogu izgubiti, no tek kad se ljudi opeku tek tad počnu tako razmišljati.. pa tako pravi admin vjerojatno ne može učiti na tuđim greškama nego mora jednom doći u situaciju.. i tad zna, tad više ne želi ponoviti isto, tad ima adekvatan backup .. ili je uhljeb koji čeka kraj radnog vremena a kad se problem dogodi bit će krivi svi osim njega mada mu je to bilo u opisu posla. Koliko smo sami takvi? Koliko često provjerimo gumu u autu ili je vidimo samo kad to traže na tehničkom? .. a tako radimo s većinom stvari pa i s onim podatcima za koje tvrdimo da su nam važni, da se ne smiju izgubiti i sl. odnosno gazda-vlasnik-šef koji bi trebao odbriti adrekvatna sredstva (novac-trošak) obično ima druge razloge zašto ne.. skupo i sl. no kad stvar crkne, tad ništa nije skupo, pa do tog da institucije plaćaju ransomware ucjene.. umjesto da imaju adekvatan backup, koji po protokolu moraju imati, tj .. (napokon?)

 

-.. ono što se krije u temi, nije važno to što se neki kvar-problem dogodi, dogodit će se.. naprosto jednom mora.

-problem je što postoji sustav, tisuće zaposlenika, admina, milijarde u fondu za takvu namjenu.. no nitko nije napravio ništa od svog dijela posla da to eliminira-prevenira-riješi.. kao pravi adekvatan backup, odnosno test-restore s odgovorom radi li uopće ili je beskoristan, tj ne radi ono što se vjerovalo-mislilo da radi.. a tad, direktnori, odgovorni, admini.. koji su do tad primali plaću, direktori banaka, avio kompanija, kojima je ransom nešto ukrao-kriptirao, ravnatelji bolnica.. svi, jesu li snosili posljedice, odgovornost za propuste? .. nedavno je a1 kažnjen za neadekvatnu zaštitu osobnih podataka, gubitak.. tek pojedini primjer vs mase bez kazne tj posljedica po osnovi odgovornosti i propusta.. a naravno dok je tako, dok nitko ili tek kao izuzetak netko za nešto odgovara, do tad nitko to ne radi, ne poštuje.. i čude se ako jednog dana snose sankcije, za ono što su morali a nisu napravili.

-kaže se riba smrdi od glave.. (i što s tim?) :) .. ništa! .. no ta sitna riba smo i mi, pojedinačno, za sebe, za svoje radno mjesto-odgovornost ovisno o poslu kojim se bavimo, pa do tog da je svaki kućni juzer za sebe admin i da nema kog drugog okriviti osim lošu sreću.. no može relativno jednostavno imati adekvatan backup za svoje potrebe, samo ako si postavi pitanja-scenarije, što ako, what if.. osnovna pitanja i programska petlja, dok o nama ovisi koliko kvalitetne odgovore želimo ili trebamo.. sigurnost neprobojnog sefa koji ne postoji ili se nadamo neće baš mene, dva extrema. Ostali između, ako već imate neki backup.. jeste li ga probali? npr image osa, jeste li ga ikad restorali i dobili jednako funkcionalno računalo? tj ako vjerujete tom image-backupu tad nema razloga da to ne napravite 'baš sad'.. a ako sumnjate, tad su strahovi vjerojatno opravdani tj daju odogvor da vjerojatno i bez testa znamo da to nije adekvatan backup i da je tad skoro beskoristan kao placebo ili duda varalica koji možda služi smirivanju savijesti ili kao alibi na poslu.. no što kad je to naše (moje) kad nema drugih-trećih koje bi okrivili?

 

-zato, zaključak, ako već trebate ili radite backup, tad radite pravi, adekvatan, testirajte ga i tad znate da je ok ili beskoristan ili kako s tim polu-uopotrebljivim doći do potrebnog, jer bolje išta nego ništa, no da bi to znali-mogli morate to barem jednom naučiti-probati.. a to je logično daleko bolje-lakše dok nema pravog problema, dok sve radi, dok ne morate izmišljati toplu vodu ili ovisiti o tome radi li trgovina za novi disk.. dok onaj tko to jednom napravi tad nešto ipak zna i u stvarnoj potrebi će se vjerojatnije snaći, doći do cilja od one osobe koja nikad nije ni probala restorati neki image-backup..

 

-uvjek je bloje išta nego ništa.. uvjek je bolje imati i loš backup nego nemati, uvjek je bolje nešto probati dok nije stvarni problem, npr kako se boota računalo sa stikića, kako se izradi stikić.. jer ako čekate da računalo crkne, tad nemate na čemu napraviti i probati taj stikić i već na prvom koraku imate problem dok je stikić bagatelni trošak a daje tu mogućnost-sigurnost, daje šansu, što je uvjek bolje nego bez šanse. To morate-trebate sad, dok problem nemate, lakše je, odnosno, sve ostalo je samo odgađanje-sreća i pitanje vremena kad će se nešto dogoditi, kao sad u temi za avione, no bezbrojne ostale teme-poslovi su ista stvar, jer podatci i soft su isti, digitalne nakupine nula-jedinica a razlika je samo u količini i raspoloživim resursima koje netko ima-nema.

 

-ili, radi li bilo koja profersija nešto bez vježbanja-učenja, npr gimastičar, nogometaš, kuhar, glazbenik, kirurg, električar, ovčar.. rade li bilo što kad dođu na natjecanje-posao prvi put ili su to već naučili, vatrogasac kako se požar gasi i gdje je tko u ekipi, nogometaš kako pucati loptu, kuhar kako zapeći jaja.. sve to uče do pravog posla dok gimnastičar satima ponavlja-vježba ono što izvede u par sekundi i padne ili osvoji medalju.. nitko od njih nije to napravio prvi put i tad se tek susreo s loptom-skalpelom-parterom.. ali juzer (i admin) misle da će prvi put kad im to zatreba backupom to moći mada nikad do tad nisu vidjeli-probali? Naravno, jer se nisu ni zapitali što-ako.. ni pomislili da recimo nema struje ili trgovina za disk zatvorena a pogotovo je neobično da nitko od njih nije naprvio neki stikić i pokušao bootati os prije nego se neki kvar-problem na računalu dogodi tj 99% tek tad u temama traži pomoć i tad uče kako se radi stikić.. kao da tad krenu u prvi razred osnovne i žele završiti glumsku akademiju citiranjem hamleta ili raketsajens putovati na mars i razbijati atome.. onak, teoretski mogu, no previše gradiva im tad nedostaje a previše vremena treba da tad juzer bez funkcionalnog računala nauči kako napraviti boot-live stikić.. dok bi prije (sad, dok računalo radi) to bilo lako-brzo uz par klik-nextova obavljeno u recimo pola sata s bootanjem.. no to je tako i opet razumljivo, jer nismo svi admini, ne zanima nas sve i život je prekratak da bi svatko barem letimično preletio po svemu, probao svaki sladoled, poslušao svaku pjesmu, previše.. no svi imaju kućne podatke, osobne, koje ne žele izgubiti.. i svi koji su u temi i imaju backup a to je već dovoljno u populaciji forumaša, pa od tog dijela možda 1% sad napravi stikić dok će ostalih 99% nastaviti po starom.

 

-koristi li tad ovaj post ičemu (osim kvaru miša..) .. pa možda koristi 1%.. i to je već nešto! :) tj neće moje pisanje spasiti tisuće juzera od gubitaka, no ako jedan napravi stikić i boota, ako jedan koji radi backup isproba taj backup.. tad je ova tema i ovaj post ispunio potrebnu kvotu spašavanja :) .. tj ovi u textu-članku nisu to napravili i sad imaju problem, što će reći bolje je učiti na tuđim greškama, na vrijeme reagirati-prevenirati-pripremiti se.. tad ovaj članak-tema ima smisla, odnosno dodao bi, ako završe nekim sankcijama za odgovorne koji su desetljećima sjedili u fotelji i primali plaću upravo da preveniraju ovakav predvidljiv problem, tad bi i meni ovo imalo smisla i nadao bi se da će jednog dana i 'naši' početi sankcionirati propuste, ne kao iznimka nego pravilo, odgovornost. Želiš biti direktor, admin, ministar? može, primaš plaću.. kao i vatrogasac, hitna.. a kad treba tad moraš odraditi svoj dio ono za što si plaćen.. ne za sjedenje, a ako tad to ne možeš.. tad nisi ni smio biti u toj fotelji kao i odgovornost onog tko te postavio.. (ako netko vuče paralelu s plenkyjevim ministrima to je samo privid i želja opozicije.. ne petlajm se u to..) :) ..odnosno često mislimo da su samo 'naši' nesposobni, uhljebi, političari, .. ne, nije to naš specifikum, to je jednostavno ljudsko ponašanje-gen, zajedničko svima, neovisno o spolu-rasi-vjeri-boji.. pa i kontinentu. Gluposti i propuste rade i 'oni-drugi'.. no treba li nam alibi ili želimo imati backup? tj lako je reći i drugi griješe i sl. .. možemo li mi za sebe nešto napraviti? tad to napravite, za sebe, ne za mene, kao što mi ne treba TU lakanje ili kuknjava o mišu na izdahu :)) .. 

 

edit: .. važno! .. kao hint, za 'test' otpornosti ako se netko osjeća dovoljno hrabrim, disklejmer.. + simulacija kvara diska, ne morate ga lupiti čekićem, dovoljno je recimo ispravan disk odspojiti a nakon testa vratiti nazad.. ako sve ostalo uspije s drugim diskom, tad je test prošao ok i bez čekića.. :)

Ajme, al si ga skratio ;)
Kod havarije i vraćanja iz backupa se skoro uvijek uzgube recentni zapisi. Izloženost gubitku je razmak backupa. Npr tko radi backup jednom dnevno ima izloženost gubitku od 24h podataka. To je RPO tzv Recovery Point Objective. Koliki gubitak je poslovno prihvatljiv. Može biti npr 5min ako radiš transaction log backup tom frekvencijom.
RTO, Recovery Time Objective je koliko vremena ti treba za restore, tj. da digneš sustav iz backupa. To ovi nisu znali jer nisu redovno (i automatizirano) to radili.
RPO i RTO određuju poslovni vlasnici, ne tehničke osobe. Tehničke osobe im kažu za koji novac je koji RTO i RPO moguć. Bez gubitaka se može složiti, ali mrvicu usporava write performanse, i naravno, skuplje je. Također ih se pita za širinu havarije protiv koje se žele štititi: krivi user delete, pucanje matične ploče, raketiranje data centra, države, ili kontinenta. Što šire, to skuplje i teže za napraviti i održavati. Svi hoće nula RPO i nula RTO, ali kad im kažeš cijenu brzo korigiraju zahtjeve :) Cloud ti može nešto od toga pomoći, ako su manje baze.

kad budem veliki, neću biti programer ili pilot, nego sindikalac ili saborski zastupnik. neću ništa raditi ili biti odgovoran i za što a imat ću enormne prihode i povlastice + imunitet, držeći se one brešanove iz "hamleta u mrduši donjoj":

 

žderi, loči, tovi se ki prase

meći u se na se i poda se

na grbači potlačene klase

sirotinje i narodne mase.

 

Zanimljiva tema. Veliki je izazov uhvatiti se sa tim u koštac.

 

Ovo me podsjeća na HR IT. Sretan je onaj ko radi u njemu.

 

Gdje je dokumenatacija?

Vjerojatno je bilo: ako radi - ne diraj. Sad budu dirali.

Jedini način da se izbjegne downtime je da se nova baza uvodi paralelno sa starom, da se podaci sinkroniziraju iz starog sustava prema novom neprekidno.

Tako korisnici mogu prelaziti malo po malo na novi sustav, tempom koji im odgovara. Kada svi korisnici prijeđu na novi sustav, stari se gasi i projekt je gotov.

Nije da je to prvi slučaj postepenog prelaska, samo do sada nije bilo potrebe ili volje da se provede taj malo izazovniji proces.

Keso:

Ne budu dirali. Krivi plan popravka je ljudska greška