Load balancer i high availability

poruka: 14
|
čitano: 5.911
|
moderatori: Lazarus Long, pirat, XXX-Man, DrNasty, vincimus
1
+/- sve poruke
ravni prikaz
starije poruke gore
14 godina
offline
Load balancer i high availability

Za zravrsni rad na faksu obradujem temu pod nazivom: "Load balancer and High availability – implementation and why". Predpostavljam da ima ljudi koji imaju iskustva sa oboje pa ukoliko bi nekto bio voljan da odgovori na neka pitanja bio bih jako zahvalan. Pitanja cu postavit ovdje tako da ukoliko nekad nekome zatreba da moze pronaci odgovor ovdje.

 

Ovo su pitanja za sad, trenutno sam u fazi opisivanja sto su jedno i drugo odnoso sam zavrsio sa load balncerima i pocinjem high availability, nakon cega moram opisat proces implementacije na moju izmisljenu mrezu.

 

1. Software, Hardware load balancer ili pak prepustit to DNS-u? 

2. Kakav load balancer ste koristili ili koristite i zasto ta opcija?

 

3. Kod High availability da li je bolja opcija u slucaju servera koji se NECE koristit na globalnoj razini imat jedan IP iza kojeg ce se i load balancera skrivat server farm?

 

 

 

011000110010.
Moj PC  
0 0 hvala 0
13 godina
neaktivan
offline
Re: Load balancer i high availability

Za pocetak, baci oko na haproxy :)

 

EDIT: prije nisam imao vremena za tipkanje.

 

Tema je jaaako opsirna i postoji jako puni nacina za dobiti HA. Pojavom AWS-a, Azurea i slicnih je cijeli proces sada znatno jednostavniji i laksi prije 5-6 godina.

 

Prvo, DNS itself nije "pravi" load balancing sustav.

Nadalje, software i HW load balancer su u biti ista stvar :D I na tom "hardverskom" lb-u se vrti neki komad softvera koji odradjuje routing, samo sto "hardverski" lb kupujes od nekog vendora tipa F5.

 

Osobno bi isao sa "softverskim" lb-om posto u vecini slucajeva mozes dobiti puno bolji ROI u usporedbi sa hw lb-om. 

 

Nadalje, pitanje je koji OSI layer zelis/moras koristiti za balancing, tj. layer 3/4(network) ili layer 7(application). 

 

Osobno sam koristio Haproxy, IIS ARR, nesto sitno F5 i lately ALB i ELB od AWS-a :)

Zasad mi se HaProxy najvise svidja. Jedan od top 3 komada softvera sa kojim sam se susreo u zivotu :)

 

http://www.haproxy.org/they-use-it.html

http://highscalability.com/blog/2012/4/2/youporn-targeting-200-million-views-a-day-and-beyond.html ;D

 

 

 

 

 

 

 

 

http://www.winblogs.net
Poruka je uređivana zadnji put ned 20.5.2018 23:07 (Alesandro).
14 godina
offline
Re: Load balancer i high availability

Hvala na odgovoru prije svega.

 

Shvacam da DNS nije sam po sebi load balancer ali zar nije "DNS delegation" u principu najbolje rjesenje ako dodajes novi server koji je prostorno udaljen od tebe i koristi drugi IP?

 

Da li sam dobro shvatio, softverski load balancer postvljamo na router ili na server?

 

Na meni ej da odlucim koji layer cu koristit, radi jednostavnosti cu se spustit na layer 4 da imam manje prostora za greske.

 

 

HaProxy je software koji postavljas na hardware? 

 

 

Moja zamisao je opisati kako na ured koji se sastoji od jako jednostavne mreze (router-swich-server) dodat load balancer sa sto manjim downtime te zatim pitanje HA rijesit poduplavanjem postojece mreze. Jedino sto jos nisam siguran je da li da koristim shared storage ili ne. Drugo, da li ej VLAN rijesenje ako zelim drzati servere na istom IP.

011000110010.
10 godina
offline
Load balancer i high availability

Jako široka tema, pogotovo ako i neku vrstu failover-a smatraš load balancing-om.

Kao što je kolega napisao može se implementirati na više različitih layera.

Počevši sa osnovnom link agregacijom i STP na switchevima, više WAN portova na routerima. A to je čisto i samo layer 2/3.

Poruka je uređivana zadnji put pon 21.5.2018 14:52 (filter160).
Moj PC  
0 0 hvala 0
16 godina
online
Re: Load balancer i high availability
michael kaže...

 

Moja zamisao je opisati kako na ured koji se sastoji od jako jednostavne mreze (router-swich-server) dodat load balancer sa sto manjim downtime te zatim pitanje HA rijesit poduplavanjem postojece mreze. Jedino sto jos nisam siguran je da li da koristim shared storage ili ne. Drugo, da li ej VLAN rijesenje ako zelim drzati servere na istom IP.

Već je filter naveo, ali u pravilu kreiraj nekakav smisleni scenarij jer se tu toga dosta brka - LB, HA, DNS, redundancija itd.

LB-ova ima svakakvih, ovisno o namjeni i implementaciji. HA je puno veće i šire od "poduplavanja mreže". Shared storage je ovisan o implementaciji svega iza LB. I tako dalje...

14 godina
offline
Re: Load balancer i high availability
Old Iggy kaže...
michael kaže...

 

Moja zamisao je opisati kako na ured koji se sastoji od jako jednostavne mreze (router-swich-server) dodat load balancer sa sto manjim downtime te zatim pitanje HA rijesit poduplavanjem postojece mreze. Jedino sto jos nisam siguran je da li da koristim shared storage ili ne. Drugo, da li ej VLAN rijesenje ako zelim drzati servere na istom IP.

Već je filter naveo, ali u pravilu kreiraj nekakav smisleni scenarij jer se tu toga dosta brka - LB, HA, DNS, redundancija itd.

LB-ova ima svakakvih, ovisno o namjeni i implementaciji. HA je puno veće i šire od "poduplavanja mreže". Shared storage je ovisan o implementaciji svega iza LB. I tako dalje...

Mozes objasnit sto mislis sa smislen scenarij? Pokusao sam to napravit prvom recenicom u svom postu.

 

Shvacam da je puno vise od toga, ali zar nije to najjednostavniji slucaj ili ja to krivo shvacam? 

 

 

011000110010.
16 godina
online
Re: Load balancer i high availability
michael kaže...
Old Iggy kaže...
michael kaže...

 

Moja zamisao je opisati kako na ured koji se sastoji od jako jednostavne mreze (router-swich-server) dodat load balancer sa sto manjim downtime te zatim pitanje HA rijesit poduplavanjem postojece mreze. Jedino sto jos nisam siguran je da li da koristim shared storage ili ne. Drugo, da li ej VLAN rijesenje ako zelim drzati servere na istom IP.

Već je filter naveo, ali u pravilu kreiraj nekakav smisleni scenarij jer se tu toga dosta brka - LB, HA, DNS, redundancija itd.

LB-ova ima svakakvih, ovisno o namjeni i implementaciji. HA je puno veće i šire od "poduplavanja mreže". Shared storage je ovisan o implementaciji svega iza LB. I tako dalje...

Mozes objasnit sto mislis sa smislen scenarij? Pokusao sam to napravit prvom recenicom u svom postu.

 

Shvacam da je puno vise od toga, ali zar nije to najjednostavniji slucaj ili ja to krivo shvacam? 

 

 

Moram priznati da nisam vidio ništa takvog, osim što se stano vrtiš oko mreže.

A mreža je tu samo mali dio priče.

Znači, distribucija opterećenja može biti svakakva (ovisno o zahtjevima), a takva su i rješenja. Ako kreneš prema nekom scenariju (tipa webshop, IPTV, nešto treće) stvari će se početi razvijati ovisno o načinu kreiranja opterećenja i kritičnim točkama koje LB moraju zadovoljiti plus specifičnosti vezanih za aplikativni dio priče.

14 godina
offline
Re: Load balancer i high availability

Ok, hvala na odgovori jer nisam dobio dojam da je od tolikog znacaja kakvu uslugu pruzas. Sad kad razmislim ima smisla da ako pruzas IPTV da ce biti potrebno posluzivanje relativno dug period. Moze neki prijedlog sa tvoje strane?

011000110010.
10 godina
offline
Load balancer i high availability

Pošto ne radim u telekomu, nemam previše iskustva s time. 

Ono s čime imam iskustva je da za routere držim više izvora napajanja glavno+PoE, time dobivam nekakvu redundanciju. Čak i ako router već sam po sebi ima dva napajanja. Tipa rb1100ahx4 od Mikrotik-a. Mikrotik također ima VRRP, za koji sam čuo, ali se nisam igrao s njim, jer jednostavno nema potrebe. Mrežna oprema je poprilično stabilna, pogotovo ako usporediš sa uptime-om od samog interneta. Ono što jako često koristim je redundancija preko neke vrste 4G backup-a. Jer ajmo realno, nema se para za držati dvije stalne veze, ili napravim stalna veza+ADSL backup i 4G kao last resort hail mary. Uglavnom na centralnim lokacijama.

Također sam na par lokacija napravio STP između switcheva, ali to isto tako just for the lolz, ne zbog neke potrebe. Također, spojio router na dva različita switcha. Ako jedan krepa, drugi je up.

 

Ono što se često koristi za load balacing je 2x WAN, odnosno recimo da imaš dva ADSL-a, i spojiš ih da zajedno rade i u teoriji ti daju duplu propusnost. Jedini trik je što ne možeš dobiti duplu propusnost na jednom računalu (možeš, ali trgaš stvari kao što je SSL), već radi preko više računala, tako da će računalo 1 koristiti WAN1, dok će računalo 2 koristiti WAN2, računalo 3 WAN1, računalo 4 WAN2, ..... A također, ako jedan krepa drugi i dalje radi. Jedino mala je šansa da će jedan ADSL raditi dok je drugi pao ako je uzrok bilo koji drugi od miš pojeo paricu.

 

Za storage se koristi SAN, obično preko optike, makar imaš i iSCSI, što je zapravo SCSI enkapsuliran u IP. Tako da možeš koristiti i jeftini hardware, ja se igrao sa FreeNAS-om, možeš ga konfigurirati kao iSCSI target. I radi na Win10.

SAN s druge strane vidio u akciji i to je stari moj... skupo. Ali i profesionalno. Svaki storage ima dva kontrolera, svaki kontroler svoju optiku do switcha, uglavnom full redundancija. Sustavi koji nisu zamišljeni za naš mentalitet (Lijep je dan pa je striček Murphy ošo na piknik daleko od grada... nema veze kaj backup nije prošo.. sam ti lupi update)

 

Što se tiče same redundancije servera tu imaš hrpu mogućnosti. Microsoftov AD radi ok, LDAP master-master također. Kod web servera i DB servera je jednostavno must za svaku ozbiljniju web stranicu, i baš kod toga ti je load balancing potreban, a ne neki failover ako jedan krepa.

Za ove jednostavne stvari... Zamisliš si neki scenarij di imaš dvije lokacije, VPN između njih i server na svakoj. recimo 10 korisnika na svakoj lokaciji. Pa onda na oba imaš DC role, DNS role i recimo file server sync preko DFS-a.

Moj PC  
0 0 hvala 0
13 godina
neaktivan
offline
Re: Load balancer i high availability

michael  -  ajde nam daj neki konkretan primjer gdje zelis postici HA. 

 

-  da li ti je bitan HA pristup nekom servisu/webu

-  da li ti je bitno imati HA mrezu

-  HA pristup netu

-  HA storage

-  HA virtualizacija, 

 - itd....

 

Skoro svaki od ovih sustava implicira svoj, specifican nacin kreiranja HA sustava.

 

 

 

 

http://www.winblogs.net
14 godina
offline
Re: Load balancer i high availability

U glavi imam neki scenarij kao na slici gdje bih htio postic HA servera koji pruža neku vrstu usluge, ali van mreze odnosno na internetu? 

011000110010.
16 godina
online
Re: Load balancer i high availability
michael kaže...

Ok, hvala na odgovori jer nisam dobio dojam da je od tolikog znacaja kakvu uslugu pruzas. Sad kad razmislim ima smisla da ako pruzas IPTV da ce biti potrebno posluzivanje relativno dug period. Moze neki prijedlog sa tvoje strane?

Gledajući oni shemu koju si zadnju stavio i par termina koji se brkaju, nisam siguran shvaćaš li čemu LB-i služe.

Dakle, HA nije glavna namjena LB-a, dapače HA se rješava na drugim razinama. LB ima osnovnu namjenu distribuiranje većeg opeterećenja na više razina (serveri / lokacije / ostalo) kako bi se povećao ukupan odziv servisa i smanjila latencija.

E sad, na koji način se LB rješava ovisi o potrebi (kako sam prije navodio). Nije isto jesi li webshop, payment gateway ili nešto treće.

Ja bi na tvom mjestu kao rješenje traženog zadatka išao u smjeru: LB definicije - zašto - primjeri potencijalnih potreba - konkretan problem.

Tek nakon toga bi išao u procjene SW ili HW varijanta, je li to NSX ili pak F5 / NetScaler i slično. ovo je jako kompleksna i ozbiljna tematika. Moraš li to raditi na teorijskoj ili praktičnoj razini?

14 godina
offline
Re: Load balancer i high availability
Old Iggy kaže...
michael kaže...

Ok, hvala na odgovori jer nisam dobio dojam da je od tolikog znacaja kakvu uslugu pruzas. Sad kad razmislim ima smisla da ako pruzas IPTV da ce biti potrebno posluzivanje relativno dug period. Moze neki prijedlog sa tvoje strane?

Gledajući oni shemu koju si zadnju stavio i par termina koji se brkaju, nisam siguran shvaćaš li čemu LB-i služe.

Dakle, HA nije glavna namjena LB-a, dapače HA se rješava na drugim razinama. LB ima osnovnu namjenu distribuiranje većeg opeterećenja na više razina (serveri / lokacije / ostalo) kako bi se povećao ukupan odziv servisa i smanjila latencija.

E sad, na koji način se LB rješava ovisi o potrebi (kako sam prije navodio). Nije isto jesi li webshop, payment gateway ili nešto treće.

Ja bi na tvom mjestu kao rješenje traženog zadatka išao u smjeru: LB definicije - zašto - primjeri potencijalnih potreba - konkretan problem.

Tek nakon toga bi išao u procjene SW ili HW varijanta, je li to NSX ili pak F5 / NetScaler i slično. ovo je jako kompleksna i ozbiljna tematika. Moraš li to raditi na teorijskoj ili praktičnoj razini?

 Mislim da shvacam cemu sluzi, pokusat cu objasnit na primjeru ako sam dobro shvatio. Ukoliko imamo 2 ili vise servera koji su isti odnosno kopije, LB nam moze posluzit za pravilnu raspodjelu zahtjeva. Ovsino o kopleksnosti ta raspodjela moze se vrsit na osnovi razlicitih kriterija. Jesam li shvatio dobro?

Takoder, LB moye a i ne mora bit dio HA?

 

U teoriji, glavni cilj rada je pokazat razumjevanje neke strane teme koju nismo duboko ili uopce obradivali na predavanjima. Rad ne mora biti ni zavrsen nego samo pokazati da podloga koju smo dobili kroz predavanja dovoljna da mozemo razumijeti nesto kao u mom slucaju HA i LB

011000110010.
16 godina
online
Re: Load balancer i high availability
michael kaže...

 Mislim da shvacam cemu sluzi, pokusat cu objasnit na primjeru ako sam dobro shvatio. Ukoliko imamo 2 ili vise servera koji su isti odnosno kopije, LB nam moze posluzit za pravilnu raspodjelu zahtjeva. Ovsino o kopleksnosti ta raspodjela moze se vrsit na osnovi razlicitih kriterija. Jesam li shvatio dobro?

Takoder, LB moye a i ne mora bit dio HA?

 

U teoriji, glavni cilj rada je pokazat razumjevanje neke strane teme koju nismo duboko ili uopce obradivali na predavanjima. Rad ne mora biti ni zavrsen nego samo pokazati da podloga koju smo dobili kroz predavanja dovoljna da mozemo razumijeti nesto kao u mom slucaju HA i LB

Otprilike tako. S tim da HA nije direktno povezan s LB no u praksi tamo gdje se instaliraju LB-i okolina je u pravilu HA (kao što su i LB-i u HA setupu). LB obično ide u napredne i jako opterećene okoline koje su u startu dizajnirane i izvedene u HA, ali da je HA obavezna za LB nije (iako ne bi imalo previše smisla danas).

Ima dosta dokumentacije na webu (svaki veći proizvođač LB-a ima neku osnovnu dokumentaciju) s primjerima iz prakse, malo prouči to.

1
Nova poruka
E-mail:
Lozinka:
 
vrh stranice