Switchen tussen meerdere webservers

**02-10-2003, 22:07**

Hey,

Is er een script dat ervoor zorgt dat de bezoekers van een site switchen tussen meerdere webservers zodat deze servers minder worden belast? En is dit ook mogelijk met een forum van phpbb (iets van synchronisatie software lijkt me dan wel een must namelijk)

DEChengst · **02-10-2003, 22:11**

Round Robin regelen binnen de DNS. Dit zorgt ervoor dat de DNS om en om de IP adressen van de verschillende servers uitgeeft.

**02-10-2003, 22:13**

en hoe doe ik dat dan met mijn forum?

dystopia · **03-10-2003, 03:20**

Zoals desecrator zegt: Load Balancer of RRDNS;

En dan:
Database centraliseren;
Webservers decentraliseren.

Meerdere malen het forum/de software installeren en dezelfde database laten gebruiken. Daardoor zijn ze altijd in sync. Meerdere webservers halen dan hun info van een database. Houdt rekening met wat extra dataverkeer. Eventueel, mocht het nodig zijn, kun je de database ook decentraliseren dmv. deze te replicaten. Op deze manier hoef je alleen maar standaard dingen te houden zoals de forumsoftware up2date te houden, zorgen dat de round robin dns/load balancer goed geconfigureerd is, en zorgen dat je database up blijft, want daar is er maar 1 van, dat is de relatief zwakke schakel.

**03-10-2003, 08:48**

Je kunt dan beter doen zoals hier..

Een server die de pagina's serveert,
en de andere server is de database server en die de images doet..

**03-10-2003, 09:04**

en wat voor een uploads hebben we het hier dan over?

Gimme more beer · **03-10-2003, 09:19**

Citaat:

McLaren schreef op 03-10-2003 @ 09:48:
Je kunt dan beter doen zoals hier..

Een server die de pagina's serveert,
en de andere server is de database server en die de images doet..

Weet ik niet, een programma als RRDNS regelt het ook goed, zeker als het om meerdere servers gaat.
Al heb ik ooit aan een website gewerkt die in totaal op meer dan 20 servers draaide, wat werkte als een soort RAID systeem, waarbij 2 servers altijd gelijk waren aan elkaar en de data op alle servers evenredig verdeeld werd. Dat werkte helemaal vlekkeloos en het maakte de ervaring op de website heel erg prettig. Maar dat zal in dit geval wel niet van toepassing zijn

**03-10-2003, 09:23**

Een server die puur alleen een database is, is wel het makkelijkste..

Dan hoef je niet moeilijk te doen met switchen, load balancing, etcetc

**03-10-2003, 09:23**

Ik zal mijn probleem even duidelijker uitleggen;

Het gaat hierbij alleen om het forum wat veel dataverkeer veroorzaakt. Wat we willen is dat wanneer server 1 eruit ligt de bezoekers nog op server 2-5 kunnen komen. We hebben nu alles op 1 server met een 10mb upload, daarnaast willen we 5 servers er bij met ieder een 2mb upload.

De bedoeling is uiteindelijk dat:
-Server 1(10mb) minder belast gaat worden
-Bij een crash server 2 t/m 5 het overnemen
-Bij spit's uur niet alle bezoekers op een server komen

**03-10-2003, 09:25**

Dan zou ik van 1 server een database server maken,
en verder zorgen dat je een load balancer hebt..

**03-10-2003, 09:26**

worden de servers dan niet onnodig belast?

**03-10-2003, 09:39**

Citaat:

ned441 schreef op 03-10-2003 @ 10:26:
worden de servers dan niet onnodig belast?

Hoe bedoel je?
En waarom denk je dat?

**03-10-2003, 09:58**

doordat je verkeer tussen de servers zalf laat genereren?!?

**03-10-2003, 10:11**

Citaat:

ned441 schreef op 03-10-2003 @ 10:58:
doordat je verkeer tussen de servers zalf laat genereren?!?

Alleen tussen een webserver en een database server, dat gebeurt hier ook..
Op tweakers.net ook..

Het is echt niet zo dat iedere server een eigen database heeft, dat werkt niet..
En het verkeer is vrijwel nihil aangezien er zeker een 100mbit tussen ligt..

Jon · **03-10-2003, 10:14**

Waarom hebben die andere servers maar een 2mbit upload? Staan ze niet bij elkaar?

**03-10-2003, 10:52**

nee

**03-10-2003, 11:10**

Citaat:

ned441 schreef op 03-10-2003 @ 11:52:
nee

hmm, dan is het idd niet handig om een centrale db server te nemen..
Op deze manier kun je zowiezo geen forum draaien op verschillende servers..

**03-10-2003, 11:11**

zijn er geen andere mogelijkheden om de server minder te laten belasten?

Enlightenment · **03-10-2003, 11:13**

Je zou je forum kunnen splitsen, maar ik zie geen goede mogelijkheden hier. Je hebt een serverpark nodig, en dat betekent dat je servers bij elkaar moeten staan (dwz op LAN).

**03-10-2003, 11:15**

Serevrs bij elkaar Zetten lijkt mij idd ook de beste oplossing, en zo ongeveer de enigste..
je kunt niet zorgen dat op ieder moment de databases hetzelfde zijn..

Plaatsen op een andere server zetten kan wel, maar denk niet dat dat veel gelpt..

Chimera · **03-10-2003, 19:33**

Citaat:

Gimme more beer schreef op 03-10-2003 @ 10:19:
Weet ik niet, een programma als RRDNS regelt het ook goed, zeker als het om meerdere servers gaat.

Dat is het hele punt achter round robin ofniet?

RR is geen programma, het is een systeem, maar dit terzijde.

Een load balancer werkt beter dan RRDNS, omdat niet alle servers exact even zwaar belast worden. Een load balancer houdt dus rekening met de load van een server (vandaar de naam).

Chimera · **03-10-2003, 19:35**

Citaat:

ned441 schreef op 03-10-2003 @ 10:23:
We hebben nu alles op 1 server met een 10mb upload, daarnaast willen we 5 servers er bij met ieder een 2mb upload.

Wat is het probleem nu dan, performance of dataverkeer? Ik kan me nl. niet voorstellen dat een beetje fatsoenlijke server die 10Mb niet compleet voltrekt.

**03-10-2003, 19:37**

het is een probleem wanneer de server down gaat... en de 10 mbit gebruiken we ook om te posten op servers dus met tijden is de site traag..

Chimera · **03-10-2003, 19:58**

Dat heeft dus weinig met belasting te maken, maar een fail-over setup. Ik neem aan dat de meeste loadbalancers dat ook wel kunnen, maar ik loadbalancers werken sowieso niet bij het uitvallen van verbindingen.

Jon · **04-10-2003, 09:22**

Citaat:

ned441 schreef op 03-10-2003 @ 20:37:
het is een probleem wanneer de server down gaat... en de 10 mbit gebruiken we ook om te posten op servers dus met tijden is de site traag..

Ten eerste hoort een server niet zomaar down te gaan. Dus voordat je gaat denken aan een failover constructie zou ik eerst eens kijken naar de stabiliteit van die bak. Ten tweede moet je het met een webserver wel heel bont maken wil je aan 10mbit niet genoeg hebben. Ik kan Scholieren makkelijk op 10mbit zetten, en dan nog zit ie tijdens de pieken op max. 30-40% (1.5mbit continu). Misschien een idee down/uploads te cappen?

DEChengst · **04-10-2003, 09:59**

Citaat:

McLaren schreef op 03-10-2003 @ 12:15:
je kunt niet zorgen dat op ieder moment de databases

Je kan zorgen dat je op een database de wijzigingen doet en deze dan met Sybase Replication Server dan naar de andere machines synchroniseren. Of je bouwt een stretched OpenVMS cluster met Oracle RAC. Het kan dus wel, je betaald je alleen blauw

Chimera · **04-10-2003, 10:32**

MySQL heeft toch ook replication ingebouwd? Meen ooit iets dergelijks in de docs gelezen te hebben.

Gimme more beer · **04-10-2003, 15:33**

Citaat:

Jon schreef op 04-10-2003 @ 10:22:
Ten eerste hoort een server niet zomaar down te gaan. Dus voordat je gaat denken aan een failover constructie zou ik eerst eens kijken naar de stabiliteit van die bak. Ten tweede moet je het met een webserver wel heel bont maken wil je aan 10mbit niet genoeg hebben. Ik kan Scholieren makkelijk op 10mbit zetten, en dan nog zit ie tijdens de pieken op max. 30-40% (1.5mbit continu). Misschien een idee down/uploads te cappen?

Als je een echte download site hebt, is 10 Mbit soms zelfs aan de krappe kant hoor...
De website van een kennis van me draait op 6*10 Mbit downloadservers en een (ik geloof) 4 Mbit website server, deze website krijgt zo'n 95.000 bezoekers per dag en er wordt erg veel gedownload, files van tussen de 2 KB en de 1200 MB zeg maar... Je wil toch wel een beetje download snelheid houden en met een 10 Mbit verbinding zit je ook maar aan de 3,5 TB per maand (toch?), ik kan genoeg redenen bedenken waarom een 10 Mbit verbinding volledig belast wordt.

Jon · **04-10-2003, 23:21**

Citaat:

Gimme more beer schreef op 04-10-2003 @ 16:33:
Je wil toch wel een beetje download snelheid houden en met een 10 Mbit verbinding zit je ook maar aan de 3,5 TB per maand (toch?), ik kan genoeg redenen bedenken waarom een 10 Mbit verbinding volledig belast wordt.

Maar dan heb je het even over een hoeveelheid verkeer zeg. Als je dat in Nederland moet laten hosten praat je al gauw over minstens 2000 euro per maand, alleen al aan traffic. Volgens mij was dat hier niet het geval. Als ik het goed begrijp gaat het om een server met een forum waar af en toe wat zware downloads op plaatsvinden wat de boel vertraagt. Lijkt mij gewoon een kwestie van die downloads cappen.

Gimme more beer · **05-10-2003, 21:03**

Citaat:

Jon schreef op 05-10-2003 @ 00:21:
Maar dan heb je het even over een hoeveelheid verkeer zeg. Als je dat in Nederland moet laten hosten praat je al gauw over minstens 2000 euro per maand, alleen al aan traffic. Volgens mij was dat hier niet het geval. Als ik het goed begrijp gaat het om een server met een forum waar af en toe wat zware downloads op plaatsvinden wat de boel vertraagt. Lijkt mij gewoon een kwestie van die downloads cappen.

Je hebt het in dit geval meer over... Zeg maar... 1100-1300 dollar per maand all-in (unmanaged servers, uiteraard). Maar jah, dat moet je ervoor over hebben.

Met downloads cappen ga je de groei van je site nog niet tegen en het uitsmeren van downloads (wat je met caps eigenlijk doet) is niet iets wat je kunt blijven doen. Op een gegeven moment gaat je steady download (zonder pieken, want die smeer je uit) constant omhoog en als het dan z'n plafond bereikt is 10 Mbit zo vol. Als het alleen gaat om pieken is het een kwestie van cappen, maar bij 10 Mbit gaat het niet altijd puur en alleen om pieken. Dan kan een kleine piek je site al drukken.

Cappen zal inderdaad even werken, maar als de site groeit zullen die caps ook niet meer werken (of je moet gaan drukken naar 5 KB/s ofzo, maar dan snap je het idee geloof ik niet helemaal).

Die kennis van me heeft de downloadservers zo ingesteld dat je maar 1 file tegelijk kunt downloaden en heeft wel een cap van 75 KB/s (al draaien de servers gewoonlijk 20 KB/s), maar caps maken eigenlijk niet uit, aangezien de cap gewoon op een totaal van 10 Mbit zit wat eerlijk verdeeld wordt... Ze betaalt verder niet voor de hoeveelheid die gedownload wordt, alleen voor de verbindingen.

**06-10-2003, 08:42**

Citaat:

Desecrator schreef op 04-10-2003 @ 10:59:
Je kan zorgen dat je op een database de wijzigingen doet en deze dan met Sybase Replication Server dan naar de andere machines synchroniseren. Of je bouwt een stretched OpenVMS cluster met Oracle RAC. Het kan dus wel, je betaald je alleen blauw

Ja, en ghowe wil je dat doen als de serevrs niet bij elkaar staan, waarom eht dus ging..

Alsze bij elkaar staan kan eht idd wel..

Orion · **06-10-2003, 15:25**

Citaat:

McLaren schreef op 06-10-2003 @ 09:42:
Ja, en ghowe wil je dat doen als de serevrs niet bij elkaar staan, waarom eht dus ging..

Alsze bij elkaar staan kan eht idd wel..

kwart voor tien 's ochtends en nu al dronken

Enlightenment · **06-10-2003, 15:50**

Citaat:

Orion schreef op 06-10-2003 @ 16:25:
kwart voor tien 's ochtends en nu al dronken

Of nog dronken.

DEChengst · **06-10-2003, 17:56**

Citaat:

McLaren schreef op 06-10-2003 @ 09:42:
Ja, en ghowe wil je dat doen als de serevrs niet bij elkaar staan, waarom eht dus ging..

Alsze bij elkaar staan kan eht idd wel..

Sybase Replication Server werkt over het netwerk. Op mijn werk gebruiken we het ook om de operationele database te synchroniseren naar ons tweede rekencentrum.

OpenVMS stretched clustering heet juist stretched omdat dit ook over verschillende locaties werkt. Met OpenVMS kan je in principe clusters bouwen met machines die duizenden kilometers uit elkaar staan. In feite geldt: waar je netwerk is heb je je cluster.

Stretched OpenVMS clusters hebben zich bewezen toen de twee torens van het WTC in elkaar stortten. Doordat verschillende banken cluster nodes op andere locaties hadden staan konden ze zonder enig probleem door draaien.

Enlightenment · **06-10-2003, 19:13**

Dat kan altijd lijkt me, middels een VPN.

Alleen is de vraag of je dat wilt. Sommige applicaties kunnen dat wel, zoals distributed RC-64 bruteforce cracking. Denk aan het d.net RC-64 project. Maar voor het renderen van dingen of andere concrete nuttige applicaties lijkt me zoiets niet te doen, aangezien je veel en veel meer bandbreedte nodig hebt. Of je moet echt peperdure verbindingen hebben.

DEChengst · **06-10-2003, 19:29**

Citaat:

Enlightenment schreef op 06-10-2003 @ 20:13:
Dat kan altijd lijkt me, middels een VPN.

Tussen een stretched OpenVMS cluster en een hobby oplossing met Linux en VPN zit toch echt een wereld van verschil.

Citaat:

Maar voor het renderen van dingen of andere concrete nuttige applicaties lijkt me zoiets niet te doen, aangezien je veel en veel meer bandbreedte nodig hebt. Of je moet echt peperdure verbindingen hebben.

Voor Sybase Replication Server heb je uberhaupt al geen dikke pijp nodig. Op mijn werk gaat het samen met het andere netwerk verkeer over een 2 Mbit verbinding.

Die peperdure netwerk verbinding die je nodig hebt om een snel stretched OpenVMS cluster te bouwen lijkt me ook niet echt een issue. Dit soort oplossingen wordt namelijk gebruikt door bijv. banken waarbij downtime duizenden euro's per seconde kost.

Enlightenment · **06-10-2003, 19:50**

Citaat:

Desecrator schreef op 06-10-2003 @ 20:29:
Tussen een stretched OpenVMS cluster en een hobby oplossing met Linux en VPN zit toch echt een wereld van verschil.

Jij zegt het, maar het principe is hetzelfde, toch?

Citaat:

Die peperdure netwerk verbinding die je nodig hebt om een snel stretched OpenVMS cluster te bouwen lijkt me ook niet echt een issue. Dit soort oplossingen wordt namelijk gebruikt door bijv. banken waarbij downtime duizenden euro's per seconde kost.

Kan ik begrijpen. Maar dat is meer een soort replication om op verschillende fysieke lokaties mirrors te houden voor de bankgegevens oid. Zoveel bandbreedte vereist dat niet. Moeilijker wordt het als je een film wilt renderen, door gebruik te maken van een distributed cluster. Waar normaal GigaBytes per seconde intern vervoert worden, moet zoiets nu door een (nog steeds duur) 10Mbps verbindinkje. Dat is niet te doen.

DEChengst · **06-10-2003, 20:21**

Citaat:

Enlightenment schreef op 06-10-2003 @ 20:50:
Jij zegt het, maar het principe is hetzelfde, toch?

Ik betwijfel het. Bij clustering komt toch echt wel iets meer kijken dan alleen twee machines die met elkaar praten. Hoe handelt Linux bijvoorbeeld het Distributed Lock Managment af. Of hoe wordt er bepaalt welke machines deel uit maken van het cluster ?

En dan nog vraag ik me af of clustering via VPN gaat werken. OpenVMS wordt niet voor niets als de heilige graal van clustering beschouwd.

OpenVMS clustering is dus niet een beetje aan load balancing doen door een job aan een node te geven en een ander job aan de volgende node. Of een node hebben die uit zijn neus staat te vreten totdat de andere node plat gaat.

Bij een OpenVMS cluster kunnen alle applicaties echt clusterwide draaien. OpenVMS clustering is dus echte high availability. Bij een strechted OpenVMS cluster met correct geschreven applicaties kan El-Al 1 van je rekencentra gebruiken als landingsbaan zonder dat er ook maar 1 enkele transactie verloren gaat. De gebruikers merken niet meer dan een kort moment van traagheid omdat hun processen naar een ander node moeten verhuizen.

Citaat:

Kan ik begrijpen. Maar dat is meer een soort replication om op verschillende fysieke lokaties mirrors te houden voor de bankgegevens oid. Zoveel bandbreedte vereist dat niet.

Vergis je daar niet in. Als voor jouw bedrijf downtime inderdaad duizenden euro's per seconde kost dan wil je in principe alle data realtime naar al je locaties synchroniseren. Dit komt er op neer dat je sowieso al de bandbreedte van je storagesystem nodig hebt om dit te doen. Voor de nieuwe SAN oplossingen betekent dit dat je minimaal al 4 Gbit/sec nodig hebt voor alleen je storage synchronisatie. Om je cluster niet af te remmen wil je dan ook nog eens 1 Gbit/sec voor je cluster interconnect.

Citaat:

Moeilijker wordt het als je een film wilt renderen, door gebruik te maken van een distributed cluster. Waar normaal GigaBytes per seconde intern vervoert worden, moet zoiets nu door een (nog steeds duur) 10Mbps verbindinkje. Dat is niet te doen.

Het is uberhaupt niet boeiend om een film via een stretched cluster te renderen. Bij het renderen van een film gaat het hoofdzakelijk om rekenen vermogen en niet zo zeer om high availability.

**07-10-2003, 09:03**

Citaat:

Orion schreef op 06-10-2003 @ 16:25:
kwart voor tien 's ochtends en nu al dronken

nee, nog in coma, moet nog wakker worden...

Citaat:

Desecrator schreef op 06-10-2003 @ 18:56:
<verhaal>

Maar is dat te doen op een forum waar gegevens om de paar seconde veranderen (alhoewel dat bij een bank ook zo is), en met een 2mbit lijn?

(Ik ga trouwens maar eens zoeken wat het inhoud, klinkt interesant)

DEChengst · **07-10-2003, 17:24**

Citaat:

McLaren schreef op 07-10-2003 @ 10:03:
Maar is dat te doen op een forum waar gegevens om de paar seconde veranderen (alhoewel dat bij een bank ook zo is), en met een 2mbit lijn?

Ik ga ervan uit dat het met Sybase Replication Server zeker gaat lukken. Sybase Rep Server doet namelijk niet veel meer dan SQL statements opsparen in de transactie log en deze vanaf de secundaire server overhalen. Aangezien de meeste transacties vrij klein zullen zijn kost dit niet zoveel bandbreedte. Bij ons is een 2 Mbit lijn ruim voldoende om de transacties van een zwaar belaste Alphaserver ES40 te repliceren. Een forum dat op PC hardware draait moet dan zeker gaan lukken.

**08-10-2003, 08:38**

Citaat:

Desecrator schreef op 07-10-2003 @ 18:24:
Bij ons is een 2 Mbit lijn ruim voldoende om de transacties van een zwaar belaste Alphaserver ES40 te repliceren.

Als ik zo vrij mag zijn om het te vragen,
waarvoor gebruik jij het (wat voor script(s) draaien er op die Alphaserver?)

DEChengst · **08-10-2003, 16:50**

Citaat:

McLaren schreef op 08-10-2003 @ 09:38:
waarvoor gebruik jij het (wat voor script(s) draaien er op die Alphaserver?)

Op die ES40 draait onze kern applicatie. Overdag zijn tot ongeveer 700 mensen tegelijk in gelogt. Ongeveer 150 zullen hiervan werkelijk wat zitten te doen. Sybase Replication Server wordt gebruikt om een uitwijk mogelijkheid te hebben op een andere locatie. Naast de standaard onderhouds en backup dingen draait er verder niks aan scripts.

**08-10-2003, 17:50**

Citaat:

Desecrator schreef op 08-10-2003 @ 17:50:
Op die ES40 draait onze kern applicatie. Overdag zijn tot ongeveer 700 mensen tegelijk in gelogt. Ongeveer 150 zullen hiervan werkelijk wat zitten te doen. Sybase Replication Server wordt gebruikt om een uitwijk mogelijkheid te hebben op een andere locatie. Naast de standaard onderhouds en backup dingen draait er verder niks aan scripts.

En nou wil ik spam,
wat is het adres?

DEChengst · **08-10-2003, 18:33**

Citaat:

McLaren schreef op 08-10-2003 @ 18:50:
wat is het adres?

Onze systemen hangen niet aan het internet

**08-10-2003, 18:37**

Citaat:

Desecrator schreef op 08-10-2003 @ 19:33:
Onze systemen hangen niet aan het internet

ah :/

02-10-2003, 22:07
Verwijderd	Hey, Is er een script dat ervoor zorgt dat de bezoekers van een site switchen tussen meerdere webservers zodat deze servers minder worden belast? En is dit ook mogelijk met een forum van phpbb (iets van synchronisatie software lijkt me dan wel een must namelijk)

02-10-2003, 22:11
DEChengst	Round Robin regelen binnen de DNS. Dit zorgt ervoor dat de DNS om en om de IP adressen van de verschillende servers uitgeeft. __________________ PDP, VAX en Alpha fanaat ; HP-Compaq is de Satan! ; Bidt u allen dagelijks richting Maynard! ; Ernie==lief ; Het leven begint bij 150 km/u ; aka Desje

02-10-2003, 22:13
Verwijderd	en hoe doe ik dat dan met mijn forum?

03-10-2003, 08:48
Verwijderd	Je kunt dan beter doen zoals hier.. Een server die de pagina's serveert, en de andere server is de database server en die de images doet..

03-10-2003, 09:04
Verwijderd	en wat voor een uploads hebben we het hier dan over?

03-10-2003, 09:23
Verwijderd	Een server die puur alleen een database is, is wel het makkelijkste.. Dan hoef je niet moeilijk te doen met switchen, load balancing, etcetc

03-10-2003, 09:25
Verwijderd	Dan zou ik van 1 server een database server maken, en verder zorgen dat je een load balancer hebt..

03-10-2003, 09:26
Verwijderd	worden de servers dan niet onnodig belast?

03-10-2003, 09:58
Verwijderd	doordat je verkeer tussen de servers zalf laat genereren?!?

03-10-2003, 10:14
Jon	Waarom hebben die andere servers maar een 2mbit upload? Staan ze niet bij elkaar? __________________ Wer nicht fragt bleibt dumm.

Advertentie

03-10-2003, 11:11
Verwijderd	zijn er geen andere mogelijkheden om de server minder te laten belasten?

03-10-2003, 11:13
Enlightenment	Je zou je forum kunnen splitsen, maar ik zie geen goede mogelijkheden hier. Je hebt een serverpark nodig, en dat betekent dat je servers bij elkaar moeten staan (dwz op LAN). __________________ Per undas adversas (tegen de stroom in)

03-10-2003, 11:15
Verwijderd	Serevrs bij elkaar Zetten lijkt mij idd ook de beste oplossing, en zo ongeveer de enigste.. je kunt niet zorgen dat op ieder moment de databases hetzelfde zijn.. Plaatsen op een andere server zetten kan wel, maar denk niet dat dat veel gelpt..

03-10-2003, 19:37
Verwijderd	het is een probleem wanneer de server down gaat... en de 10 mbit gebruiken we ook om te posten op servers dus met tijden is de site traag..

03-10-2003, 19:58
Chimera	Dat heeft dus weinig met belasting te maken, maar een fail-over setup. Ik neem aan dat de meeste loadbalancers dat ook wel kunnen, maar ik loadbalancers werken sowieso niet bij het uitvallen van verbindingen.

04-10-2003, 10:32
Chimera	MySQL heeft toch ook replication ingebouwd? Meen ooit iets dergelijks in de docs gelezen te hebben.