10G switch oplossing voor netwerkproblemen?

[Amito]

Op ons netwerk hebben we laatste tijd lange wachttijden (±1 uur per dag per gebruiker). We zijn een relatief klein bedrijf met ca. 30 werknemers. Volgens de netwerkbeheerder (extern bedrijf) is het probleem niet de snelheid van server of de harde schijven, maar de snelheid waarmee de server de data op het netwerk kan krijgen. Er is namelijk maar een 1Gbit netwerkkaart die alle traffic met de server afhandelt.
Aangezien we gebruik maken van een software dat veel (15 Gb up en 10 Gb down per gebruiker per dag) data naar het netwerk toe genereert zou een 10GbE switch (en een 10G netwerkkaart voor de server) een oplossing voor ons kunnen zijn. Hiermee zou de server met een hogere snelheid de data van het netwerk af en naar het netwerk toe kunnen schijven terwijl de werkstations met een 1Gbit verbinding de data op kan vragen. Op zich een redelijk helder verhaal, echter bij het rondkijken naar 10GbE switches kom ik erachter dat het niet erg gangbaar is voor het gebruik op kantoor maar meer iets is voor datacenters. Daardoor is de investering ook behoorlijk (±8k euro). Hoewel we dit wel kunnen terugverdienen gezien de lange wachttijden, vraag ik me af hoe andere bedrijven dit soort problemen oplossen. Is een 10GbE switch niet een beetje overkill voor ons doeleinde? Is er een efficiëntere manier om de data van de server op het netwerk te krijgen?

Aanvulling:
Bedankt voor alle reacties. Hiermee heb ik een beter beeld gekregen van welke opties ik heb.

De data dat erover heen gaat zijn zowel tekstbestanden van een paar kB (of vergelijkbaar) tot grote modellen (.dat =! videobestanden) van honderden MB's. Deze wordt gegenereerd door een 3D tekenpakket (Cadmatic). De gemiddelde data overdracht heb ik gemeten met NetMeter. Echter kan je hiermee alleen de totaal aan up/download zien en niet hoeveel bestanden er gemiddeld per dag uitgewisseld wordt. Daardoor kan ik dus niet zeggen wat de verhouding ertussen is.

Als de bewering van steven.leenman klopt dan betwijfel ik of de HDD het inderdaad aankan. De schijf waar deze data naartoe geschreven wordt is een 1 TB Barracuda met een rpm van 7200 en cache van 32 MB. Het is wel in RAID opgesteld maar in RAID 1 om als back-up te gebruiken. Alles blijft "gewoon" werken als een van de schijven wegvalt, zo kunnen we de ene harde schijf altijd verwisselen om mee te nemen. Maar er is dus geen snelheidswinst door de krachten te bundelen van de beide schijven.
De OS (CentOS 5.4) draait op twee WD VelociRaptor (10.000 rpm) schijven in RAID 1 opstelling.
Verder gebruiken we voor de mailserver (Kerio) twee ook de bovenstaande VelociRaptor schijven maar dan in RAID 0 opstelling. Totaal zitten er dus 6 schijven in de server.

De server dient tevens als host voor een virtuele Windows server welke gemiddeld per dag 0,6 GiB (download) en 1,5 GiB (upload) van en naar de server.

De MoBo van de server is een Asus Z8NA-D6 met 2 x Gbit LAN van Intel(waarvan er dus maar 1 wordt gebruikt). Hierop zit verder een Xeon E5520 processor.

De gebruikte Switch is een Cisco SLM 2048 met 48 x 1Gbit poorten en 2 SFP uplink interfaces. Het is geen Managed Switch, maar je kan wel via de webinterface zien hoeveel data er over een bepaald poort overgedragen wordt. Omdat de Intel nics op de Mobo niet zo goed schijnen te werken met deze switch gebruiken we ook een ASUS GigaX 1124 switch waarop de server is aangesloten en die weer door gepached naar de Cisco switch.

Om te kunnen beoordelen of de nic inderdaad de bottleneck is heb ik de netwerkbeheerder gevraagd om te monitoren of deze echt aan zijn piekbelasting komt. En om de snelheid van de schijf te achterhalen heb ik hem gevraagd om de schrijf- en leessnelheid alsmede de latency van de schijf te meten buiten kantooruren. Zodra ik de resultaten heb publiceer ik dat hier.

Aanvulling 24-09
Ik merk dat er flinke zorgen voor het back-up is, maar dat zit wel redelijk goed inelkaar. Daarvoor wordt een back-up systeem van Deonet gebruikt. We hebben vier van de bovenstaande Barracuda schijven waarvan er een altijd in blijft zitten en de andere drie dagelijks, wekelijks en maandelijks verwisseld worden. Wat ik bij de vorige aanvulling nog achterwege had gelaten is dat er nog een 2TB schijf in de server zit waarop met behulp van "versiebeheer software" de laatste 3 versies van een bestand op de prudiectieschijf bijgehouden wordt. De schijven worden altijd aan het eind van de werkdag vervangen waardoor het rebuilden buiten kantooruren gebeurd (en met laagste prioriteit). De schijven worden vervolgens meegenomen naar huis waardoor je ook bij brand e.d. je data offsite hebt. Wel is het zo dat deze manier van back-up voor ons onmogelijk maakt om een RAID opstelling te gebruiken waarmee je echt prestatie winst hebt. En is het serieus overwegen waard om hiervan af te stappen.

Met de netwerkbeheerder hebben we een support contract lopen waarin o.a. is opgenomen dat bij een crash ze binnen 4 uur me een replica van onze server hier voor de deur staan. Ze hebben dus alle onderdelen op voorraad (aanname), omdat ze ook andere bedrijven voorzien van dergelijke servers.

[ Voor 66% gewijzigd door Amito op 24-09-2010 09:37 . Reden: Aanvulling 2 ]

[feelthepower]

Ik geloof dat het trunking genoemd word, het combineren van meerdere netwerkpoorten? Bijvoorbeeld server combineert de snelheid van meerdere netwerkpoorten en krijgt zo bijvoorbeeld 2 gbit of zelfs nog meer?


Edit:
Wikipedia:
In computer networking, trunking is a slang term referring to the use of multiple network cables or ports in parallel to increase the link speed beyond the limits of any one single cable or port. This is called link aggregation. These aggregated links may be used to interconnect switches.


Jij zoekt waarschijnlijk dus zoiets:
Link aggregation

[ Voor 51% gewijzigd door feelthepower op 21-09-2010 14:43 ]

[Kippenijzer]

Indien je een managed switch hebt kun je *en* in de gaten houden of er idd een top-belasting op de switch zit qua verkeer (en je dus daar moet zoeken voor je probleem), *en* kun je als tussenstap de servers met 2 of 4 gigabit netwerkkaarten aan de ene switch hangen met een load-balancing connectie (trunk, link-aggregation, verschillende merken geven het een verschillende naam...), zo zou je mogelijk een deel op korte termijn tegen een laag budget kunnen verhelpen.

[Verwijderd]

Dat zou inderdaad een oplossing kunnen zijn. 1 van de beperkingen hiervan is dat hij per sessie niet hoger dan 1 Gbit komt, maar als er meerdere gebruikers tegelijk data opvragen/wegschrijven heb je hier al geen last van. Dit is ook relatief goedkoop uit te testen.

[lier]

Volgens mij zou een switch met 10Gb expansion slot al voldoende kunnen zijn.

Beschikt de huidige switch over expansion sloten ?
Trunk/aggregation een optie (met behulp van een extra nic) ?

offtopic:
sneller typen !

[ Voor 9% gewijzigd door lier op 21-09-2010 14:44 ]

[lordgandalf]

Geef ens wat meer informatie.
Wat voor data gaat er over de lijn ??
Zijn dat text bestanden of avi bestanden ?
En is die 15 GB in een keer of over het verloop van de dag.

[TheGhostInc]

Een snelle rekensom levert ook maar net van zulke lange wachttijden op als jij ziet:
15GB * 30 / 1Gb/Sec = 75minuten
(Het is Full Duplex, dus de max telt)

Je kunt allemaal spannende dingen doen als trunking en link aggregation, maar je kunt ook gewoon een 2de netwerkkaart erin zetten met een eigen ip en de cliënts een beetje verdelen over de 2 subnetten.

Als je nu weet dat er een paar flinke verbruikers zijn die meer last hebben van vertraging dan de gemiddelde gebruiker kun je er ook 2 of 3 dual port Gbit kaarten inzetten (€80-120) en dan die mensen hun eigen link geven.

Ik ben trouwens bang dat je totaal niet blij wordt van die 10Gbit spullen, omdat dan binnen no-time je server ook aan z'n grenzen zit. Dan trek je misschien 3 of 4 Gbit en daar betaal je dan veels te veel voor.

[Bl@ckbird]

Amito schreef op dinsdag 21 september 2010 @ 14:37:
Op zich een redelijk helder verhaal, echter bij het rondkijken naar 10GbE switches kom ik erachter dat het niet erg gangbaar is voor het gebruik op kantoor maar meer iets is voor datacenters. Daardoor is de investering ook behoorlijk (±8k euro).

Dat valt mee...
Je kan een 2960S switch nemen en vervolgens de 2 uplink poorten gebruiken om servers aan te sluiten. Switches met 10GE access poorten zijn idd. een stuk prijziger.

Je kan meerdere gigabit links bundelen met etherchannel / lacp, maar dit loadbalancing over meerdere gigabit links. Zoals Collie al aangaf. Ligt er dus aan hoe het netwerkverkeer er uit ziet.

[Bloodshot]

Ik weet niet of het onderzocht/mogelijk is, maar je kunt natuurlijk ook kijken of je het verkeer terug kunt dringen...

[Archie_T]

Amito schreef op dinsdag 21 september 2010 @ 14:37:
Op ons netwerk hebben we laatste tijd lange wachttijden (±1 uur per dag per gebruiker). We zijn een relatief klein bedrijf met ca. 30 werknemers. Volgens de netwerkbeheerder (extern bedrijf) is het probleem niet de snelheid van server of de harde schijven, maar de snelheid waarmee de server de data op het netwerk kan krijgen. Er is namelijk maar een 1G netwerkkaart die alle traffic met de server afhandelt.
Aangezien we gebruik maken van een software dat veel (15 Gb up en 10 Gb down per gebruiker per dag) data naar het netwerk toe genereert zou een 10GbE switch (en een 10G netwerkkaart voor de server) een oplossing voor ons kunnen zijn. Hiermee zou de server met een hogere snelheid de data van het netwerk af en naar het netwerk toe kunnen schijven terwijl de werkstations met een 1G verbinding de data op kan vragen. Op zich een redelijk helder verhaal, echter bij het rondkijken naar 10GbE switches kom ik erachter dat het niet erg gangbaar is voor het gebruik op kantoor maar meer iets is voor datacenters. Daardoor is de investering ook behoorlijk (±8k euro). Hoewel we dit wel kunnen terugverdienen gezien de lange wachttijden, vraag ik me af hoe andere bedrijven dit soort problemen oplossen. Is een 10GbE switch niet een beetje overkill voor ons doeleinde? Is er een efficiëntere manier om de data van de server op het netwerk te krijgen?

En heb je ook testresultaten? Iemand kan wel schreeuwen dat het zo is, maar ik wil dat soort dingen toch wel even zien, ik zou niet even blind een switch aanschaffen als ik jou was.

[Verwijderd]

hoe snel is de storage op die server feitelijk...
als een "sata"-bus slechts 3gigabit is... (laat staan dat een 7200rpm hdd geen 3gigabit haalt)
en ik vermoed dat het geen SSD-raid is?

je kunt eventueel eens kijken of je geen "versiebeheer" software kunt gebruiken waarbij alleen het gewijzigde gedeelte van die 15gbyte kan overgeheveld worden... ipv alles... misschien is er helemaal niets veranderd tussen smorgens en s'avonds (bijv in weekends)

voor de rest in die server meerdere netwerkkaarten steken en "trunking" toepassen...
en de hdd's in een snelle raid configuratie steken zodat de data parallel over meerdere hdd's gaan (en dus de snelheid hier ook groter wordt)

als het bijvoorbeeld over "video" bestanden gaat kun je oa kijken naar compressie beheer? overstappen op H264 technologie (hardware & software)?

[BHQ]

Kijk eens of je statistieken uit de switch kan peuteren. Als deze echt vaak gedurende lange tijd op ~940Mbit/sec staat te pieken kan je redelijk zeggen dat de link vol is. Of kijk op de server zelf of de netwerkkaart echt aan zijn piekbelasting komt (lange momenten 90-100% load). In dat geval, dual poort netwerkkaartje erin zetten (PCI-E het liefst) en link aggregation naar de switch. 2Gbit/sec heb je dan, lijkt me al een flinke verbetering.

Als de transfersnelheid beduidend lager is, ligt het zeer waarschijnlijk niet aan het netwerk. is de data op de server niet enorm gefragmenteerd? Wat voor OSsen draaien de clients? Wat voor netwerkkaarten hebben de machines?

[Terrestrial]

Om wat voor data en toepassingen gaat het eigelijk want het belangrijkste vergeet je te vermelden.

[_Hades_]

Als het inderdaad maar 1 7200rpm sata schijf is waar iedereen alle data vandaan lurkt, dan ben ik er 99% van overtuigd dat dat de bottleneck is. Wat voor raid controller zit er in je server? Het is qua read/schrijf performance misschien beter om er een raid 10 of 5 van te maken met meerdere disken en goeie raid controller met cache.

Echter is het wel belangrijk om even te checken wanneer je moet wachten. is het tijdens opvragen van data van de mailserver? fileshares? Dan kun je ook wat gerichter zoeken naar de oorzaak.

[Xiphalon]

Ja en uiteraard de RAID niet gebruiken als backup.

Laat de schijf in de server zitten! Anders wordt je array nog degraded, en een rebuild is nogal slecht voor je performance.

[Stouten]

Ik zou gewoon als je toch al van plan was om die 8K voor die 10Gbe switch te overwegen een leuke dikke fileserver configureren voor zo'n 4000 euro en dan nog is kijken of de performance traag is. Een single disk (dat is het namelijk gezien de andere schijf alleen als copy meedraait) is bij lange na niet snel genoeg voor 30 man.

[axis]

Sja, ik ben ook geneigd te denken dat het disk subsystem de bottleneck is.. Ben je snel achter. Log in, en run 'iostat -x 10' op drukke momenten, en kijk in de kolom '%util'. Als deze richting de 100% gaat, is de disk de bottleneck. (Als iostat niet geinstalleerd is, run 'yum install sysstat')

[Noxious]

Alhier nog een vermoeden voor de disk we hebben hier fileservers waar ~ 300 mensen op werken met 2x1gbps aangesloten. Deze hebben echter wel array's van SAS 15000rpm 2.5" diskjes.

[BHQ]

Wacht, een RAID 1 setje met 7200rpm disks en er wordt serieus een 10Gbit switch overwogen?

Relatief grote kans dat die disks de volle gigabit niet eens trekken. en RAID is _geen_ synoniem voor backup..

Verder gebruiken we voor de mailserver (Kerio) ook de bovenstaande VelociRaptor schijven maar dan in RAID 0 opstelling. Totaal zitten er dus 6 schijven in de server.

Wat? Dus als een van de schijven in die array crasht ben je alles kwijt? (Of heb je tenminste alle data die erop stond weer terug te zetten vanuit een backup...)

Met Madshark onder mij. Ik heb ook niet echt de indruk dat men volledig weet wat ze aan het doen zijn...

[ Voor 53% gewijzigd door BHQ op 23-09-2010 17:34 ]

[Madshark]

Ehhh.
30 werkstations op een server met SATA disken, zelfbouw op basis van een Asus bord, Raid1 als backup en diezelfde leverancier adviseerd nu 10GBe ?
Ik heb eerder de indruk dat je leverancier de nodige kennis ontbeert om je een goede oplossing te bieden.

10GBe upgrade zal echt niets uithalen, je server zal zelfs al met enige moeite de huidige gigabit kunnen vullen. Met meer dan 5 datastreams stort de performance van je Barracuda geheel in elkaar.
Je komt stevig een goede netto IOPS tekort op die server.
Mijn advies, ga eens shoppen voor een echte server bij bijv. Dell of HP. CPU is niet zo relevant, instap Xeon is al meer dan genoeg. Belangrijk is wel, neem een hardware raid controller en als het budget toestaat een raid5 oplossing van SAS 15k disken. En kijk naar betere backup mogelijkheden, voorkeur een tape-storage.
Je huidige server kun je dan opnieuw inrichten en laat die de rest van je diensten doen.
Als je een server gaat kopen bij Dell, eerst even je server online samenstellen en vervolgens bellen met Dell. Als nieuwe klant krijg je telefonisch altijd leuke flinke kortingen.
Is er geen budget voor een nieuwe server, dan de huidige zelfbouw server upgraden met 15k disken en een fatsoenlijke cached raidcontroller.

[3DDude]

10GB klinkt naar mijn bescheiden mening onzinnig.

Regel een degelijke managable switch (denk dat je die met die cisco al hebt)
Zoek naar de termen: trunking (alhoewel dat meer voor failover is!) Link Aggregration en Link Aggregration Control Protocol.

Verder regel een echte server ? ...
Dit klinkt serieus als een zelfbouw knutsel / hobby project van iemand
i Second wat madshark hierboven zegt.

jouw backup oplossing is 'eigenlijk geen backup oplossing natuurlijk (raid mirror)..

Stel ik zet je server in de fik wat dan ? Daar gaat je precious Data met videofiles en tekeningen etc.?

Hier mag nee moet je serieus wel wat beter over nadenken: (en 1 van de 2 hardeschijven er af en toe uit trekken uit die array vind ik 'NIET' een optie)...overigens als je dat doet dan zullen deze schijven weer opnieuw gaan syncen als je de 2e schijf terug plaatst en zal de array weer gaan 'restoren wat de weinig IOPS die je al hebt helemaal weg neemt...'
Ik zou zeggen ga om te tafel zitten met het bedrijf waar je mee samenwerkt, of zoek naar een andere partij.
Het klopt je moet inderdaad gaan investeren maar daar bedoel ik mee "niet in een 10Gbit switch"

- Regel nieuwe server ('normale / professionele server...)
- Regel nieuwe netwerkapparatuur (indien die cisco toch niet voldoet) Zoek eerst uit of deze LACP ondersteund (dit geld overigens ook voor de server zelf uiteraard LACP)
- Regel een echte backupvoorziening
- Wat je optioneel nog kunt doen is de 'huidige server gebruiken als "mail-server" --> dan gebruik je die voor mail en heb je hem toch nog in gebruik / dus niet helemaal afgeschreven.
- Regel nog een échte backup voorziening (online backup / offsite in ieder geval als ik je gebouw (bedrijfspand in de fik zet) moeten jullie met uiterlijk een week weer op een andere locatie weer kunnen herbouwen met vergelijkbare hardware en hebben jullie alle files nog..!

- sorry dit waren even mijn gedachte had ik al gezegt dat je een backup moest regelen

[ Voor 68% gewijzigd door 3DDude op 23-09-2010 20:36 ]

[Madshark]

Ik sluit me verder helemaal aan bij 3DDude.

Omdat je leverancier al met 'hobby' spullen en oplossingen is aangekomen denk ik eigenlijk niet dat je voor een betere oplossing met hun aan tafel kunt, maar ik zou er ook gruwelijk naast kunnen zitten.
Want we hebben het eigenlijk over relatief eenvoudige MKB automatisering, als dat al fout gaat..

Probeer bij het management geld los te peuteren voor een merk server zoals Dell of HP. Neem daar een goed support contract op (bijv. 4 of 8uur). Schets wat doom scenario's voor en laat hun eens uitrekenen wat dat kost..

Als voorbeeld:

-Huidige server:
Voeding gaat stuk. Vervangtijd= 4 uur (leverancier moet er toevallig 1 op voorraad hebben, moet langs komen, en moet hem nog verwisselen)
Wat kost 4uur X 30man die naar buiten aan het staren zijn ?

-Dell/HP server:
Heeft 2 hot-plug voedingen. Gaat er 1 stuk, geen downtime. Je belt het servicecenter en de volgende werkdag heb je een koerier die de voeding komt wisselen.
Wat kost een telefoontje van 10minuten en de deur open doen voor een koerier ?
Bijkomend voordeel, de 2e voeding kun je op een andere groep aansluiten, mocht er 1 groep uitvallen, draait de server nog verder op de ander.

Maar ook voor beheer en remote trouble shooting, beetje goede server heeft een IP-KVM (DRAC of iLO), hiermee kan je leverancier direct ingrijpen en zonodig de boel draaiend maken. Hoeveel tijd heeft je huidige leverancier nodig van telefoontje totaan engineer aan toetsenbord ? (en reken die tijd dan weer eens uit X 30man die naar buiten aan het staren zijn)

Je zult zien dat dit soort investeringen zichzelf al bij het eerste incident terug zullen verdienen, zo'n server kan zeker wel 5jaar meegaan.

Dan het belangrijkste, de backups. De voorkeur is een medium wat buiten het pand bewaard kan worden, zodat je na een brand/water/diefstal nog steeds over je data beschikt.
Hiernaast is een mirror zowieso niet geschikt als backup, wat als een virus of defecte controller ineens al je data corrupt maakt ? Wat als iemand perongeluk een hele directory wegsmijt en dit pas dagen/weken naderhand eens een keer meld ?
Met een tapeset van bijvoorbeeld 24 tapes (dag/week en maand tapes) kun je weken tot maanden terug naar je data.

[CrankyGamerOG]

Noxious schreef op donderdag 23 september 2010 @ 16:56:
Alhier nog een vermoeden voor de disk we hebben hier fileservers waar ~ 300 mensen op werken met 2x1gbps aangesloten. Deze hebben echter wel array's van SAS 15000rpm 2.5" diskjes.

Agreed

Wedden dat je server geen 1Gb/s kan verwerken? knappe simpele server die dat wel kan btw.

[Midas.e]

CrankyGamerOG schreef op donderdag 23 september 2010 @ 23:54:
[...]

Agreed

Wedden dat je server geen 1Gb/s kan verwerken? knappe simpele server die dat wel kan btw.

Vrijwel elke server en/of pc kan dat tegenwoordig wel, single disks halen al de 110MB/s read zonder veel gemor.
Wat een heel ander verhaal is als er 30 man kleine files proberen op te halen en te versturen. Hierbij is access time en IO belangrijk.
Wil je deze naar beneden krijgen heb je of veel schijven nodig, meer schijven = meer IO door meer spindels = kortere access time, of je data overlaten aan SSD's.
Wel raad ik aan om te zoeken naar een andere leverancier, als je met dit soort oplossingen aankomt ben je niet goed bezig.

[3DDude]

Midas.e schreef op vrijdag 24 september 2010 @ 00:04:
[...]

Vrijwel elke server en/of pc kan dat tegenwoordig wel, single disks halen al de 110MB/s read zonder veel gemor.
Wat een heel ander verhaal is als er 30 man kleine files proberen op te halen en te versturen. Hierbij is access time en IO belangrijk.
Wil je deze naar beneden krijgen heb je of veel schijven nodig, meer schijven = meer IO door meer spindels = kortere access time, of je data overlaten aan SSD's.
Wel raad ik aan om te zoeken naar een andere leverancier, als je met dit soort oplossingen aankomt ben je niet goed bezig.

Nou mijn 160GB intel SSD moet dat wel lukken

Heeft de TS nog verdere opmerkingen n.a.v. deze reacties of is hij zelf van het knutsel bedrijf?

Overigens kan de TS beter ook nog nadenken over een andere situatie voor de structuur van de omgeving op de zaak.
Wat dacht je van 1maal de files die nodig zijn copy'n naar de lokale hardeschijf van de client pc's en vervolgens alleen een gedeeltelijke synchronisatie doen van iets wat nieuw is / en dus daarvoor eigenlijk alleen nog hoeft te worden verstuurd?

Waarom elke keer zoveel GB copy'n als je het ook gewoon 1 keer kan copy'n en vervolgens een deel wat gewijzigd is of iets nieuws wat toegevoegd is syncen met de client..

Kan niet te moeilijk zijn voor een serieuze automatiseerder die daar enigszins over nagedacht heeft

[ Voor 28% gewijzigd door 3DDude op 24-09-2010 00:38 ]

[Amito]

Pittige reacties allemaal, maar ze zijn wel van harte welkom. Gelukkig zijn de 10 GbE switches zo schaars abders had ik hier nooit een topic gestart. We kopen nu bijna jaarlijks een nieuwe server (of upgraden die) om de snelheid naar een acceptabel niveau te krijgen, maar steeds is de verbetering nauwelijks te merken.
Er zitten ook wat sentimenten om bovenstaand bedrijf aan de kant te schuiven, omdat ze al sinds jaar en dag (±20 jaar) de support doen voor ons. En natuurlijk ook dat overstappen naar een ander partij de nodige aanloopproblemen met zich meebrengt.

Jarpse schreef op donderdag 23 september 2010 @ 17:12:
[...]
Wat? Dus als een van de schijven in die array crasht ben je alles kwijt? (Of heb je tenminste alle data die erop stond weer terug te zetten vanuit een backup...)

Voor de mail is dat inderdaad en gevaar. Dat wordt weer ondervangen door de mail te backuppen naar de Barracuda schijven.

axis schreef op donderdag 23 september 2010 @ 16:47:
Sja, ik ben ook geneigd te denken dat het disk subsystem de bottleneck is.. Ben je snel achter. Log in, en run 'iostat -x 10' op drukke momenten, en kijk in de kolom '%util'. Als deze richting de 100% gaat, is de disk de bottleneck. (Als iostat niet geinstalleerd is, run 'yum install sysstat')

Systaat geinstalleerd, maar nog steeds wordt de commando 'iostat' niet herkent, enig idee wat het kan zijn?

> yum install sysstat
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: archive.cs.uu.nl
* updates: archive.cs.uu.nl
* addons: archive.cs.uu.nl
* extras: archive.cs.uu.nl
Setting up Install Process
Parsing package install arguments
Resolving Dependencies
--> Running transaction check
---> Package sysstat.x86_64 0:7.0.2-3.el5_5.1 set to be updated
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================
Package Arch Version Repository Size
================================================================================
Installing:
sysstat x86_64 7.0.2-3.el5_5.1 updates 174 k

Transaction Summary
================================================================================
Install 1 Package(s)
Update 0 Package(s)
Remove 0 Package(s)

Total download size: 174 k
Is this ok [y/N]: Exiting on user Command
Complete!
> iostat -x 10
bash: iostat: command not found

3DDude schreef op vrijdag 24 september 2010 @ 00:31:
Waarom elke keer zoveel GB copy'n als je het ook gewoon 1 keer kan copy'n en vervolgens een deel wat gewijzigd is of iets nieuws wat toegevoegd is syncen met de client..

De bestanden worden beheert door een database, omdat meerder gebruikers tegelijk erin zitten te werken. In de bestanden zitten ook verwijzingen naar de (netwerk)paden en versie verwerkt, als je daarmee gaat zitten "prutsen" zoek je geheid problemen. Als de netwerkverbinding bijvoorbeeld bij iemand wegvalt, dan is het een behoorlijk gedoe om alles weer werkend te krijgen.

[ Voor 76% gewijzigd door Amito op 24-09-2010 10:38 ]

[axis]

In je bash output van yum install sysstat staat 'Exiting on user Command', dus lijkt me dat de installatie niet voltooid is.

[3DDude]

Amito schreef op vrijdag 24 september 2010 @ 09:52:
Pittige reacties allemaal, maar ze zijn wel van harte welkom. Gelukkig zijn de 10 GbE switches zo schaars abders had ik hier nooit een topic gestart. We kopen nu bijna jaarlijks een nieuwe server (of upgraden die) om de snelheid naar een acceptabel niveau te krijgen, maar steeds is de verbetering nauwelijks te merken.
Er zitten ook wat sentimenten om bovenstaand bedrijf aan de kant te schuiven, omdat ze al sinds jaar en dag (±20 jaar) de support doen voor ons. En natuurlijk ook dat overstappen naar een ander partij de nodige aanloopproblemen met zich meebrengt.

--> uhm, zei ik al ga met ze om de tafel zitten?
Dan ga je natuurlijk overleggen: haal je de volgende punten die ik zo even kan verzinnen (minimaal aan, ik neem aan dat dat 'jouw werk is ? , namelijk afstemmen met de leverancier of automatiseerder zodat er een goed werkende oplossing kan komen? jij bent min of meer de Senior Gebruiker met de ervaring waar de leverancier input van moet krijgen, over de acceptatie criteria en of toleranties *sorry kheb net wat prince2 gelezen >_<'')
- 10GB switch is voor nu onzinnig
- voor het netwerk verhaal: regel je extra insteek kaarten voor de server kant (intel heeft bijvoorbeeld quatro kaarten met 4 x 1Gbit --> dus kun je trunken of een LAG van maken. --> doe zelf even de nodige research en kijk mee naar oplossingen en vraag de dienstverlener om zich daar in te verdiepen trefwoorden hiervoor zijn:
- LACP (staat overigens voor Link Aggregation Control Protocol, de HP Procurve switches van mijn werk hadden deze bijvoorbeeld ook, moet op elk redelijk merk / professionele switch wel zitten voor zover ik weet*)
- Trunking (failover group)
- LAG Groups.
NB: Een andere switch kan zowieso een ASUS 8 poorts switch om vervolgens doorte lussen naar een degelijke cisco switch omdat de NIC van de server niet lekker werkt met de cisco ? "ok het is een workaround maar kan eigenlijk niet natuurlijk!".
--> een 10GBit switch is leuk maar dat gaat je MIRROR RAID met een seagate baracuda schijf niet voltrekken laat staan dat hij de 1GBit vol trekt als er meerdere transfers gedaan worden naar meerdere clients tegelijk!

De huidige situatie is simpelweg onacceptabel, en al doen ze al 50 jaar het beheer voor je zaak, als ze 'geen passende oplossing voor jouw situatie kunnen regelen' word het toch echt tijd om verder te kijken.

- Ok nogmaals zei ik al dat je ook een 'goede BACKUP MOET REGELEN?"

Voor de mail is dat inderdaad en gevaar. Dat wordt weer ondervangen door de mail te backuppen naar de Barracuda schijven.
- goed idee, en wat als in mijn scenario ik je gebouw of je server dus ook je seagate schijven met de raptors in de fik zet?

De bestanden worden beheert door een database, omdat meerder gebruikers tegelijk erin zitten te werken. In de bestanden zitten ook verwijzingen naar de (netwerk)paden en versie verwerkt, als je daarmee gaat zitten "prutsen" zoek je geheid problemen. Als de netwerkverbinding bijvoorbeeld bij iemand wegvalt, dan is het een behoorlijk gedoe om alles weer werkend te krijgen.

ok dan word het inderdaad lastig, zowieso nadenken over SAS Storage en / of SSD als storage dan

Word Documentje met aantal punten: http://3ddude.sharper.nl/amito.docx

[ Voor 5% gewijzigd door 3DDude op 24-09-2010 23:27 . Reden: Documentje geupload succes verder. ]

[CyBeR]

Amito schreef op vrijdag 24 september 2010 @ 09:52:

Voor de mail is dat inderdaad en gevaar. Dat wordt weer ondervangen door de mail te backuppen naar de Barracuda schijven.

Maar die worden ook niet gebackupt dus je bent dan nog steeds nergens.

[Amito]

3DDude schreef op vrijdag 24 september 2010 @ 22:30:
[...]

ok dan word het inderdaad lastig, zowieso nadenken over SAS Storage en / of SSD als storage dan

Word Documentje met aantal punten: http://3ddude.sharper.nl/amito.docx

Allereerst bedankt dat je zoveel moeite doet om me op weg te helpen en zelfs een opzet te maken voor de brief aan de netwerkbeheerder.

Wat betreft het backuppen. Daar hoef je echt geen zorgen om te maken, tenzij mijn huis en de bedrijfspand op de zelfde dag in de fik staan(zie ook aanvulling van 24-09: "De schijven worden vervolgens meegenomen naar huis waardoor je ook bij brand e.d. je data offsite hebt.").
De gebruikte programma (Cadmatic) maakt dagelijks een backup (in de avonduren) naar de Barracuda schijven.
Op een gegeven moment komt alle data dus op de Barracuda schijf te staan en ben je dus in ergste geval (brand of iets dergelijks) hooguit een dag aan data kwijt.

De gebruikte Cisco switch ondersteunt Link aggragation. Ik zal mezelf even verdiepen in de Cisco switch en de gebruikte NIC. Kan me niet voor stellen dat een Intel netwerk kaart en een Cisco switch niet goed prettig met elkaar samenwerken. En als dat al het geval is er na een jaar nog geen oplossing voor is.

[CyBeR]

Amito schreef op maandag 27 september 2010 @ 08:43:
[...]

Wat betreft het backuppen. Daar hoef je echt geen zorgen om te maken, tenzij mijn huis en de bedrijfspand op de zelfde dag in de fik staan(zie ook aanvulling van 24-09: "De schijven worden vervolgens meegenomen naar huis waardoor je ook bij brand e.d. je data offsite hebt.").
De gebruikte programma (Cadmatic) maakt dagelijks een backup (in de avonduren) naar de Barracuda schijven.
Op een gegeven moment komt alle data dus op de Barracuda schijf te staan en ben je dus in ergste geval (brand of iets dergelijks) hooguit een dag aan data kwijt.

Je zegt dat je je RAID gebruikt als backup. Ten eerste is RAID geen backup. Ten tweede is RAID apparatuur niet gemaakt om op die manier gebruikt te worden. Dwz, dat is niet gemaakt om elke dag gehotswapt te worden. En ten derde: aangezien overdag de RAID set gewoon compleet is, als op dat moment al je data overschreven of gedelete wordt heb je dus niets meer.

Je backup moet echt op een apart medium staan dat niet aangeraakt wordt bij een normale werking. En eigenlijk hoort dat ook nog niet de oudere versies van je backup aan te tasten (tot hoever je terug wilt kunnen natuurlijk.)

[Predator]

CyBeR schreef op maandag 27 september 2010 @ 12:44:
[...]


Je zegt dat je je RAID gebruikt als backup. Ten eerste is RAID geen backup. Ten tweede is RAID apparatuur niet gemaakt om op die manier gebruikt te worden. Dwz, dat is niet gemaakt om elke dag gehotswapt te worden. En ten derde: aangezien overdag de RAID set gewoon compleet is, als op dat moment al je data overschreven of gedelete wordt heb je dus niets meer.

Je backup moet echt op een apart medium staan dat niet aangeraakt wordt bij een normale werking. En eigenlijk hoort dat ook nog niet de oudere versies van je backup aan te tasten (tot hoever je terug wilt kunnen natuurlijk.)

Inderdaad. Dat is geen backup plan, dat is een recipe for disaster

PS: je weet toch wel dat kritische bedrijfsdata in je rugzak mee naar huis nemen geen goed idee is als ze niet geëncrypteerd zijn ? Jij bent dan verantwoordlijk als er wat mee gebeurd (bv disks gestolen ...)

[Amito]

CyBeR schreef op maandag 27 september 2010 @ 12:44:
[...]


Je zegt dat je je RAID gebruikt als backup. Ten eerste is RAID geen backup. Ten tweede is RAID apparatuur niet gemaakt om op die manier gebruikt te worden. Dwz, dat is niet gemaakt om elke dag gehotswapt te worden.

Ik weet dat jullie commentaar goed bedoeld is. Maar nogmaals het is echt niet nodig om je daar zorgen om te maken. De gebruikte unit van DEONET is speciaal daarvoor bedoeld.

En ten derde: aangezien overdag de RAID set gewoon compleet is, als op dat moment al je data overschreven of gedelete wordt heb je dus niets meer.

Van aanvulling 24-09:
"Wat ik bij de vorige aanvulling nog achterwege had gelaten is dat er nog een 2TB schijf in de server zit waarop met behulp van "versiebeheer software" de laatste 3 versies van een bestand op de prudiectieschijf bijgehouden wordt. Hier kunnen "gewone" dagelijkse gebruikers niet bij. En ik heb alleen de leesrechten erop om niet per ongeluk iets weg te gooien.

Je backup moet echt op een apart medium staan dat niet aangeraakt wordt bij een normale werking. En eigenlijk hoort dat ook nog niet de oudere versies van je backup aan te tasten (tot hoever je terug wilt kunnen natuurlijk.)

Ook van aanvulling 24-09:
"We hebben vier van de bovenstaande Barracuda schijven waarvan er een altijd in blijft zitten en de andere drie dagelijks, wekelijks en dan wel maandelijks verwisseld worden."

[ Voor 8% gewijzigd door Amito op 27-09-2010 13:49 ]

[3DDude]

Dan nog vind ik het wisselen van schijven / eruit halen en mee naar huis nemen een VAAG verhaal, en dat soort praktijken KAN en WIL je gewoon niet serieus nemen..
Ga er A.u.b. maar serieus over nadenken.
Wat mij betreft eigenlijk topic closed
Antwoord op je vraag: Nee, 10Gb Switch is niet de oplossing die enig nut zal hebben in de huidige situatie.
en daarmee case closed .

[Amito]

Kan ik me in vinden. Heb meer een idee in welke richting we moeten zoeken. Als het de hdd's zijn wordt het waarschijnlijk ook de manier van back-uppen veranderen. Heb ze inmiddels al naar gevraagd om daar naar te kijken. Het is tijd voor een professionele oplossing!

[mrb]

DEONET is inderdaad gemaakt om middels RAID1 een backup te maken.
Het idee erachter is dat er altijd een backup aanwezig is terwijl er ook een schijf ergens anders op de plank aanwezig ligy indien zich er een brand/bliksem/hemel naar beneden valt scenario voordoet.

Hier zie ik dan ook niet echt een probleem?
Wat overgins inderdaad niet wegneemt dat de 10G switch weinig op zal lossen m.b.t. snelheid aangezien de interne schijven van de server het waarschijnlijk niet eens bijhouden.

[Verwijderd]

Dus er draaien op 4x VelociRaptor schijven en 2 Barracuda's:

- 1 host-OS (Centos) met een zwaar belaste file-server, versiebeheer-tool (SVN?), mail-server
- 1 VM Windows-server

Had iemand al gezegd, dat de traagheid waarschijnlijk door je disks komt?

[Picaroon]

't Hele idee om bedrijfskritische data te backuppen op een HD vind ik al tricky. Ik zie het meer als dupliceren van data en een stukje zekerheid voor huis-tuin-keuken situaties... Een HD is een stuk mechanica waarvan je je elke keer bij opstarten afvraagt of hij het zal doen.

M.i. is tape met een backupplan (tot meerdere weken kunnen restoren) een gewenstere situatie

[mrb]

Picaroon schreef op dinsdag 28 september 2010 @ 13:40:
't Hele idee om bedrijfskritische data te backuppen op een HD vind ik al tricky. Ik zie het meer als dupliceren van data en een stukje zekerheid voor huis-tuin-keuken situaties... Een HD is een stuk mechanica waarvan je je elke keer bij opstarten afvraagt of hij het zal doen.

M.i. is tape met een backupplan (tot meerdere weken kunnen restoren) een gewenstere situatie

Mja, echter is het bij een tape ook altijd maar de vraag of je tape in een andere streamer goed uitgelezen wordt. De lees en schrijfkoppen bij een streamer maken bij elke streamer andere beschadigingen op een tape, toch zeker als een tape langere tijd meegaat.
Zo kan het dus goed zijn dat je tape welke in de orginele streamer perfect werkte, zowel backup maken als restoren, in een andere streamer simpelweg niet uitgelezen wordt.


Aangezien er ook niet op slechts één hardeschijf gebackupped wordt, sata nog niet 1,2,3 zal verdwijnen, de Deonet zelf de status van de schijf laat zien. Zie ik hier echt niet zo'n probleem in.

En of de bedrijfskritische data nou op een HD of een tape staat, als het er maar weer afkomt als het nodig is toch?

Maar goed, de backup zal in dit geval niet voor een traag netwerk zorgen, misschien wel een idee om eens een discussie topic te openen?

[ Voor 4% gewijzigd door mrb op 28-09-2010 13:55 ]

[PeterPan]

Als je 1 van de 2 RAID1 schijven tijdens bedrijf eruit trekt (ik neem aan dat je niet elke keer de server down brengt) dan heb je toch te maken met open files en actieve databases e.d.?
Heb je ooit wel eens getest of er sowieso nog wel iets terug te halen valt van die schijf? Ik betwijfel het sterk.

[Paul]

Wat een aversie tegen die Deonet allemaal. Ja het werkt, en je zit met dezelfde problemen (als je de schijf eruit trekt) als wanneer je de stroom van de server af zou trekken.

Liefste maak je dus ook een (echte) backup _naar_ de deonet, en gebruik je vervolgens de deonet om je backup op 2 locaties te bewaren.

Hoe lang doet de deonet over het syncen van je raid1? Als ik het goed begrijp staat je data namelijk op de deonet, en als die aan het rebuilden is zal het files serveren niet al te snel gaan...

Je zegt dat het een linux host betreft? Zelfs als je de switch niet uit kunt lezen kun je alsnog de SNMP-daemon op de server zelf uitlezen, en met mrtg of cacti grafiekjes maken met CPU / memory / IO / netwerk throughput. Met die laatste zie je direct of je gigabitlijn vol zit of niet

[Amito]

@PeterPan, vaker geprobeerd terug te halen en tot op heden altijd gelukt. De DEONET is een hele unit met eigen RAID controller en cache. Wat ik nu begrijp van onze netwerkbeheerder is dat de unit wel de schijfvermogen met ongeveer 30% vermindert.

Zojuist nog even "iostat" laten lopen en %util kwam toen meerdere keren rond en zelfs over de 100% heen:

Is dus zo goed als zeker dat de HDD de bottleneck is? Of hoeft het niet erg te zijn als het zo af en toe rond de 100% zit?

[ Voor 12% gewijzigd door Amito op 29-09-2010 16:34 ]

[nielsl]

zoals hier al eerder is gezegd zou ik toch een gaan kijken naar een andere systeembeheerder. Als je schijf 100% aan het pruttelen is, dan moeten er dus processen op elkaar staan wachten met als resultaat dat de eindgebruiker vindt dat het traag is. Het feit datje systeembeheerder dan gelijk 10Gbit netwerk aanvoert als oplossing is een gigantisch groot voorbeeld van het feit dat er anderen zijn die een betere partij zouden kunnen zijn, maargoed, jullie gaan way back...

Voor wat betreft de oplossing. Ik zou eens gaan investeren, zoals ook hier al is gezegd, in een storage server met voldoende IOPS, dat is hier overduidelijk de bottleneck. Denk hierbij aan een opstelling met RAID5 of RAID10. En als je dan toch aan het investeren bent, neem dan ook gelijk een ultrium tapestreamer, een deonet is grappig voor een kantoortje met 3 mensen, en dan nog vind ik het persoonlijk twijfelachtig. In een mkb omgeving als die van TS zou ik me meer inlaten met de standaarden in de ICT zoals tape, maar dan vertel ik niets wat hier niet al eerder is vermeldt

*edit*
Ter vergelijking: Mijn storage server waar 8 man op werken, druk mailen, een aantal databases op draaien enz enz enz heeft 4 SATA schijven in RAID5 met een AMCC controller. Niet top of the line, maar wat wil je voor een studentenvereniging, maar wel voldoende; Mijn util komt doorgaans nooit boven de 20%

[ Voor 12% gewijzigd door nielsl op 29-09-2010 16:59 ]

[VisionMaster]

Even als vergelijking:

Ik vind het wel grappig om te lezen. Als je ziet hoeveel spul we hebben staan om 10GbE vol te kunnen stampen met data voor onze rekenclusters. Dan hebben we dus geinvesteerd in flinke servers, en een flinke RAID oplossing om de bandbreedte te halen met RAID6. De iets oudere generatie machines met 48x 500GB SATA disken per storage node hangt aan een 3x 1GbE trunked uplink. Dat kan nog meer worden, maar maar meer dan 4GbE krijgen we niet uit die oude X4500 dozen (software RAID6 trouwens). We hebben de 15x X4500 aan een trunked 20GbE uplink. Dus tja... reken het maar terug naar 1 10GbE poortje.

Goed, de rekenschaal is een beetje scheef omdat we nog meer groot spul hebben staan op hetzelfde net, maar ja... even als gekke illustratie.

overzichtje: http://www.nikhef.nl/grid/summary/

[mrb]

Even een klein vraagje voor alle duidelijkheid, werk je echt vanaf de DEONET of is deze echt USB aangesloten en puur als backup?

[--help]

Ik zou zeggen, gooi er 4 schijven in raid 10 op een ext4 filesystem in. Dat is in de meeste gevallen prima :-) Sowieso dubbele doorvoer + redundant.

oja: als je wilt die extra netwerkkaart in bonding mode

[ Voor 18% gewijzigd door --help op 29-09-2010 21:46 ]