:strip_icc():strip_exif()/u/105199/crop5cb76c6d18020_cropped.jpeg?f=community)
Hoihoi
Ik ben weer wat aan het pielen met wat productie-machines, naar aanleiding van de erg brakke performance.
Situatie:
2 machines, met elk:
Xeon 5506
Onboard nic van een Supermicro x8dtn+: intel 82576
8x 1tb 7200RPM @ raid6.
areca 1120 met BBU en write back instelling
Indeling:
server 1 heeft een volume van 100gb voor het OS, en +- 5900GB voor data-opslag. Beide ext3
server 2 heeft een volume van 100gb voor het OS, en 3x 2000GB (bij benadering) voor dataopslag. Alles ext4.
Server 1 heeft 18gb mem, server 2 6gb
Deze discrepantie is ontstaan doordat ik machine2 heb gereinstalled afgelopen week en wilde kijken of die kleinere volumes de performance verbeteren. Ook heb ik meteen voor ext4 gekozen omdat dat nu in Squeeze zit
.
Dit 'even veranderen' gaat niet gebeuren op server1; die draait productie.
Op een van beide machines draait (nu nog) vmware server met wat VM's. De load is vrij laag : 2 tot 5.
De andere machine staat momenteel niets te doen behalve NFS server. Hij deelt een van die 2000g volumes als /data.
Beide machines hangen met een interne crosscable aan elkaar waar dus NFS overheen zal gaan om die bestanden te backuppen.
NFS is hier prima voor , omdat het een crosscable is boeit encryptie of authenticatie me toch niet. Op beide machines heeft niemand shell xs op het beheer na.
De gare performance lijkt sterk aan server1 te liggen: als ik daar bonnie draai heb ik zo een load van 25 erbij... Ik heb net bonnie op server1 aan gehad met een rsync naar de gemounte /data van server2 ... en vmware die draait. Gevolg is een load van +-120.
Dit heb ik net dus afgeschoten.
Punt is wel dat een rsync van de vm's (op server1, die server2 gemount heeft) nu al een uur of 22 duurt... voor 600GB. Netwerk is niet het issue, host1 ook niet.
NFS llijkt ook niet het probleem te zijn:
Wat kan ik hieraan veranderen?
- Machine1 naar ext4 omzetten. Ja dat gaat dus voorlopig niet gebeuren.
- 32K blocks voor NFS gebruiken. Goed plan. (http://nfs.sourceforge.net/nfs-howto/ar01s05.html). Leuk maar het lijkt geen NFS related issue te zijn.
En waar kan ik het beste beginnen met debuggen? Het lijkt mij dus een serieus performance issue met host1, maar ook vmware doet niet zo gek veel IO. Alleen kan ik hem niet met goed fatsoen platleggen momenteel omdat allemaal vm's dan plat zullen gaan.
Ik zie dat server1 ook een forse iowait heeft, 166% (4 cpu's dus zeg maar 1/3).
Nu is het zo dat ik destijds een beetje vies ben geweest op server 1.
Ik heb hier gewoon direct een FS opgeknald zonder partitie tabel. Nu heb ik helaas geen andere raidsetup van 6TB die ik hiervoor kan misbruiken... maar heeft dit ook impact op die performance?
Momenteel heeft die unit een load van +-30 waarbij iotop maximaal 15megabyte lezen+schrijven meet... en vaak veel minder. Dat kan gewoon niet goed zijn. rsync + vmware draait.
Ik ben weer wat aan het pielen met wat productie-machines, naar aanleiding van de erg brakke performance.
Situatie:
2 machines, met elk:
Xeon 5506
Onboard nic van een Supermicro x8dtn+: intel 82576
8x 1tb 7200RPM @ raid6.
areca 1120 met BBU en write back instelling
Indeling:
server 1 heeft een volume van 100gb voor het OS, en +- 5900GB voor data-opslag. Beide ext3
server 2 heeft een volume van 100gb voor het OS, en 3x 2000GB (bij benadering) voor dataopslag. Alles ext4.
Server 1 heeft 18gb mem, server 2 6gb
Deze discrepantie is ontstaan doordat ik machine2 heb gereinstalled afgelopen week en wilde kijken of die kleinere volumes de performance verbeteren. Ook heb ik meteen voor ext4 gekozen omdat dat nu in Squeeze zit
.Dit 'even veranderen' gaat niet gebeuren op server1; die draait productie.
Op een van beide machines draait (nu nog) vmware server met wat VM's. De load is vrij laag : 2 tot 5.
De andere machine staat momenteel niets te doen behalve NFS server. Hij deelt een van die 2000g volumes als /data.
Beide machines hangen met een interne crosscable aan elkaar waar dus NFS overheen zal gaan om die bestanden te backuppen.
NFS is hier prima voor , omdat het een crosscable is boeit encryptie of authenticatie me toch niet. Op beide machines heeft niemand shell xs op het beheer na.
De gare performance lijkt sterk aan server1 te liggen: als ik daar bonnie draai heb ik zo een load van 25 erbij... Ik heb net bonnie op server1 aan gehad met een rsync naar de gemounte /data van server2 ... en vmware die draait. Gevolg is een load van +-120.
Dit heb ik net dus afgeschoten.
Punt is wel dat een rsync van de vm's (op server1, die server2 gemount heeft) nu al een uur of 22 duurt... voor 600GB. Netwerk is niet het issue, host1 ook niet.
NFS llijkt ook niet het probleem te zijn:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
| Server rpc stats: calls badcalls badauth badclnt xdrcall 656268 0 0 0 0 Server nfs v3: null getattr setattr lookup access readlink 15 0% 121 0% 663 0% 692 0% 312 0% 0 0% read write create mkdir symlink mknod 0 0% 586743 89% 120 0% 100 0% 0 0% 0 0% remove rmdir rename link readdir readdirplus 1 0% 0 0% 117 0% 0 0% 0 0% 6 0% fsstat fsinfo pathconf commit 11471 1% 16 0% 7 0% 55809 8% |
Wat kan ik hieraan veranderen?
- Machine1 naar ext4 omzetten. Ja dat gaat dus voorlopig niet gebeuren.
- 32K blocks voor NFS gebruiken. Goed plan. (http://nfs.sourceforge.net/nfs-howto/ar01s05.html). Leuk maar het lijkt geen NFS related issue te zijn.
En waar kan ik het beste beginnen met debuggen? Het lijkt mij dus een serieus performance issue met host1, maar ook vmware doet niet zo gek veel IO. Alleen kan ik hem niet met goed fatsoen platleggen momenteel omdat allemaal vm's dan plat zullen gaan.
Ik zie dat server1 ook een forse iowait heeft, 166% (4 cpu's dus zeg maar 1/3).
Nu is het zo dat ik destijds een beetje vies ben geweest op server 1.
code:
1
2
3
4
5
6
| Disk /dev/sdc: 5899.4 GB, 5899498291200 bytes 64 heads, 32 sectors/track, 703275 cylinders Units = cylinders of 2048 * 4096 = 8388608 bytes Disk identifier: 0x00000000 Disk /dev/sdc doesn't contain a valid partition table |
Ik heb hier gewoon direct een FS opgeknald zonder partitie tabel. Nu heb ik helaas geen andere raidsetup van 6TB die ik hiervoor kan misbruiken... maar heeft dit ook impact op die performance?
Momenteel heeft die unit een load van +-30 waarbij iotop maximaal 15megabyte lezen+schrijven meet... en vaak veel minder. Dat kan gewoon niet goed zijn. rsync + vmware draait.
/u/19267/crop5dafece992bf2.png?f=community)
:strip_icc():strip_exif()/u/86747/gonzo60.jpg?f=community)
/u/70049/crop63eb27fd3d18d_cropped.png?f=community)
:strip_exif()/u/52701/anim1.gif?f=community)
.
:strip_exif()/u/26131/Calvin.gif?f=community)
/u/10064/leuk_he.png?f=community)
:strip_exif()/u/24832/chaos-ani.gif?f=community)
./u/26742/000000751.png?f=community)
:strip_exif()/u/18996/GoT_avatar.gif?f=community){kind=avatar}
.
.
VV:strip_icc():strip_exif()/u/79614/Family-Guy-Victory-is-Ours.jpg?f=community)
