Performance probleem HDI server

[enomiss]

Wij gebruiken in het het bedrijf een tekenprogramma genaamd Allplan.
Allemaal werken wij op dezelfde HDI server.
De performance is niet goed. Vaak moeten wij vele seconden of minuten wachten tussen het switchen in tekeningen of tussen muiskliks.
Helaas heb ik zelf geen toegang tot de server dus ik heb geen inzicht in de configuratie.
Nu is er onder andere een discussie met de beheerder over het volgende:

Stel je kopieert een bestand van map A naar map B, beide op de HDI server. Zoals ik het zie bepaald de performance van de server hoe snel het kopiëren gaat. De beheerder zegt dat in deze situatie eerst alles naar de client (een willekeurige computer) wordt gekopieerd en vervolgens naar map B op de server. Klopt dit?
Stel, het kopiëren van het bestand gaat met een snelheid van 2mb/s, en je ziet zoals op onderstaand plaatje er iedere seconde 2mb overheen gaan, laat dit dan zien dat dit gebeurt?

http://imgur.com/a/gHh9p

Ik heb altijd gedacht dat de client hier los van staat (hobbymatige ervaring met servers en 2 jaar informatica gedaan in het verre verleden). Wat is het nut ervan dat de bestanden eerst naar de client gaan en dan naar de andere map, terwijl je alleen op de server iets verplaatst? En als dat zo is, zit het dan alleen eventjes in het RAM? Of zit het eventjes op de schijf?

Ik denk zelf dat de slechte performance aan de instelling van de server ligt. Virusscanner, backup systeem, aantal mogelijke connecties, dat soort zaken... Iemand nog een idee?

[ Voor 10% gewijzigd door enomiss op 14-11-2016 13:54 ]

[Bigs]

De kans is groot dat het inderdaad via de client gaat. Daar verander je niets aan als je software zo werkt.

De bottleneck is hier waarschijnlijk óf het netwerk, óf de I/O capaciteit van de server (opslagsysteem dat te weinig IOPS of doorvoer biedt). Of, indien HDS cpu of geheugen intensief is ivm zaken als deduplicatie (geen idee, ken het niet) een van die.

[ Voor 17% gewijzigd door Bigs op 14-11-2016 13:56 ]

[enomiss]

Bigs schreef op maandag 14 november 2016 @ 13:55:
De kans is groot dat het inderdaad via de client gaat. Daar verander je niets aan als je software zo werkt.

De bottleneck is hier waarschijnlijk óf het netwerk, óf de I/O capaciteit van de server (opslagsysteem dat te weinig IOPS of doorvoer biedt). Of, indien HDS cpu of geheugen intensief is ivm zaken als deduplicatie (geen idee, ken het niet) een van die.

Bedankt voor de snelle reactie, kan je mij uitleggen wat de logica hierachter is? Waarom gaat het kopiëren via de client?
En bestaan er ook servers waarbij dit niet gebeurt? Is dit altijd zo?

[ Voor 5% gewijzigd door enomiss op 14-11-2016 13:57 ]

[Bigs]

enomiss schreef op maandag 14 november 2016 @ 13:57:
[...]


Bedankt voor de snelle reactie, kan je mij uitleggen wat de logica hierachter is? Waarom gaat het kopiëren via de client?
En bestaan er ook servers waarbij dit niet gebeurt? Is dit altijd zo?

Op een 'ouderwetse' Windows share kan de client in bepaalde gevallen tegen de server zeggen 'kopiëer naar dit bestand naar deze map op dezelfde share' dan doet de server dat. HDI is echter andere koek en gemaakt voor operaties op grote schaal waar deze aanpak niet haalbaar is. Dat betekent ook niet dat HDI 'slecht' is, het is gewoon ontworpen met een andere doelstelling en dus biedt het deze functionaliteit niet. Dat geldt voor meerdere recente netwerk opslagsystemen zoals Amazon S3, Ceph, etc.

[MAX3400]

enomiss schreef op maandag 14 november 2016 @ 13:53:Helaas heb ik zelf geen toegang tot de server dus ik heb geen inzicht in de configuratie.
... Iemand nog een idee?

Zat ideeen maar dat zal toch echt de beheerder moeten oplossen; bij gebrek aan enige configuratie en dan voornamelijk "de terminal server" configuratie, is het onmogelijk om een gedegen antwoord te geven. Ik kan je wel vertellen: zolang jij een lokale applicatie op jouw machine gebruikt, als voorbeeld Windows Explorer, en daarma connectie hebt met map A en map B, dan gaat daadwerkelijk de data 2x over de lijn (van map A naar jouw eigen machine naar map B ).

Ik zeg "terminal server" maar hiermee bedoel ik dus de centrale machine die met een bepaald protocol aanbiedt dat jij ermee kan verbinden en taken kan uitvoeren; for all I care is het een RedHat-machine, Windows-machine, custom-machine.

Enige oplossing: de beheerder verantwoordelijk maken/stellen voor een acceptabele performance en desnoods een extern bedrijf inhuren om dit te troubleshooten.

[enomiss]

Bigs schreef op maandag 14 november 2016 @ 14:00:
[...]


Op een 'ouderwetse' Windows share kan de client in bepaalde gevallen tegen de server zeggen 'kopiëer naar dit bestand naar deze map op dezelfde share' dan doet de server dat. HDI is echter andere koek en gemaakt voor operaties op grote schaal waar deze aanpak niet haalbaar is. Dat betekent ook niet dat HDI 'slecht' is, het is gewoon ontworpen met een andere doelstelling en dus biedt het deze functionaliteit niet. Dat geldt voor meerdere recente netwerk opslagsystemen zoals Amazon S3, Ceph, etc.

Zou je dan kunnen concluderen dat een HDI server niet geschikt wanneer meerdere gebruikers met een programma als Allplan constant van tekeningen en 3d modellen switchen? Iedere keer worden er dan vele bestandjes opgeslagen en opgehaald. Zou het dan beter zijn om zo een 'oude traditionele' server te hebben waarop Allplan is geïnstalleerd met de HDI server erachter?

Edit: ik denk dat dit in de prijktijk weinig verschil maakt. Want tijdens het normaal werken in Allplan heb je de bestanden daadwerkelijk nodig op de client. Een 'test' met het verplaatsten/kopiëren van een map op de server is niet vergelijkbaar.

[ Voor 11% gewijzigd door enomiss op 14-11-2016 14:13 ]

[enomiss]

MAX3400 schreef op maandag 14 november 2016 @ 14:01:
[...]

Zat ideeen maar dat zal toch echt de beheerder moeten oplossen; bij gebrek aan enige configuratie en dan voornamelijk "de terminal server" configuratie, is het onmogelijk om een gedegen antwoord te geven. Ik kan je wel vertellen: zolang jij een lokale applicatie op jouw machine gebruikt, als voorbeeld Windows Explorer, en daarma connectie hebt met map A en map B, dan gaat daadwerkelijk de data 2x over de lijn (van map A naar jouw eigen machine naar map B ).

Ik zeg "terminal server" maar hiermee bedoel ik dus de centrale machine die met een bepaald protocol aanbiedt dat jij ermee kan verbinden en taken kan uitvoeren; for all I care is het een RedHat-machine, Windows-machine, custom-machine.

Enige oplossing: de beheerder verantwoordelijk maken/stellen voor een acceptabele performance en desnoods een extern bedrijf inhuren om dit te troubleshooten.

Dat is ook onze mening. Maar meer kan ik er hier beter niet over zeggen.
Verder is je verhaal duidelijk. Allplan staat inderdaad lokaal geïnstalleerd. De tekeningen en de bibliotheek staan op de server. Wat ik mij wel afvraag: Als het via je eigen machine gaat, wanneer je alleen maar een bestand verplaatst op de server, welk onderdeel van je machine kan dan de bottleneck zijn? Vooral de netwerkkaart? Komt het ook nog even in het RAM? Of staat het heel even op de schijf tijdens het verplaatsen?

[MAX3400]

enomiss schreef op maandag 14 november 2016 @ 14:11:
[...]

...Als het via je eigen machine gaat, wanneer je alleen maar een bestand verplaatst op de server, welk onderdeel van je machine kan dan de bottleneck zijn? Vooral de netwerkkaart? Komt het ook nog even in het RAM? Of staat het heel even op de schijf tijdens het verplaatsen?

Infra? Dat jouw netwerkkaart op 100Mbit staat wil niet zeggen dat de bekabeling in de muur of de switch voor de afdeling dit aankan? Ken zat "kleinere bedrijven" die 50 man op 1 afdeling hebben zitten. 50x 100Mbit = 5Gbit "doorvoer" terwijl er in de meterkast een enkele 1Gbit-switch hangt. In het ergste geval (als iedereen tegelijk heeeeel veeeel werkt) krijg je dus maar 20% van je bandbreedte oftewel 20Mbit binnen. Is je bestand 50MB groot, zit je dus op 4 seconden of 20 seconden kopieertijd; tel uit je winst.

Het kan ook zijn dat alle bestanden op de server staan op 1 disk die ook nog door 500 andere mensen tegelijk wordt gebruikt. Zeg even voor het rekenvoorbeeld dat dat een SSD is met 500MB/s doorvoer. Zit je in je eentje, heb je 500MB/s naar je bestanden; zit 50 man tegelijk te kopieren, heb je nog maar 10MB/s doorvoer.

Zoals gezegd; allemaal aannames. Het is niet zo simpel als server <-> client op dit moment; puur en alleen omdat wij geen info hebben over alle componenten & instellingen van "jouw omgeving".

[ Voor 12% gewijzigd door MAX3400 op 14-11-2016 14:15 ]

[enomiss]

MAX3400 schreef op maandag 14 november 2016 @ 14:14:
[...]

Infra? Dat jouw netwerkkaart op 100Mbit staat wil niet zeggen dat de bekabeling in de muur of de switch voor de afdeling dit aankan? Ken zat "kleinere bedrijven" die 50 man op 1 afdeling hebben zitten. 50x 100Mbit = 5Gbit "doorvoer" terwijl er in de meterkast een enkele 1Gbit-switch hangt. In het ergste geval (als iedereen tegelijk heeeeel veeeel werkt) krijg je dus maar 20% van je bandbreedte oftewel 20Mbit binnen. Is je bestand 50MB groot, zit je dus op 4 seconden of 20 seconden kopieertijd; tel uit je winst.

Zoals gezegd; allemaal aannames. Het is niet zo simpel als server <-> client op dit moment; puur en alleen omdat wij geen info hebben over alle componenten & instellingen van "jouw omgeving".

Ja ik heb de infra even buiten beschouwing gelaten... dit doe ik omdat wij dit probleem op een voorgaande server niet hadden. Je zou dan kunnen concluderen dat de bekabeling voldoet..
Ik ga eens kijken of ik kan zien welke switch er hangt en dan eens dat rekensommetje maken..

[enomiss]

MAX3400 schreef op maandag 14 november 2016 @ 14:01:
[...]Zat ideeen maar dat zal toch echt de beheerder moeten oplossen; bij gebrek aan enige configuratie en dan voornamelijk "de terminal server" configuratie, is het onmogelijk om een gedegen antwoord te geven. Ik kan je wel vertellen: zolang jij een lokale applicatie op jouw machine gebruikt, als voorbeeld Windows Explorer, en daarma connectie hebt met map A en map B, dan gaat daadwerkelijk de data 2x over de lijn (van map A naar jouw eigen machine naar map B ).

Wat is de achterliggende gedachte/logica hierachter? Waarom werken moderne servers op deze manier? Het voordeel van dit principe ontgaat mij even..

[MAX3400]

enomiss schreef op maandag 14 november 2016 @ 14:48:
[...]


Wat is de achterliggende gedachte/logica hierachter? Waarom werken moderne servers op deze manier? Het voordeel van dit principe ontgaat mij even..

Even teruglezen; dit kan (!!!) te maken hebben met een suboptimale inrichting en/of een gebrek aan licenties voor iets anders. Maar het kan ook een requirement zijn vanuit de business (jij als eindgebruiker) of iets anders. Ik heb Citrix-omgevingen waar je inderdaad wel van client naar server kan kopieren (dus trager) maar ook de optie hebt voor lokaal kopieren (dus direct van server naar server op een 10Gbit VMware-omgeving).

Gezien de vraagstelling en onzekerheden, weet ik niet precies of we voldoende kunnen bijdragen aan de discussie; er is geen "waarom werken servers op deze manier" maar is de vraag "welke policy / requirement zorgt voor deze inrichting".

[Bigs]

enomiss schreef op maandag 14 november 2016 @ 14:48:
[...]


Wat is de achterliggende gedachte/logica hierachter? Waarom werken moderne servers op deze manier? Het voordeel van dit principe ontgaat mij even..

Er is geen voordeel, het werkt gewoon zo. Als het anders kon dan was het anders geweest. En wie zegt dat dit jouw probleem is?

Je moet zelf niet op de stoel van de systeembeheerder willen gaan zitten. Meld gewoon bij je leidinggevende dat je productiviteit wordt afgeremd doordat je elk dag 30 minuten zit te wachten op het laden van tekeningen. Dan kan hij dat bij de IT manager aankaarten zodat er aan een structurele oplossing gewerkt kan worden. Die hoef jij niet voor ze te bedenken.

[Dronium]

Die HDI server bedoel je daar een Hitachi Data Ingestor mee ?

◾Hitachi Data Ingestor acts as a caching device to provide remote users and applications with seemingly endless storage
◾The cloud gateway connects remote sites to the data center without application recoding or changes in the way users get their data
◾Support for Server Message Block (SMB) and Network File System (NFS) protocols eases migration from traditional NAS-to-cloud-based file services

Dan zou ik eens bij de beheerder na vragen op welke fysieke locatie de data is opgeslagen. Als dat namelijk niet lokaal maar in de "Cloud" (voor de simplisten en managers onder ons "Op de computer van een ander") staat, kan ik me voorstellen dat het niet altijd lekker werkt.

[Enforcer]

Voordat je op de stoel van de systeembeheerder gaat zitten zou ik als ik jouw was jezelf eerst eens gaan verdiepen in de diverse technieken/technologieën. Daarnaast moet je dat gewoon niet willen en niet met de systeembeheerder in discussie gaan, maar met je leidinggevende. Er zijn vast wel redenen waarom het zo werkt zoals het nu werkt (geen geld voor ICT-investeringen is een grote factor altijd).

Je kan met je computer wel op een 100Mbps verbinding hebben naar de centrale switch toe, maar als de desbetreffende HDI server niet fysiek (en daar ga ik even gemakshalve vanuit gezien dit 9 van de 10x het geval is) op dezelfde locatie staat dan hangt dus alles af van de infrastructuur achter de centrale switch.

Als de HDI server dan ook nog eens in een datacenter hangt op een fysiek andere locatie die alleen maar te benaderen is via 'het grote boze internet' dan kan zelfs jullie internetprovider (die bijvoorbeeld maar maximaal 10Mbit aan kan) for-all-we-know de 'bottleneck' zijn.

[Koffie]

Move PNS > WSS