[Tape] HP Ultrium 920 Int. SCSI problemen

[Squee]

Ik ben benieuwd of er hier mensen die ervaringen hebben met de in de titel genoemde tapedrive, want ik heb er de afgelopen maand een paar vreemde problemen mee gehad. In de GoT search kwam hij niet echt voor behalve dat hij zijdelings in een algemeen storage topic genoemd werd, en met Google kwam ik ook eigenlijk niet echt verder. Nou ja kortom, het volgende is het geval:

We hebben onlangs een HP Ultrium 920 Int SCSI tapedrive aangeschaft waar we 5x 400GB tapes bij meegeleverd kregen. Deze is geinstalleerd in onze HP ML350G4 server op de geintegreerde LSI SCSI controller, voor onze wekelijkse full backups weg te schrijven zodat die off-site bewaard kunnen worden. De server draait Debian/stable met 2.6.24 kernel, en we gebruiken het goeie oude tar om de backups naar de tape te schrijven.
Ongeveer een maand geleden heb ik hem geinstalleerd, en al vrij snel gebeurden er vreemde dingen. Als de server op kwam van een cold boot leek hij 20 minuten te spenderen tijdens de SCSI controller init en knipperde de tapedrive vrolijk. (Wat me ook meestal opviel was dat het LED-knipperpatroon wat de tape knipperde ook nooit overeen kwam met een van de patronen beschreven in de manual). Verder kregen we van tar een I/O error, dus leek er iets mis te zijn met de tape. Toen geprobeerd te tape te ejecten, en de drive bleef maar spoelen en draaien, brommen, knipperen. Uiteindelijk kreeg ik de drive wel zo ver om de tape uit te spuwen, (o.a. door de ejectknop 10+ seconden ingedrukt te houden, zodat hij reset en eject forceerd), en toen bleek dat de drive de kop van de tape afgerukt had. Het beginstukje van de tape zat nog ergens vast in de drive, dus toen heb ik contact opgenomen met onze leverancier, hebben we een vervangend exemplaar gekregen, en de defecte drive teruggestuurd.
Goed, kan gebeuren denk je, misschien heb je gewoon eens pech en een defect apparaat gehad. Dus met volle moed de nieuwe drive geinstalleerd, nieuwe tape er in, en de server startte nu ook zonder de vage delay. Zo ver ik kan zien is er die week ook normaal een backup gemaakt in het weekend, en de maandag er op ging ik de tape omwisselen. Dit ging allemaal goed, en de 2e tape ging er in. Alleen begon toen de ellende alweer; om een of andere reden zag de drive de nieuwe tape niet goed, en beweerde dat er geen medium in de drive zat. Ook via de HP L&TT tools gaf hij dit aan. Uiteindelijk weer de tape geprobeerd te ejecten, en wederom begon ook de nieuwe drive moeilijk te doen. Toen hij toch na enig sputteren de tape er uit gooide en ik de cartridge uit de drive haalde, bleek dat het begin van de tape nog steeds vast zat op de spoel van de drive, en ook deze tape ook naar de maan was.

Nu heb ik vandaag mijn 3e exemplaar van de tapedrive ontvangen na het laatste wederom gerapporteerd te hebben bij de leverancier, maar ik zit een beetje met mijn handen in het haar. Dit is namelijk absoluut niet wat ik verwacht van een 'serieus' servermerk zoals HP, en ik durf de nieuwe drive niet zomaar weer in 'productie' in te zetten. Zijn er andere mensen met dergelijke ervaringen met dit product? Of moet ik het ergens anders zoeken; het gebruik van tar? Het gebruik van Debian? De Linux 2.6.24 kernel? De tapes die ik er bij heb gekregen, ook al zijn het gewoon officieele HP LTO-3 tapes? Misschien hadden we toch maar bij Sony AIT moeten blijven...

[Verwijderd]

ik zit inmiddels ook aan de 3de 920 ultrium tape drive

Hadden een storageworks 920 besteld met een adaptec 39160 scsi card. Nu heb ik de tapestreamer uit de externe storageworks gehaald en ingebouwd in een server met de een Adaptec 2940 scsi card en de tape-streamer werkt nu goed.

heb zo'n idee dat de tape-streamer erg gevoelig is voor het type scsi kaart.

[Squee]

Verwijderd schreef op donderdag 30 oktober 2008 @ 16:24:
ik zit inmiddels ook aan de 3de 920 ultrium tape drive

Hadden een storageworks 920 besteld met een adaptec 39160 scsi card. Nu heb ik de tapestreamer uit de externe storageworks gehaald en ingebouwd in een server met de een Adaptec 2940 scsi card en de tape-streamer werkt nu goed.

heb zo'n idee dat de tape-streamer erg gevoelig is voor het type scsi kaart.

Wat voor problemen had jij dan onder andere last van? Niet echt goed om te horen dat ik niet de enige ben die al aan zijn 3e exemplaar toe is...

[IJnte]

Ik heb "vroeger" het genoegen gehad om tapedrives te repareren (DLT 7000/8000 etc).. Over het algemeen is men te snel en te haastig met het erin "duwen" van de tape. Door veel kracht te zetten overbelast je het mechanisme en dat kan er toe leiden dat de tape niet goed opgepakt wordt. Er zit een soort van metalen real tape in de drive die het beginstuk van je tape oppakt. De drive draait heel voorzichtig om het begin van de tape op te paken en de eerste meter of wat van de tape langzaam op de spoel te winden. Wanneer er eenmaal een beginstuk van de tape gedetecteerd wordt zal de tapedrive sneller gaan draaien om het databegin te vinden en vanaf daar te gaan lezen of schrijven.
Laat het apparaat dus zelf de tape instikken, of duw de tape er met beleid in..
Tja als er meerdere mensen problemen hebben, en het ligt echt niet aan de manier van invoeren dan kunnen altijd nog de motoren (2st) of de logica defect zijn. Dit zou dan wel inmiddels bekend moeten zijn bij HP..

[Squee]

[b][message=30973758,noline]Laat het apparaat dus zelf de tape instikken, of duw de tape er met beleid in..

Dat is altijd wel gebeurd, en veel tapes hebben de drives dus ook niet gegeten; de eerste maar een, en de tweede maar twee. (hmm ik hoop dat de derde drive toch wel verder komt dan drie tapes )

[Verwijderd]

Squee schreef op donderdag 30 oktober 2008 @ 16:55:
[...]


Wat voor problemen had jij dan onder andere last van? Niet echt goed om te horen dat ik niet de enige ben die al aan zijn 3e exemplaar toe is...

1. scsi resets op de tape-drive, gaan alle leds branden.
2. Firmware op drive wat kapot raakt.
3. Tapes die niet meer uit de drive willen, daarna doet de driive helemaal niets meer

[ Voor 5% gewijzigd door Verwijderd op 31-10-2008 08:38 ]

[DeBolle]

Squee, een LTO-3 op een interne controller met tar is naar mijn mening geen winnende combinatie. Een LTO-3 kan meer dan 120MByte per seconde verwerken en wegschrijven, ik vermoed dat tar die hoeveelheid niet kan aanleveren. Dan gaat de drive schoentjes poetsen en is de drive en de tape snel kapot.
Het hoeft niet alleen aan tar te liggen, het disk subsystem moet ook die hoeveelheid kunnen leveren.
Om de LTO in streaming mode te krijgen en te houden zal het dus een dedicated SCSI controller moeten zijn die minimaal op U160 staat, goed ge-terminated is en *niet* de bandbreedte hoeft te sharen met andere apparaten.
Een LTO-3 trekt in z'n eentje een U160 tenslotte helemaal dicht, er is dan geen bandbreedte meer om ook nog eens disks aan te sturen met die snelheid.
Met de door jou genoemde LT&T tools kun je trouwens de performance van zowel de disks als de tapedrive afzonderlijk testen en vaststellen, kijk daar eens of je een bottleneck ziet.
Zit je beneden 4GB per minuut met een LTO-3 dan heb je een bottleneck ergens in de chain van disk naar tape. Tar kun je vlot testen door eens een backup te timen naar /dev/null.
Als jouw server inderdaad beneden die 4GB per minuut blijft, ja - dan had je beter bij die AIT kunnen blijven, maar dat is wijsheid achteraf. Of zoals een Groninger zou opmerken 'Achteroav kiekie nswien iene konte'

[Squee]

DeBolle schreef op vrijdag 31 oktober 2008 @ 14:04:
Squee, een LTO-3 op een interne controller met tar is naar mijn mening geen winnende combinatie. Een LTO-3 kan meer dan 120MByte per seconde verwerken en wegschrijven, ik vermoed dat tar die hoeveelheid niet kan aanleveren. Dan gaat de drive schoentjes poetsen en is de drive en de tape snel kapot.
Het hoeft niet alleen aan tar te liggen, het disk subsystem moet ook die hoeveelheid kunnen leveren.
Om de LTO in streaming mode te krijgen en te houden zal het dus een dedicated SCSI controller moeten zijn die minimaal op U160 staat, goed ge-terminated is en *niet* de bandbreedte hoeft te sharen met andere apparaten.
Een LTO-3 trekt in z'n eentje een U160 tenslotte helemaal dicht, er is dan geen bandbreedte meer om ook nog eens disks aan te sturen met die snelheid.
Met de door jou genoemde LT&T tools kun je trouwens de performance van zowel de disks als de tapedrive afzonderlijk testen en vaststellen, kijk daar eens of je een bottleneck ziet.
Zit je beneden 4GB per minuut met een LTO-3 dan heb je een bottleneck ergens in de chain van disk naar tape. Tar kun je vlot testen door eens een backup te timen naar /dev/null.
Als jouw server inderdaad beneden die 4GB per minuut blijft, ja - dan had je beter bij die AIT kunnen blijven, maar dat is wijsheid achteraf. Of zoals een Groninger zou opmerken 'Achteroav kiekie nswien iene konte'

De Tapedrive zit weldegelijk op een dedicated controller, die ook U320 aankan. De disks zitten namelijk op een eigen Adaptec Raid 5 op de PCI-X bus. De throughput daarvan is absoluut geen probleem, en het is ook niet dat we direct de hele backup naar de tape gooien, maar eerst de backups naar disk maken en dan alleen maar met tar combineren naar de tape. Ik maak me daarom ook geen zorgen dat tar niet de snelheid zou halen - de drive kan 60Mb/s uncompressed verwerken als het goed is, en de LT&T throughput test voor de tape leverde iets rond de 55Mb/s op. Maar mocht zoiets alsnog het probleem zijn; dan is het wel vreemd dat het a) zo snel al voorkomt b) een dergelijk probleem lijkt me eerder dat het je tapes onbruikbaar maakt, en niet fysiek problemen op zou moeten leveren met het ejecten van cartridges?

[Squee]

Verwijderd schreef op vrijdag 31 oktober 2008 @ 08:37:
3. Tapes die niet meer uit de drive willen, daarna doet de driive helemaal niets meer

Dat lijkt het meeste op wat ik ook had inderdaad. Wat firmware betreft heb ik ook nog gechecked of ik de laatste versie had, en dat bleek ook geen verandering op te leveren.

[sdanny]

Wij hebben er ook last van gehad.
Zo nu en dan de firmware opnieuw opzetten lijkt het weer even redelijk te gaan.
Vaak I/O errors. Diverse tapes en software geprobeerd maar dat mocht niet baten.
Of we konden niet backuppen óf we konden niet restoren.
1 device, 1 kanaal, Lsi logic u320 pci-X in een pci-X slot.

[Squee]

Ik begin inmiddels van deze reacties een beetje het gevoel te krijgen dat de Ultrium 920 gewoon een beetje een slecht/gammel product is van HP?

[DeBolle]

Squee schreef op vrijdag 31 oktober 2008 @ 16:26:
[...]
Ik maak me daarom ook geen zorgen dat tar niet de snelheid zou halen - de drive kan 60Mb/s uncompressed verwerken als het goed is, en de LT&T throughput test voor de tape leverde iets rond de 55Mb/s op.

Een LTO-3 kan dire maal zoveel data verwerken dan wat jij opgeeft als door jou gemeten througput. Het mechanisme heeft de mogelijkheid verschillen op te vangen binnen bepaalde grenzen, HP noemt een burst rate van ruim 300MB per seconde en een ondergens van 27MB per seconde.. Nogmaals, zolang de performance beneden ongeveer 4GB per minuut blijft komt de drive niet altijd in streaming mode en heb je last van excessive wear & tear. Je vraagt naar ervaringen: LTO2 streaming mode
en het HP document http://h20000.www2.hp.com...d=12169&objectID=lpg50331
Hoewel het in die tijd (2006) om LTO-2 ging was het probleem hetzelfde, moderne tapedrives slokken graag heel veel data op en gaan snel kapot wanneer ze dat niet krijgen aangeleverd.
Dat geldt voor HP en IBM drives en is niet merk gebonden tegenwoordig. Bij de LTO-1 drives had HP wel degelijk een firmware issue (er waren 22 verschillende firmwares) maar dat hebben ze nu onder de knie. IBM had een paar maanden nog een issue met hun LTO-4, maar ook dat is opgelost in hun huidige versies.

[ Voor 11% gewijzigd door DeBolle op 01-11-2008 17:17 ]

[Squee]

Ik zal de throughput van de tar die we doen nog eens meten als ik hem naar /dev/null stuur in plaats van richting tape, aangezien er nu dus geen tape drive in de server hangt.

[update]: Inmiddels gedaan, en dat haalt 140MB/s, verder wordt dit uncompressed geschreven en dat is meer dan de 920 kan verwerken als ik me niet vergis. Er stond me zo bij dat ik gelezen had dat zijn maximum snelheid (uncompressed) 60MB/s was.
[/update]

Maandag avond ga ik daar weer aan de bak, dus misschien kan ik dan ook nog eens naar die LT&T tests kijken - mits ik de tapedrive weer in de server durf te plaatsen; zit er eigenlijk over te denken om hem nog wat meer te testen op een testbak eerst.

[ Voor 23% gewijzigd door Squee op 02-11-2008 01:39 . Reden: throughput resultaat toegevoegd ]

[DeBolle]

Ik zou 'm ook eerst op de testserver houden, totdat duidelijk is of de backup foutloos is te restoren.. in de praktijk komt dat vaker voor dan je wilt. Klanten die een half jaar of langer trouw de tape wisselen en dan toch eens een keer de log lezen of daadwerkelijk gaan restoren, dan ontdekken dat de backup al een half jaar niet wordt gemaakt - meer warstories op aanvraag
Blijf heel goed die performance in de gaten houden, die 140MB/sec wat tar haalt naar /dev/null wordt door een LTO-3 met huid en haar verslonden, zeker als de data nog niet gecomprimeerd is en de I/O van de SCSI chain nog niet meegeteld wordt. Je weet nu dat het disk subsystem 140 MB/sec kan leveren, nu de andere parameters goed bekijken.Zit er data tussen zoals een database, wat goed gecomprimeerd kan worden dan zul je tegen de burst aanlopen en 300MB/sec kunnen halen, als de scsi chain goed geconfigureerd is. ZIt daar iets dwars zoals een El Cheapo kabel, een SE terminator of een verkeerde instelling dan gaat het niet lukken die drive in streaming mode te krijgen.
Kijk de block size van de device driver na, default heeft BSD 128KB blocksize, LTO is optimaal bij 256KB
Nogmaals - zit je gemiddeld onder de 4GB per minuut dan staat je drive zich te vervelen.

[Squee]

Qua kabel zou het goed moeten zitten, ik heb daarvoor de SCSI kabel gebruikt van HP die bij de drive kwam. De data is al gecomprimeerd, maar dat van die blocksize is misschien nog wel een goeie tip. Dit stond nog op 64K volgens mij omdat dat voor de vorige tape optimaal was, dit kan je namelijk meegeven als optie aan tar.

Maar eigenlijk heb ik het gevoel dat we het nu een beetje ver aan het zoeken zijn als ik terug kijk naar het originele probleem, of niet? Het was namelijk een probleem wat zich na een week voordeed, terwijl de tape maar een keer per week geschreven werd, en de dingen waar we het nu in aan het zoeken zijn klinken mij meer in de oren als problemen die op de iets langere termijn voor zouden gaan doen. Niet goed beschreven tapes enzo, maar niet een nieuwe tape die kapot of vast zit in een nieuwe drive na een week.

[PcDealer]

Er moet op de HP site te vinden zijn welke controllers recommended zijn. Daarnaast als je problemen hebt, heeft het bij een klant van mij alle problemen die ze hadden met een 960 drive om de snelheid op de betreffende scsi bus te verlagen.

Edit:
Compatibility met servers: Comp. List/Retired
Bus controllers: Ultrium Options

Van de week nog een 1/8 Autoloader 920 G2 aangeboden. Wordt lachen...

[ Voor 69% gewijzigd door PcDealer op 03-11-2008 09:59 ]

[Squee]

PcDealer schreef op maandag 03 november 2008 @ 09:16:
Edit:
Compatibility met servers: Comp. List/Retired
Bus controllers: Ultrium Options

Nou, de ML350G4 staat gewoon op de Compatibility list dus dat zit wel goed. Dat van die Bus Controllers is overigens geen Compatibility list maar de bus controller opties die je bij het ding kan kopen

Ik heb inmiddels de nieuwe drive getest in een testbak, waar we helaas alleen een simpele Adaptec U160 controller in hadden, maar daar werkte hij prima in. Ik kon zelfs een backup van de enige tape die wel succesvol was geschreven met de 2e drive prima lezen. Ik zit nu toch weer te twijfelen of ik hem weer in de server zal plaatsen.

Misschien een stomme vraag, maar ik zag het niet in de installation manual staan, maar kan de drive wel verticaal gebruikt worden? De ML350G4 heeft namelijk alleen verticale 5 1/4" slots, en op dit moment zit hij in de testmachine in een horizontaal slot waar hij wel goed in werkt...

[PcDealer]

Squee schreef op maandag 03 november 2008 @ 23:01:
[...]


Ik heb inmiddels de nieuwe drive getest in een testbak, waar we helaas alleen een simpele Adaptec U160 controller in hadden, maar daar werkte hij prima in.

Die controller is langzamer dan je die in de beoogde server?

Misschien een stomme vraag, maar ik zag het niet in de installation manual staan, maar kan de drive wel verticaal gebruikt worden? De ML350G4 heeft namelijk alleen verticale 5 1/4" slots, en op dit moment zit hij in de testmachine in een horizontaal slot waar hij wel goed in werkt...

Geen probleem.

ML series zijn normaal pedestals, maar zijn met een rackmountkit in een rack te plaatsen en dan worden ze een kwartslag gedraaid.

[ Voor 9% gewijzigd door PcDealer op 04-11-2008 09:07 ]

[Squee]

PcDealer schreef op dinsdag 04 november 2008 @ 08:51:
Die controller is langzamer dan je die in de beoogde server?

Ja aardig wat zelfs, het bleek dat hij maar in 40 MB/s mode wilde werken, terwijl hij in de server op de interne U320 controller wel volledig 320 gaat. Wat ik overigens vreemd vond, omdat die controller in de testmachine wel U160 is, en ook alles op U160 stond ingesteld in het SCSI bios.

PcDealer schreef op dinsdag 04 november 2008 @ 08:51:
Geen probleem.

ML series zijn normaal pedestals, maar zijn met een rackmountkit in een rack te plaatsen en dan worden ze een kwartslag gedraaid.

Ah, we hebben ze gewoon als de rackmount versies gekocht, ik had er helemaal niet bij stilgestaan dat er inderdaad ook een pedestal versie is. Ik kan me ook eigenlijk niet echt voorstellen dat die wij hebben ook als pedestal gebruikt kan worden, ze zijn echt gemaakt voor het rack.

Anyway, goed dat het dus geen probleem zou moeten zijn. Ik heb na uitvoerig testen gisteravond toch maar besloten om hem weer in de server te plaatsen, en ook in de server heb ik hem nog een keer getest en werkte alles naar behoren. Daarna wilde hij ook nog steeds normaal de tape ejecten, dus ik heb goeie hoop dat het eindelijk eens goed zal gaan

We zullen zien als ik volgende week de tape wil omwisselen Ik bedacht me later ook nog dat het misschien kon liggen aan het gebruik van de mt tool, dat de drive daar misschien in de war van kan raken...

[ Voor 4% gewijzigd door Squee op 04-11-2008 09:20 ]

[PcDealer]

Squee schreef op dinsdag 04 november 2008 @ 09:19:
[...]

Vergeet niet de backup te testen op goede werking

[Squee]

Nog even een kleine update nu we twee weken verder zijn...

Gisteravond voor de tweede keer succesvol te tape omgewisseld, dus ook bij mij lijkt het 3e exemplaar dan eindelijk wel goed te werken. Ik heb ook meteen geprobeerd om de backup van de tape van twee weken geleden te lezen en dat werkte ook prima! Ik ben nu ook elke keer extreem super voorzichtig met het in/uit laden van een tape, bijna tot aan het paranoide toe, maar tot nu toe gaat het goed.

Ik kreeg ook iets meer dan een week geleden te horen van onze secretaresse dat iemand van HP uit Londen voor mij had geprobeerd te bellen, maar aangezien ik maar op een dag in de week overdag daar aanwezig ben zou hij nog op die dag terug bellen, het zou niet dringend zijn. Nu hebben ze die dag niet meer gebeld, maar ik ben toch wel nieuwsgierig waarvoor ze zouden bellen... want het zal wel met die tapedrives te maken hebben gok ik!

Nou goed, bedankt allemaal in ieder geval, en volgens mij kan ik het in twee tips samenvatten omtrend de Ultrium 920; a) Heb veel geduld en wees super voorzichtig, b) (waarschijnlijk) het mt commando niet met deze drive gebruiken.