3TB, GPT, Extern: werkt goed in Windows, niet in Linux, of..

Pagina: 1
Acties:

Vraag


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Heb een vreemd probleempje met een 3TB schijf. Ik gebruik 'm al jaren naar tevredenheid als opslag als tweede schijf in een machine met Windows. Werkt prima. Nu dacht ik hem in een externe behuizing te schuiven, wat ook prima werkt. Echter, zodra ik hem op een Linux bak aansluit (heb er nu twee geprobeerd, zelfde probleem), kan ik niet mounten met de foutmelding: "Can't have a partition outside the disk".

Met fdisk en parted kan ik echter wel gewoon de schijf zien. Hieronder de parted output:
code:
1
2
3
4
5
6
7
8
9
Model: TOSHIBA USB 3.5"-HDD (scsi)
Schijf /dev/sdc: 802GB
Sectorgrootte (logisch/fysiek): 512B/512B
Partitietabel: gpt
Schijfvlaggen: 

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                          Vlaggen
 1      17.4kB  134MB   134MB                     Microsoft reserved partition  msftres
 2      30.1GB  3001GB  2970GB   ntfs             Basic data partition          msftdata

Terwijl de partities juist herkend worden (grootte, type locatie kloppen allemaal, had inderdaad wat extra ruimte voor de grote partitie vrij gehouden), gaat het mis doordat de grootte van de schijf verkeerd herkend wordt: 802GB.

Nu vind ik heel wat problemen met mensen die 3TB schijven en Linux proberen samen laten te werken, maar ik zie niemand terug waar parted op zich de juiste partitie info geeft. Ook is het soms de externe behuizing die schuldig is, maar desondanks wordt dus wel de juiste partitie gelezen, en ik Windows werkt ie prima.

Iemand enig idee?

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos

Beste antwoord (via Brent op 09-07-2016 13:08)


  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Brent schreef op zaterdag 09 juli 2016 @ 11:31:
sg_readcap /dev/sdc
code:
1
2
3
4
5
Read Capacity results:
   Last logical block address=1565565871 (0x5d50a3af), Number of blocks=1565565872
   Logical block length=512 bytes
Hence:
   Device size: 801569726464 bytes, 764436.5 MiB, 801.57 GB
Nou, daar komt de aap uit de mouw. READ CAPACITY(10) retourneert een foute waarde - je laatste LBA ligt voorbij 2^32, dan zou hij hier 0xffffffff moeten geven als teken dat de disk capacity te groot is voor dit commando.

Maar dat gebeurt niet (ipv. daarvan krijg je een truncated value), dus die enclosure voldoet niet aan de SCSI specs. Dat vermoeden hadden we al, nu hebben we ook het bewijs.
sg_readcap -l /dev/sdc
code:
1
READ CAPACITY (16) failed: Illegal request, invalid opcode
En dat is dan weer het commando dat wel zou moeten werken om de disk uberhaupt met volledige capaciteit te kunnen gebruiken.

Feit dat dit ook niet lijkt te werken doet me afvragen hoe het kan dat het onder Windows wel werkt - er is immers geen manier om de werkelijke capaciteit uit te lezen behalve via SMART?

tl;dr: uitzichtloos

Alle reacties


Acties:
  • 0 Henk 'm!

  • hcQd
  • Registratie: September 2009
  • Laatst online: 20:00
Schijf wordt herkent als 802GB, waarschijnlijk een beperking van de USB-SATA bridge in de externe behuizing.

Acties:
  • 0 Henk 'm!

  • Blokker_1999
  • Registratie: Februari 2003
  • Laatst online: 13:50

Blokker_1999

Full steam ahead

Om eventueel de externe behuizing uit te sluiten kan je eens proberen de schijf in je linux systeem te steken.

No keyboard detected. Press F1 to continue.


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
hcQd schreef op donderdag 07 juli 2016 @ 20:47:
Schijf wordt herkent als 802GB, waarschijnlijk een beperking van de USB-SATA bridge in de externe behuizing.
Kan het zo zijn dat die herkenning van het OS afhangt? Windows heeft er zoals gezegd geen enkele moeite mee gehele 3TB aan te spreken.
Blokker_1999 schreef op vrijdag 08 juli 2016 @ 09:02:
Om eventueel de externe behuizing uit te sluiten kan je eens proberen de schijf in je linux systeem te steken.
Helaas kan dat niet omdat die systemen een laptop en een Pi zijn...

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Blokker_1999
  • Registratie: Februari 2003
  • Laatst online: 13:50

Blokker_1999

Full steam ahead

PC met een live CD/DVD?

Kijk, er zijn verschillende mogelijke orozaken. Dan is het een kwestie van elimineren voordat je de oplossing kan gaan zoeken. Dit is 1 van de eenvoudigste eliminatiemethodes.

[ Voor 79% gewijzigd door Blokker_1999 op 08-07-2016 09:21 ]

No keyboard detected. Press F1 to continue.


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Ja dat zou kunnen. Zal het vanavond doen als ik tijd heb. Echter, dan blijft de vraag: kennelijk is het probleem dan niet zozeer de behuizing, alswel Linux die hem niet juist kan aanspreken?

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Starke
  • Registratie: Juli 2009
  • Laatst online: 13:38
Linux zou gewoon GPT aan moeten kunnen spreken zelfs Knoppix kan mijn raid 6 van 5TB mounten zonder problemen.

Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Brent schreef op vrijdag 08 juli 2016 @ 09:16:
Kan het zo zijn dat die herkenning van het OS afhangt? Windows heeft er zoals gezegd geen enkele moeite mee gehele 3TB aan te spreken.
Voor de duidelijkheid, onder Windows is zonder de behuizing?

Ik ben het eens met hcQd, het is waarschijnlijk een limitatie van de behuizing. Heb je gekeken wat voor controller er gebruikt wordt (lsusb)? Misschien dat er nog wat over te vinden is elders op internet?

Meestal gaat het bij enclosures fout met de physical sector size (512 ipv. 4096) bij AF disks, maar hier klopt je partitietabel alsnog met de (naar ik aanneem foute) phys sector size van 512, wat weer impliceert dat je hem toch geformatteerd hebt terwijl hij (onder Windows) aan dezelfde enclosure hing...

Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Thralas schreef op vrijdag 08 juli 2016 @ 10:22:
[...]


Voor de duidelijkheid, onder Windows is zonder de behuizing?
Met en zonder.

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

Linux heeft sowieso geen probleem met 3 TB schijven en groter. Mijn PC bevat een 3 TB schijf en m'n HTPC heeft er 2 daarvan.

Hoe mount je de schijf? En wat is die 134 MB partitie vooraan? Wat staat daar op? Wat doet het, waar dient het voor? Deze start ook veel eerder dan op mijn 3 TB schijf:
code:
1
2
3
4
5
6
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB  ext4         primary  msftdata


Als je ergens anders nog genoeg vrije ruimte hebt om de schijf opnieuw in te delen, zou ik de partities opnieuw maken op de schijf. Want blijkbaar is er iets mis met de indeling en pointers waar wat staat/begint/eindigd. En de sector size is anders, kan ook aan de format liggen.

[ Voor 9% gewijzigd door Hero of Time op 08-07-2016 11:20 ]

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Dat 3TB op zich geen probleem is snap ik.

Ik heb het idee dat er een fout zit in hoe de grootte wordt herkend, niet de partitietabel (de partitie vooraan heeft Windows erin gezet). Die laatste wordt immers geheel correct herkend. Ik zie veel commentaren dat Linux en USB-Sata bruggen vaak het oneens zijn over 512b/4Kb issues. De enige verklaring die ik kan bedenken is dat de driver die Linux heeft niet lekker werkt op de brug in deze behuizing, terwijl Windows kennelijk wel een driver heeft die het doet zoals 't zou moeten. Ik lees alleen nergens hints terug over of dit inderdaad zo kan zijn. De oplossing is meestal een andere behuizing (indien de grootte verkeerd herkend word zoals hier) of herformatteren (indien het probleem gelegen is in 512b/4Kb issues).

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Lijkt me irrelevant.
En wat is die 134 MB partitie vooraan? Wat staat daar op? Wat doet het, waar dient het voor?
Een Microsoft reserved partitie. Krijg je ongetwijfeld cadeau als je format onder Windows.
Deze start ook veel eerder dan op mijn 3 TB schijf:
Omdat jij 'm met een Linux partitioning utility hebt geformatteerd.
Want blijkbaar is er iets mis met de indeling en pointers waar wat staat/begint/eindigd.
Nee, dat is allemaal prima volgens TS. Je ziet ook dat de datapartitie eindigt op 3 TB.
En de sector size is anders, kan ook aan de format liggen.
Dat is een artefact van die enclosure, om redenen die ik in m'n vorige post benoemde. Als je de schijf 'direct' aansluit krijg je waarschijnlijk wel een correcte physical sector size te zien.

Het feit dat TS claimt dat het zowel met als zonder enclosure werkt onder Windows is wel interessant, als het goed is klopt je GPT niet meer als de sector size verandert. Tenzij deze disk om de een-of-andere reden toch niet AF is, en 512 phys rapporteert.

Maar dat lijkt allemaal niet direct relevant voor het probleem in kwestie - de gelimiteerde sector size.
De enige verklaring die ik kan bedenken is dat de driver die Linux heeft niet lekker werkt op de brug in deze behuizing, terwijl Windows kennelijk wel een driver heeft die het doet zoals 't zou moeten. Ik lees alleen nergens hints terug over of dit inderdaad zo kan zijn.
Wat voor controller wordt er nu gebruikt? Dat heb ik je nog steeds niet zien vermelden.

En waarschijnlijk is het ook wel zinvol om hdparm -I te posten (als dat wil met de controller ertussen, soms kan dat alsnog met de juiste SCSI passthrough flags).

[ Voor 11% gewijzigd door Thralas op 08-07-2016 11:46 ]


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Ben nu op 't werk, vanavond zal ik lsusb en hdparm -I draaien met de behuizing ertussen. En inderdaad, omdat het prima werkt in Windows (met en zonder behuizing, daar ben ik heel zeker van ;) ), vind ik het probleem zo vreemd. Als het de controller is zou je verwachten dat het OS niet uitmaakt.

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

Lijkt mij juist wel relevant. Want als hij het via z'n file manager doet, worden er extra opties meegegeven die mogelijk in de weg gaan zitten.
[...]

Een Microsoft reserved partitie. Krijg je ongetwijfeld cadeau als je format onder Windows.
En die kan mogelijk wat extra info bevatten waar Windows mee werkt om de schijf fatsoenlijk te zien en gebruiken. Ik wil toch echt weten wat 't nou doet, waar 't voor dient. Voordat er een backup is gemaakt nog maar niet weggooien, maar ben wel benieuwd wat er gebeurt als de partitie weggegooid wordt.
[...]

Omdat jij 'm met een Linux partitioning utility hebt geformatteerd.
Uiteraard, maar zelfs het aanmaken met een lager begin gaat de tool klagen, waarschijnlijk vanwege de extra opties die GPT met zich meebrengt.
[...]

Nee, dat is allemaal prima volgens TS. Je ziet ook dat de datapartitie eindigt op 3 TB.
Ik bedoelde van het file system zelf, niet de partitiegegevens. Nu ik er zo over nadenk, kan het ook een beperking zijn van de NTFS driver, al lijkt mij dat onwaarschijnlijk.
[...]

Dat is een artefact van die enclosure, om redenen die ik in m'n vorige post benoemde. Als je de schijf 'direct' aansluit krijg je waarschijnlijk wel een correcte physical sector size te zien.

Het feit dat TS claimt dat het zowel met als zonder enclosure werkt onder Windows is wel interessant, als het goed is klopt je GPT niet meer als de sector size verandert. Tenzij deze disk om de een-of-andere reden toch niet AF is, en 512 phys rapporteert.

Maar dat lijkt allemaal niet direct relevant voor het probleem in kwestie - de gelimiteerde sector size.
Of wel, en werkt Windows daar omheen via de driver.

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Linux kan de schijf niet mounten, file manager noch mount, met de foutmelding "Can't have a partition outside the disk". Zie openingspost.

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • mhoogendam
  • Registratie: Oktober 2002
  • Laatst online: 19:33
Probeer eens je Intel RST drivers te updaten.
Hoewel het een ander merk betreft maar toch:
- Als uw systeem de Intel RST-driver gebruikt, kan het lijken alsof uw schijf van 3 TB 800 GB is. Zie ons ondersteuningsartikel over de Intel RST-driver.

[ Voor 7% gewijzigd door mhoogendam op 08-07-2016 12:13 ]


Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

mhoogendam schreef op vrijdag 08 juli 2016 @ 12:12:
Probeer eens je Intel RST drivers te updaten.
Hoewel het een ander merk betreft maar toch:

[...]
Ehm, heb je al gezien waar dit topic staat en heb je de TS gelezen? ;)

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • mhoogendam
  • Registratie: Oktober 2002
  • Laatst online: 19:33
Hero of Time schreef op vrijdag 08 juli 2016 @ 13:30:
[...]

Ehm, heb je al gezien waar dit topic staat en heb je de TS gelezen? ;)
Mijn kennis van Linux is bijna 0,0 maar een snelle zoektocht op RST en Linux gaf toch wat hits. Hierom toch de info gedeeld.

Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

mhoogendam schreef op vrijdag 08 juli 2016 @ 13:59:
[...]

Mijn kennis van Linux is bijna 0,0 maar een snelle zoektocht op RST en Linux gaf toch wat hits. Hierom toch de info gedeeld.
Ware het niet dat RST in die zin Windows only is. ;) Drivers werk je niet zomaar bij, het zit in de kernel. En het staat compleet los van wat hier aan de hand is.

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
De betreffende entry met lsusb -v:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
Bus 001 Device 005: ID 0930:0b09 Toshiba Corp. PX1396E-3T01 External hard drive
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               2.00
  bDeviceClass            0 (Defined at Interface level)
  bDeviceSubClass         0 
  bDeviceProtocol         0 
  bMaxPacketSize0        64
  idVendor           0x0930 Toshiba Corp.
  idProduct          0x0b09 PX1396E-3T01 External hard drive
  bcdDevice            1.12
  iManufacturer           2 
  iProduct                3 
  iSerial                 1 
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength           32
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          4 
    bmAttributes         0xc0
      Self Powered
    MaxPower                2mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              5 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0


hdparm -I:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
/dev/sdc:
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00

ATA device, with non-removable media
    Serial Number:      �@
Standards:
    Likely used: 1
Configuration:
    soft sectored
    head switch time > 15us
    fixed drive
    disk xfer rate <= 5Mbs
    disk xfer rate > 5Mbs, <= 10Mbs
    data strobe offset option
    format speed tolerance gap reqd
    Logical     max current
    cylinders   17218   0
    heads       0   0
    sectors/track   128 0
    --
    bytes/track: 512    bytes/sector: 0
    Logical/Physical Sector size:           512 bytes
    device size with M = 1024*1024:           0 MBytes
    device size with M = 1000*1000:           0 MBytes 
    cache/buffer size  = unknown
Capabilities:
    IORDY not likely
    Cannot perform double-word IO
    R/W multiple sector transfer: not supported
    DMA: not supported
    PIO: pio0

Hoop dat je er iets uit kunt opmaken Thralas, ik niet helaas :/

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Hero of Time schreef op vrijdag 08 juli 2016 @ 12:07:
Lijkt mij juist wel relevant. Want als hij het via z'n file manager doet, worden er extra opties meegegeven die mogelijk in de weg gaan zitten.
Niet als parted al een bogus disk size weergeeft. Dat heeft niets met filesystems te maken.
En die kan mogelijk wat extra info bevatten waar Windows mee werkt om de schijf fatsoenlijk te zien en gebruiken.
De inhoud van een files
Uiteraard, maar zelfs het aanmaken met een lager begin gaat de tool klagen, waarschijnlijk vanwege de extra opties die GPT met zich meebrengt.
Heeft ook niets met GPT van doen. De eerste partitie alignen op 1 MB zorgt er echter voor dat hij altijd aligned is met het onderliggende fysieke medium (sectors of flash blocks).
Of wel, en werkt Windows daar omheen via de driver.
Met 4*802 GB (of GiB) kom ik in geen geval uit op 3 TB lijkt het. Bovendien klopt de sectorsize (512) getuige de GPT (partities beslaan de hele schijf). De disk size lijkt het enige probleem.
Brent schreef op vrijdag 08 juli 2016 @ 18:14:
Hoop dat je er iets uit kunt opmaken Thralas, ik niet helaas :/
Helaas, precies wat ik dacht, hdparm kan er niets mee vanwege die bridge.

Misschien wel met smartctl? En sg_readcap uit sg3_utils (wild idee).

code:
1
2
3
smartctl -d usbsunplus -a /dev/sdX
sg_readcap /dev/sdX
sg_readcap -l /dev/sdX


Laatste wat je zou kunnen doen is de kernel log bekijken (specifiek daar waar de drive gedecteerd wordt, de sd driver print daar ook expliciet het aantal sectors en size van de disk). Al zou je verwachten dat parted dat 1:1 overneemt van de sd driver.

Over de (alleged) sunplus controller in die enclosure is inderdaad weinig vergelijkbaars te vinden. Stap 1 blijft uitvinden waar het nu precies misgaat, met name met die capacity..

Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

Thralas schreef op vrijdag 08 juli 2016 @ 22:41:
[...]

Niet als parted al een bogus disk size weergeeft. Dat heeft niets met filesystems te maken.
Het was mij tot nu niet opgevallen dat er 802GB stond. 8)7 Ik had het domweg niet gelezen, want irrelevant. De partitie info staat tenslotte eronder. Echter is in het verleden ook gebleken dat bepaalde mount opties dit probleem kunnen veroorzaken of omheen kan werken. Niet geschoten is altijd mis. ;)

Schiet mij opeens iets te binnen. De grootte die gemeld wordt, is dat niet iets wat (heel) vroeger als limiet was van het BIOS toen de grote schijven kwamen? Dat je niet groter dan 1 TB kon gebruiken ofzo?

Het is iig even handig om de specs en leeftijd van de andere hardware te noemen. En ook wat het resultaat is van het testen met een live cd op de computer. Als daar geen probleem naar voren komt, kunnen we blijven zoeken maar zit het probleem waarschijnlijk gewoon in de hardware waar de schijf aan gehangen wordt.
[...]

Heeft ook niets met GPT van doen. De eerste partitie alignen op 1 MB zorgt er echter voor dat hij altijd aligned is met het onderliggende fysieke medium (sectors of flash blocks).
Klinkt aannemelijk en herkenbaar toen ik schijven met een MBR indeling ging partioneren. Best slim om te doen eigenlijk.
[...]

Met 4*802 GB (of GiB) kom ik in geen geval uit op 3 TB lijkt het. Bovendien klopt de sectorsize (512) getuige de GPT (partities beslaan de hele schijf). De disk size lijkt het enige probleem.
Ja, die berekening had ik ook even snel gemaakt, en idd, het is niet echt logisch.
[...]

Misschien wel met smartctl? En sg_readcap uit sg3_utils (wild idee).

code:
1
2
3
smartctl -d usbsunplus -a /dev/sdX
sg_readcap /dev/sdX
sg_readcap -l /dev/sdX
Ik betwijfel of die commando's wel wat zinnigs kunnen zeggen over de schijf, en niet weer valse informatie verschaffen vanwege de controller.

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Hero of Time schreef op vrijdag 08 juli 2016 @ 23:20:
Ja, die berekening had ik ook even snel gemaakt, en idd, het is niet echt logisch.
Ik denk dat ik 'm bijna heb. Why my 3TB disk shows an actual size of ~800 GB with several tools except smart tools? (en dan het laatste antwoord).

code:
1
2
3000592982016 = 00101011101010100001010001110110000000000000 (44-bits (48))
 801569726464 =     1011101010100001010001110110000000000000 (40-bits)


Daaronder een opmerking dat een disk natuurlijk met sectors werkt, in dit geval 512 (physical!), dus dan moet je alles 9 naar rechts shiften (2^9=512). Dan valt de laatste sector opeens net boven de 32 bits.

Combineer dat met het feit dat een 3 TB disk met een physical sector size van 512 een beetje een vreemde eend in de bijt is, dan sta ik er toch niet helemaal van te kijken denk ik. Geen idee of er 'echte' disks van 3 TB zijn met 512 b physical sectors..?

EDIT:

De "Can't have a partition outside the disk"-melding uit de TS lijkt afkomstig van parted. Misschien ook aardig om te checken wat gdisk ervan vindt..

[ Voor 8% gewijzigd door Thralas op 09-07-2016 00:10 ]


Acties:
  • 0 Henk 'm!

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 19:28

Hero of Time

Moderator LNX

There is only one Legend

Thralas schreef op zaterdag 09 juli 2016 @ 00:03:
[...]


Ik denk dat ik 'm bijna heb. Why my 3TB disk shows an actual size of ~800 GB with several tools except smart tools? (en dan het laatste antwoord).

code:
1
2
3000592982016 = 00101011101010100001010001110110000000000000 (44-bits (48))
 801569726464 =     1011101010100001010001110110000000000000 (40-bits)


Daaronder een opmerking dat een disk natuurlijk met sectors werkt, in dit geval 512 (physical!), dus dan moet je alles 9 naar rechts shiften (2^9=512). Dan valt de laatste sector opeens net boven de 32 bits.
Mooi gevonden. Maar houd even rekening mee dat het niet afhankelijk is van de architectuur van het OS, mocht je daar heen willen gaan. :)
Combineer dat met het feit dat een 3 TB disk met een physical sector size van 512 een beetje een vreemde eend in de bijt is, dan sta ik er toch niet helemaal van te kijken denk ik. Geen idee of er 'echte' disks van 3 TB zijn met 512 b physical sectors..?
Ik heb de gegevens van mijn 3 TB schijf hier gepost zoals die door parted wordt gezien. 512B/4096B wordt daar weergegeven voor logical/physical, dus idd, 512B physical is niet echt logisch. Maar een USB stick heeft dat wel, en dat is denk wat de USB controller ook doorgeeft. Het is daarom belangrijk om te weten wat de uitvoer is zonder de USB controller er tussen. Ik denk namelijk niet dat de schijf werkelijk 512B sectors heeft. Daarom ook de check in de computer met een live cd, kijken wat het resultaat is met en zonder de enclosure.

Commandline FTW | Tweakt met mate


Acties:
  • 0 Henk 'm!

  • hcQd
  • Registratie: September 2009
  • Laatst online: 20:00
Thralas schreef op vrijdag 08 juli 2016 @ 11:43:
Het feit dat TS claimt dat het zowel met als zonder enclosure werkt onder Windows is wel interessant, als het goed is klopt je GPT niet meer als de sector size verandert. Tenzij deze disk om de een-of-andere reden toch niet AF is, en 512 phys rapporteert.
Ingangen in de partitietabel zijn altijd in logische sectoren, zolang deze 512b is (en dat is ook bij AF het geval) zal deze kloppen.

Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
hcQd schreef op zaterdag 09 juli 2016 @ 00:27:
Ingangen in de partitietabel zijn altijd in logische sectoren, zolang deze 512b is (en dat is ook bij AF het geval) zal deze kloppen.
Je hebt helemaal gelijk. Toch gaat het soms (regelmatig?) fout met USB enclosures tov. direct attached. Dat zal dan gebeuren wanneer de enclosure 4096 bytes logical rapporteert ipv. 512e.

Daarom gaat het ook helemaal goed met de GPT entries en partities zelf, maar finaal stuk als iets de fysieke size van de disk probeert te berekenen.

Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Dank voor het meedenken heren! Hier de gevraagde info:

gdisk:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
GPT fdisk (gdisk) version 1.0.1

Type device filename, or press <Enter> to exit:             
[11:27:37 ~] sudo gdisk /dev/sdc
GPT fdisk (gdisk) version 1.0.1

The protective MBR's 0xEE partition is oversized! Auto-repairing.

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.

Warning! Secondary partition table overlaps the last partition by
4294964337 blocks!
You will need to delete this partition or resize it in another utility.


smartctl -d usbsunplus -a /dev/sdc
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Green
Device Model:     WDC WD30EZRX-00D8PB0
Serial Number:    WD-WCC4N0019095
LU WWN Device Id: 5 0014ee 2b3b88962
Firmware Version: 80.00A80
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 1.5 Gb/s)
Local Time is:    Sat Jul  9 11:29:59 2016 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x02) Offline data collection activity
                    was completed without error.
                    Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:        (41460) seconds.
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    ( 416) minutes.
Conveyance self-test routine
recommended polling time:    (   5) minutes.
SCT capabilities:          (0x7035) SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   178   169   021    Pre-fail  Always       -       6075
  4 Start_Stop_Count        0x0032   099   099   000    Old_age   Always       -       1493
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   087   087   000    Old_age   Always       -       9618
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       591
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       56
193 Load_Cycle_Count        0x0032   187   187   000    Old_age   Always       -       40842
194 Temperature_Celsius     0x0022   121   097   000    Old_age   Always       -       29
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

sg_readcap /dev/sdc
code:
1
2
3
4
5
Read Capacity results:
   Last logical block address=1565565871 (0x5d50a3af), Number of blocks=1565565872
   Logical block length=512 bytes
Hence:
   Device size: 801569726464 bytes, 764436.5 MiB, 801.57 GB


sg_readcap -l /dev/sdc
code:
1
READ CAPACITY (16) failed: Illegal request, invalid opcode


Begin me nu af te vragen of het uberhaupt verstandig is de schijf in de behuizing te laten zitten, ook voor gebruik onder Windows. De behuizing is idd wat ouder (8-10 jaar schat ik).

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • Beste antwoord
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Brent schreef op zaterdag 09 juli 2016 @ 11:31:
sg_readcap /dev/sdc
code:
1
2
3
4
5
Read Capacity results:
   Last logical block address=1565565871 (0x5d50a3af), Number of blocks=1565565872
   Logical block length=512 bytes
Hence:
   Device size: 801569726464 bytes, 764436.5 MiB, 801.57 GB
Nou, daar komt de aap uit de mouw. READ CAPACITY(10) retourneert een foute waarde - je laatste LBA ligt voorbij 2^32, dan zou hij hier 0xffffffff moeten geven als teken dat de disk capacity te groot is voor dit commando.

Maar dat gebeurt niet (ipv. daarvan krijg je een truncated value), dus die enclosure voldoet niet aan de SCSI specs. Dat vermoeden hadden we al, nu hebben we ook het bewijs.
sg_readcap -l /dev/sdc
code:
1
READ CAPACITY (16) failed: Illegal request, invalid opcode
En dat is dan weer het commando dat wel zou moeten werken om de disk uberhaupt met volledige capaciteit te kunnen gebruiken.

Feit dat dit ook niet lijkt te werken doet me afvragen hoe het kan dat het onder Windows wel werkt - er is immers geen manier om de werkelijke capaciteit uit te lezen behalve via SMART?

tl;dr: uitzichtloos

Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Voor de gein net even de schijf overgeplaatst in een wat recentere WD MyBook behuizing. Exact dezelfde symptomen! Windows werkt het als een trein, maar Linux ho maar (weer de "Can't have a partition outside the disk" melding, en een gerapporteerde grootte van ~800GB). Heb het idee dat de Linux drivers een stuk 'gevoeliger' zijn dan Windows: daar is het meestal een kwestie van formatteren en opgelost. Misschien heeft Windows een wat intelligentere detectie van de grootte van schijven.

Vreemd. Inderdaad uitzichtloos ;) Voorlopig zet ik een 2TB in voor de Raspberry Pi (dat was de eigenlijke bestemming van de drive), zie nog wel wat ik met die 3TB doe...

[ Voor 6% gewijzigd door Brent op 09-07-2016 13:20 ]

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos


Acties:
  • 0 Henk 'm!

  • Thralas
  • Registratie: December 2002
  • Laatst online: 30-09 08:10
Nog even gezocht op de 'foute' size in bytes, levert interessante posts op:

Confirm HDD errors were due to USB enclosure not supporting large capacity drives?
Windows 10 gives error when writing to external drive past 2TB

Ofwel, Windows weet de capaciteit op andere wijze te bepalen, maar gaat mogelijk alsnog stuk zodra hij 'voorbij' LBA 2^32 probeert te schrijven.

Acties:
  • 0 Henk 'm!

  • Brent
  • Registratie: September 2001
  • Laatst online: 15:02
Hmm, ik realiseer me dat de drive voor 1.87TB vol is, dus vandaar dat ik nog niet tegen zo'n probleem ben aangelopen. OK, ik neem het zekere voor het onzekere en haal 'm uit de behuizing.

Yes: even getest: krijg nu precies die foutmeldingen. Behuizing(en) => ongeschikt voor 3TB.

[ Voor 20% gewijzigd door Brent op 09-07-2016 13:54 ]

Humanist | Kernpower! | Determinist | Verken uw geest | Politiek dakloos

Pagina: 1