SATA/600 interface voor mechanische opslag, heeft dat zin?

[Snowwie]

Sata-600, oftewel een maximale snelheid van 6Gbit/s, of 750MB/s.

Nu zie ik in de Pricewatch een hoop harde schijven staan met interne schijf bus: 'sata-600'.
Echter de snelste schijf in de Pricewatch, de pricewatch: HGST Deskstar NAS, 6TB haalt een maximale sequentiële snelheid van 252MB/s. Dat is zelfs nog ruim 120MB/s langzamer dan sata-300.

Wat voegt het dan toe dat een harde schijf in z'n specificaties als zijnde 'sata-600' schijf wordt bestempeld?

[TERW_DAN]

Burstspeeds van 't cachegeheugen kunnen het gebruiken.
Verder is het natuurlijk net zo handig gewoon de nieuwste interface te implementeren, ook al haalt de HDD dat niet.

[Twarp]

SSD kan dit goed gebruiken ...

[TERW_DAN]

Ja, maar het gaat hier juist om mechanische disks, die hebben er niet zo heel erg veel aan, die trekken de 3Gbps snelheden nog niet eens heel vol, op de burstspeeds na.

[Twarp]

Oke, hybride disks dan ...

[Xudonax]

Niet geheel gerelateerd, maar SATA gebruikt een 8b10b coding, dus je mag de gigabitjes gewoon door 10 delen

Verder, voor alle niet-SSD schijven is op dit moment alles boven de SATA 2 (300MB/s) overkill.

[Daedalus]

SATA revision 3 (waar we het hier over hebben) bied niet alleen een hogere pieksnelheid, maar ook tal van andere verbeteringen zoals nieuwere connectoren, verbeteringen aan NCQ voor o.a. streaming en betere energiebeheer. Dus ja, de pieksnelheid van 6Gb/s is overkill voor iedere mechanische harde schijf, maar een betere respontiviteit en latency zijn welkome verbeteringen.

[Snowwie]

Maar daar merk je in het dagelijks gebruik weinig van.

Een hdd met als kenmerk "Sata-600" is bijna hetzelfde als computerluidsprekers met 1.000 watt pmpo.

Verkooptactiek dus.

[johnkeates]

Het is vooral goedkoper voor de fabrikant en de chipmakers, en makkelijker voor de ontwerpers. Daarnaast is SATA3 zoals eerder geschreven echt niet slechts 'wat meer snelheid dan de vorige versie'. Ik weet dat veel mensen opvolgende bussen wel zo zien, maar in de praktijk is het eigenlijk altijd een algehele verbetering op basis van informatie over het gebruik van de vorige versie. Voor consumenten maakt het verder geen zak uit, die hebben vooral baat bij lage seek times, alles wat meer dan 100MB/sec doet biedt in de praktijk weinig voordeel voor mail-type-internet-youtube mensen.

[_Dune_]

Titel aangepast, zodat deze de lading dekt.

Oude titel: "Sata-600 harddisk?".

[Verwijderd]

SATA/600 heeft ook een klein beetje zin voor hardeschijven. Om dezelfde reden dat het ook zin heeft voor SSDs die 20MB/s aan random I/O doen. Dan heeft SATA/600 versus SATA/300 ook een voordeel. Het is dus niet zo dat je eerst over de 250-300MB/s moet komen om pas voordeel van SATA/600 te hebben.

De oorzaak ligt hem in de propagation delay - dat is de vertraging van de interface. Om 100MB/s over een 6Gbps verbinding te versturen kost 1/6e seconde; dat is dubbel zo snel als 100MB/s over een 3Gbps verbinding. De latency van de interface zelf halveert dus. Echter, door buffering (read-ahead en write-buffering) wordt de vertraging van de interface niet of minder belangrijk, omdat tijdens dat de interface bezig is met I/O de hardeschijf intern alweer verder kan met andere I/O zodat dit gedeelte nooit stil komt te liggen. Echter, bij blocking random I/O kan de schijf niet alvast verder, omdat het niet kan voorspellen wat de volgende I/O zou zijn zoals wel kan met sequential I/O. Gevolg is dat bij blocking I/O de propagation delay te merken is in benchmarks. Om deze reden zul je een SSD met 20MB/s aan random read op SATA/300 bijvoorbeeld als 28MB/s op SATA/600 kunnen benchmarken. Dat lijken kleine verschillen, maar omdat dit het allerbelangrijkste performancespec is, zal elke verbetering hier direct doorstromen naar een heleboel gebruikssituaties en dus 'overal' een kleine performanceboost geven.

Bij mechanische schijven is dit effect veel moeilijker te meten. Dit komt omdat een hardeschijf bij random I/O niet snel genoeg is. Als 4K lezen al 16 milliseconde duurt, dan valt de propagation delay daarbij in het niet.

Grofweg zou ik stellen dat de interface minimaal twee keer zo snel moet zijn als het apparaat, wil je zorgen dat de interface zelf geen bottleneck wordt. Zo zorg je voor voldoende lege plekken op de interface zodat de interface maar heel zelden voor extra latency zorgt. Want stel je disk doet 500MB/s en je hebt een SATA/600 interface, dan zit de interface helemaal volgeboekt en dat betekent dat je de 500MB/s mogelijk niet helemaal haalt omdat er her en der toch kleine plukjes onbenutte I/O-tijd op de interface voorkomt. Dit voorkom je door de interface twee keer zo snel te maken. Dan is er sowieso 50% van de interface beschikbaar en is de kans dat je op een moment interface-bandbreedte tekort komt een stuk kleiner. Net als met CPU-tijd gaat echte performance om latency: als de I/O een klein beetje moet wachten voordat het de interface op mag, dan telt dat mee als performancedegradatie. De meest ideale situatie is dat de latency 0 is. Als op alle vlakken de latency 0 zou zijn, zou dit betekenen dat de I/O een oneindig hoge snelheid bereikt. Performance druk je dus het beste uit in latency omdat dit het gene is dat er echt toe doet. Alle andere getallen zijn er zodat wij mensen dit gemakkelijker kunnen begrijpen. Maar uiteindelijk is latency dé manier om I/O performance in uit te drukken. En de latency van de kabel - interface propagation delay - is onderdeel van de totale latency, normaliter maar een klein en insignificant deel.

[tvwes]

Verwijderd schreef op zaterdag 16 mei 2015 @ 13:05:
SATA/600 heeft ook een klein beetje zin voor hardeschijven. Om dezelfde reden dat het ook zin heeft voor SSDs die 20MB/s aan random I/O doen. Dan heeft SATA/600 versus SATA/300 ook een voordeel. Het is dus niet zo dat je eerst over de 250-300MB/s moet komen om pas voordeel van SATA/600 te hebben.

De oorzaak ligt hem in de propagation delay - dat is de vertraging van de interface. Om 100MB/s over een 6Gbps verbinding te versturen kost 1/6e seconde; dat is dubbel zo snel als 100MB/s over een 3Gbps verbinding. De latency van de interface zelf halveert dus.

...

Performance druk je dus het beste uit in latency omdat dit het gene is dat er echt toe doet. Alle andere getallen zijn er zodat wij mensen dit gemakkelijker kunnen begrijpen. Maar uiteindelijk is latency dé manier om I/O performance in uit te drukken. En de latency van de kabel - interface propagation delay - is onderdeel van de totale latency, normaliter maar een klein en insignificant deel.

@Cipher, je conclusie in de laatste zin mbt tot kabel onderschrijf ik, de intro niet.
Uiteindelijk nuanceer of zelfs corrigeer je jezelf aangaande de propagation delay. Dat is grofweg 5 ns per meter (in koper). Dit is onafhankelijk van de bitrate. Wat je denk ik bedoeld is de transmissie tijd, dat de frame grootte / bitrate. Die halveert wel. Propagation delay samen met transmissie tijd = de latency van de link. Dus zoals je zelf al schrijft de propagation delay is (in een sata kabel) niet echt een grote factor.

@alle lezers,

Ja, zelfs een mechanische disk heeft voordelen bij een snelle interface. De command latency zal lager zijn wat altijd goed is. Alleen met ZFS is mijn ervaring dat het nauwelijks uitmaakt. Wanneer heeft een lagere latency zin? Als je niets op de roterende media hoeft te doen. Dus zolang het in de write buffer past en in de read cache zit heeft het zin. In dat laatste geval wint de ARC bijna altijd. Ik heb daar wel eens aan gemeten. "Hoe vaak was na een ARC miss er wel een disk cache hit?" Zelden (bij die workload) De ARC is heel slim en veel groter dan je disk cache. Zodra er een cache miss is en je moet lezen vanaf de media maakt de interface latency weinig meer uit. En als je gaat schrijven is de txg (bijna altijd) zo groot dat het niet in write buffer van de disk past en dat je weer moet wachten tot het echt is weggeschreven. Ook heb ik wel eens de link speed terug gezet naar 3GB/sec. En wat benchmarks gedaan en zag een minimale performance degradatie. Ik zal dit experiment weer eens op zetten. Uiteindelijk heeft het allemaal nauwelijks zin om je hier druk over te maken bij gigabit ethernet. Dat is al heel snel de bottleneck.

Wat ook terecht in het topic werd opgemerkt is dat bij SATA en SAS revisies het niet alleen een snelheids verhoging betreft maar dat er ook nieuwe features aan worden toegevoegd die nuttig zijn.

Latency is niet dé manier om I/O performance in uit te drukken. Het is een (belangrijke) metric. Sommige toepasssingen zijn gevoeliger voor latency dan andere. Alleen als je alles in beschouwing neemt (applicatie, protocols, os, drivers en hardware) kan je echt goed analyzeren waar de problemen zich bevinden. Stukjes bekijken heeft vaak weinig zin.
Wel is het zo dat latency, en vooral de sd, ondergewaarde metrics zijn. Helaas is het vaak moeilijk om goede metingen te doen. En daar komt ie dan ... tromgeroffel ...

DTRACE

Zit ook in FreeBSD en OSX en zelfs tegenwoordig voor Linux als loadable module beschikbaar(ivm de licence net als ZFS)
Dit is (bijna) de enige en laatste performance tool die je nodig hebt. Je kan hiermee alles (drivers, kernel, applicaties en protocollen) analyseren, meten en debuggen in een live systeem met minimale impact. Ja het is allemaal niet eenvoudig maar voor het recht toe recht aan meet werk zijn er tientallen scripts en oneliners zo te downloaden. DTrace kan je, in een live systeem, de latency geven van iedere call. Ja dat lees je goed: iedere functie kan je tracen. (Nu ga je pas echt gebruik maken van het feit dat je oss gebruikt) Vaak kies je handige punten, bijvoorbeeld rw's op de VFS layer.
Op een paar standaard micro benchmarks/testsuites na doe ik de bulk van mijn onderzoek met DTrace. Ik hoef niets te installeren, ik verstoor niets en heb kan alles bekijken wat ik wil. DTrace was echt een "game changer" en een "live saver" voor mij. Ik snap dat dit soort tools te veel van het goede zijn voor sommige hier maar aan de andere kant vind ik ook dat we wel constant op zoek moeten zijn naar nieuwe en vooral slimmere dingen. DTrace is zoiets, ook al is het zeker niet nieuw het is wel ongelofelijk slim.

Hieronder voor de liefhebber een shitload een nuttig data uit een enkel standaard dtrace script.
Ziet iemand iets vreemds in de output?

code:

dtrace: script 'diskstacklatency.d' matched 27 probes
^C
CPU     ID                    FUNCTION:NAME
  6      2                             :END
fop_read (per process)
  init                                                ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@                                      1
            2048 |@@@@@@@@@@@@@@@                          6
            4096 |@@@                                      1
            8192 |@@@                                      1
           16384 |@@@@@@@@                                 3
           32768 |@@@                                      1
           65536 |                                         0
          131072 |@@@                                      1
          262144 |@@@@@                                    2
          524288 |                                         0

  nfsmapid                                            ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@@@@@@@@                                3
            4096 |@@@@@@@@@@@                              4
            8192 |                                         0
           16384 |@@@                                      1
           32768 |@@@@@@                                   2
           65536 |                                         0
          131072 |                                         0
          262144 |@@@@@@@@@@@                              4
          524288 |                                         0

  nscd                                                ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@                                       1
            2048 |@@@@@@@@@@@@@@                           7
            4096 |                                         0
            8192 |@@                                       1
           16384 |@@@@@@@@@@@@                             6
           32768 |@@                                       1
           65536 |                                         0
          131072 |                                         0
          262144 |@@@@@@@@                                 4
          524288 |                                         0

  utmpd                                               ns
           value  ------------- Distribution ------------- count
            2048 |                                         0
            4096 |@@@@@@                                   3
            8192 |                                         0
           16384 |@@@@@@@@                                 4
           32768 |@@@@                                     2
           65536 |                                         0
          131072 |@@                                       1
          262144 |@@@@@@@@@@@@@@@@@@@@                     10
          524288 |                                         0

  python2.7                                           ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |                                         10
            2048 |@                                        16
            4096 |@@@@@@                                   135
            8192 |@@@@@@@@@@@@@@@                          315
           16384 |@@@@@@@@@@@@@                            274
           32768 |                                         7
           65536 |                                         1
          131072 |@@                                       38
          262144 |@                                        17
          524288 |                                         4
         1048576 |                                         5
         2097152 |                                         0
         4194304 |                                         1
         8388608 |                                         3
        16777216 |                                         6
        33554432 |                                         1
        67108864 |                                         2
       134217728 |                                         1
       268435456 |                                         0


fop_write (per process)
  dhcpagent                                           ns
           value  ------------- Distribution ------------- count
          131072 |                                         0
          262144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ 1
          524288 |                                         0

  python2.7                                           ns
           value  ------------- Distribution ------------- count
            4096 |                                         0
            8192 |@                                        9
           16384 |@@@@@                                    37
           32768 |@@@@@@@@@                                70
           65536 |@@@@@@@                                  51
          131072 |@@@                                      22
          262144 |@@@@@@@@@@@@@@@                          114
          524288 |@                                        5
         1048576 |                                         0


zfs_write (per process)
  dhcpagent                                           ns
           value  ------------- Distribution ------------- count
          131072 |                                         0
          262144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ 1
          524288 |                                         0

  python2.7                                           ns
           value  ------------- Distribution ------------- count
            4096 |                                         0
            8192 |@@                                       14
           16384 |@@@@@@                                   47
           32768 |@@@@@@@@@@                               75
           65536 |@@@@                                     32
          131072 |@@@                                      21
          262144 |@@@@@@@@@@@@@@@                          115
          524288 |@                                        4
         1048576 |                                         0


zio_wait (per process)
  dhcpagent                                           ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@@@@@@@@@@@@                            1
            4096 |@@@@@@@@@@@@@@@@@@@@@@@@@@@              2
            8192 |                                         0

  init                                                ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@@@@                                    1
            4096 |@@@@@@@@@@@@@@@@@@@@@@@@@                5
            8192 |@@@@@@@@@@                               2
           16384 |                                         0

  nfsmapid                                            ns
           value  ------------- Distribution ------------- count
            2048 |                                         0
            4096 |@@@@@@@@@@@                              2
            8192 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@            5
           16384 |                                         0

  nscd                                                ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@@@@@@                                  2
            4096 |@@@@@@@@@@@@@@@@@@@@@@@@@@@              8
            8192 |@@@@@@@                                  2
           16384 |                                         0

  zpool-rpool                                         ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@@@                                    3
            2048 |@@@@@@@@@@@@@@@@@@@@@@@                  15
            4096 |@@@@@@@@                                 5
            8192 |@@@@@                                    3
           16384 |                                         0

  utmpd                                               ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@                                       1
            4096 |@@@@@@@@@@@@@@@@@@@                      8
            8192 |@@@@@@@@@@@@@@@@@@@                      8
           16384 |                                         0

  zpool-mpool                                         ns
           value  ------------- Distribution ------------- count
            1024 |                                         0
            2048 |@@@@@@@                                  134
            4096 |@@@@@@@@@@@@@@@@@@@@@@@                  428
            8192 |@@@@@@@@@@                               190
           16384 |                                         0
           32768 |                                         2
           65536 |                                         0
          131072 |                                         1
          262144 |                                         0

  python2.7                                           ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@@                                     129
            2048 |@@@@@@@@@@@@                             412
            4096 |@@@@@@@@@@@@@@@@@@@@@                    744
            8192 |@@@                                      99
           16384 |                                         0
           32768 |                                         0
           65536 |                                         0
          131072 |                                         3
          262144 |                                         5
          524288 |                                         9
         1048576 |                                         2
         2097152 |                                         0
         4194304 |                                         1
         8388608 |                                         4
        16777216 |                                         8
        33554432 |                                         1
        67108864 |                                         3
       134217728 |                                         1
       268435456 |                                         0

  sched                                               ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@@@@                                   342
            2048 |@@@@@@@@@@@@@@@@@@@@@@@@                 1299
            4096 |@@@@                                     215
            8192 |@                                        28
           16384 |                                         0
           32768 |                                         0
           65536 |                                         0
          131072 |                                         0
          262144 |                                         4
          524288 |@                                        36
         1048576 |@                                        52
         2097152 |@@                                       128
         4194304 |                                         26
         8388608 |                                         7
        16777216 |                                         1
        33554432 |                                         5
        67108864 |@                                        28
       134217728 |@                                        32
       268435456 |                                         0


zio_vdev_io_done (per process)
  python2.7                                           ns
           value  ------------- Distribution ------------- count
             256 |                                         0
             512 |@                                        2
            1024 |@@@@@                                    13
            2048 |@@@@@@@@@@@@@@@@@@@@@@@@@@@              66
            4096 |@@@@@@@                                  16
            8192 |                                         1
           16384 |                                         0

  zpool-rpool                                         ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@@@@@@@@@@@                            86
            2048 |@@@@@@@@@@@@@@@                          97
            4096 |@@@                                      19
            8192 |@@@                                      17
           16384 |@@@                                      16
           32768 |@@@                                      19
           65536 |                                         1
          131072 |                                         0

  zpool-mpool                                         ns
           value  ------------- Distribution ------------- count
             256 |                                         0
             512 |                                         58
            1024 |@@@@@@@@@@                               8106
            2048 |@@@@@@@@@@@@@@@@@                        13541
            4096 |@@@                                      2343
            8192 |@@                                       1530
           16384 |@@@@                                     3039
           32768 |@@@                                      2730
           65536 |                                         305
          131072 |                                         95
          262144 |                                         111
          524288 |                                         5
         1048576 |                                         0


Disk io read's   sd8 (193,512), us:

           value  ------------- Distribution ------------- count
              64 |                                         0
             128 |@@@@@                                    1
             256 |                                         0
             512 |                                         0
            1024 |                                         0
            2048 |                                         0
            4096 |                                         0
            8192 |@@@@@@@@@@                               2
           16384 |@@@@@@@@@@@@@@@@@@@@                     4
           32768 |@@@@@                                    1
           65536 |                                         0

   sd6 (193,384), us:

           value  ------------- Distribution ------------- count
              64 |                                         0
             128 |@@@@@@                                   1
             256 |                                         0
             512 |                                         0
            1024 |                                         0
            2048 |                                         0
            4096 |@@@@@@                                   1
            8192 |@@@@@@                                   1
           16384 |@@@@@@                                   1
           32768 |@@@@@@@@@@@                              2
           65536 |@@@@@@                                   1
          131072 |                                         0

   sd7 (193,448), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@                                     1
             128 |@@@@@@@@                                 2
             256 |                                         0
             512 |                                         0
            1024 |                                         0
            2048 |                                         0
            4096 |                                         0
            8192 |@@@@                                     1
           16384 |@@@@@@@@@@@@                             3
           32768 |@@@@                                     1
           65536 |@@@@@@@@                                 2
          131072 |                                         0

   sd4 (193,256), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@                                    3
             128 |@@@@@@@@@@@@@@@                          9
             256 |@@@@@@@                                  4
             512 |                                         0
            1024 |                                         0
            2048 |                                         0
            4096 |                                         0
            8192 |@@@                                      2
           16384 |@@@@@@@                                  4
           32768 |@@                                       1
           65536 |                                         0
          131072 |@@                                       1
          262144 |                                         0

Disk io read averages
   sd4 (193,256), us:14621
   sd8 (193,512), us:19009
   sd7 (193,448), us:29314
   sd6 (193,384), us:29844

Disk io write's   sd3 (193,192), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@@@@@@@@@                            22
             128 |@@@@@@@@@@@@@@@@@@@@@@@@@@               43
             256 |                                         0
             512 |                                         0
            1024 |@                                        2
            2048 |                                         0

   sd4 (193,256), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@@@@@@@@@@@@@@@@@                    1108
             128 |@@@@@@@@@@@@@@@@                         828
             256 |@@@                                      162
             512 |@                                        29
            1024 |                                         1
            2048 |                                         1
            4096 |                                         1
            8192 |                                         1
           16384 |                                         0

   sd6 (193,384), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@@@@@@@@@@@@@@@@@@                   1187
             128 |@@@@@@@@@@@@@@                           763
             256 |@@@                                      157
             512 |                                         26
            1024 |                                         3
            2048 |                                         1
            4096 |                                         1
            8192 |                                         0
           16384 |                                         1
           32768 |                                         0

   sd8 (193,512), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@@@@@@@@@@@@@@@@@                    1183
             128 |@@@@@@@@@@@@@@@@                         893
             256 |@@@                                      177
             512 |                                         28
            1024 |                                         9
            2048 |                                         2
            4096 |                                         1
            8192 |                                         2
           16384 |                                         0

   sd7 (193,448), us:

           value  ------------- Distribution ------------- count
              32 |                                         0
              64 |@@@@@@@@@@@@@@@@@@@@@@@                  1305
             128 |@@@@@@@@@@@@@@                           800
             256 |@@@                                      172
             512 |                                         24
            1024 |                                         10
            2048 |                                         1
            4096 |                                         2
            8192 |                                         1
           16384 |                                         0
           32768 |                                         4
           65536 |                                         0

Disk io write averages
   sd6 (193,384), us:160
   sd4 (193,256), us:161
   sd8 (193,512), us:169
   sd3 (193,192), us:181
   sd7 (193,448), us:224

mptsas_scsi_start(per process)
  python2.7                                           ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@                                       2
            2048 |@@@                                      4
            4096 |@@@@@@@@@@@@@@@@@@@@@@@@                 30
            8192 |@@@@@@@@@@@                              13
           16384 |                                         0

  sched                                               ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@@@@@@@@                                 50
            2048 |@@@@@@@@@@@@@@@@@@@@@                    125
            4096 |@@@@@@@@@@@                              65
            8192 |                                         0

  zpool-mpool                                         ns
           value  ------------- Distribution ------------- count
             512 |                                         0
            1024 |@                                        191
            2048 |@@@@@@@@@@@@@@                           3079
            4096 |@@@@@@@@@@@@@@@@@@@                      4320
            8192 |@@@@@                                    1219
           16384 |                                         26
           32768 |                                         32
           65536 |                                         6
          131072 |                                         7
          262144 |                                         3
          524288 |                                         1
         1048576 |                                         0