Het grote QNAP topic - Deel 2

[R.G]

schopje met nieuwe info:

Ik kan de raid mounten als read only maar mis folders en data als ik erop rond kijk.

Nadat ik swap memory geregeld heb met 250gb
Een nas met 4x6tb drives waarbij de raid en de storage pool beiden niet meer mounten.:
Ik zie onder een e2fsck_64 :
Eindeloos lang:

code:

File /mypaths/myfile.mkv (inode #86640024, mod time Thu Dec 26 21:0                          9:18 2019)
  has 7 multiply-claimed block(s), shared with 7 file(s):
        ... (inode #113245740, mod time Fri Apr 19 03:49:05 2019)
        ... (inode #348192305, mod time Sun Jun 20 06:00:33 2100)
        ... (inode #356056727, mod time Tue Oct  3 00:27:32 1995)
        ... (inode #357629735, mod time Wed Feb  2 15:48:45 2089)
        ... (inode #162594592, mod time Wed Feb  2 15:48:45 2089)
        ... (inode #113245968, mod time Mon Mar 17 13:05:58 1997)
        ... (inode #343997956, mod time Mon Feb  4 10:10:53 2069)


File -mypaths/Bootstrap-to-WordPress-Theme-Stage3-Video7-720.mp4 (in                          ode #82773050, mod time Thu May  8 21:05:52 2014)
  has 1 multiply-claimed block(s), shared with 1 file(s):
        ... (inode #357564371, mod time Sat Jul 27 04:09:55 2002)
Multiply-claimed blocks already reassigned or cloned.

Als ik dmesg utivoer zie ik dit:

code:

[379662.454510] Buffer I/O error on dev dm-8, logical block 86386804, async page read
[379672.571105] node_check: 5 callbacks suppressed
[379672.571108] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[379672.585180] dm_bm_validate_buffer: 5 callbacks suppressed
[379672.585182] device-mapper: block manager: btree_node validator check failed for block 192126
[379672.599229] Buffer I/O error on dev dm-8, logical block 86369941, lost async page write
[379672.607367] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[379672.616845] device-mapper: block manager: btree_node validator check failed for block 192126
[379672.625379] Buffer I/O error on dev dm-8, logical block 86374934, lost async page write
[379672.633513] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[379672.643004] device-mapper: block manager: btree_node validator check failed for block 192126
[379672.651537] Buffer I/O error on dev dm-8, logical block 86377856, lost async page write
[379672.659663] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[379672.669142] device-mapper: block manager: btree_node validator check failed for block 192126
[379672.677679] Buffer I/O error on dev dm-8, logical block 86380584, lost async page write
[379672.685807] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[379672.695285] device-mapper: block manager: btree_node validator check failed for block 192126
[379672.703825] Buffer I/O error on dev dm-8, logical block 86386804, lost async page write

De drives zijn alle getest met full smart tests, allemaal groen en goed
this comand shows -> pvdisplay

code:

  WARNING: duplicate PV weZK98mBO76YcXCXdMb4UAvJ56WjnoHK is being used from both devices /dev/drbd1 and /dev/md1
  Found duplicate PV weZK98mBO76YcXCXdMb4UAvJ56WjnoHK: using /dev/drbd1 not /dev/md1
  Using duplicate PV /dev/drbd1 from subsystem DRBD, ignoring /dev/md1
  WARNING: duplicate PV weZK98mBO76YcXCXdMb4UAvJ56WjnoHK is being used from both devices /dev/drbd1 and /dev/md1
  Found duplicate PV weZK98mBO76YcXCXdMb4UAvJ56WjnoHK: using /dev/drbd1 not /dev/md1
  Using duplicate PV /dev/drbd1 from subsystem DRBD, ignoring /dev/md1
  --- Physical volume ---
  PV Name               /dev/drbd1
  VG Name               vg1
  PV Size               16.35 TiB / not usable 3.96 MiB
  Allocatable           yes
  PE Size               4.00 MiB
  Total PE              4285081
  Free PE               4524
  Allocated PE          4280557
  PV UUID               weZK98-mBO7-6YcX-CXdM-b4UA-vJ56-WjnoHK

Ook werkt mijn logrotate niet goed.
ik heb in crontab -e dit staan:

code:

*/15 * * * * logrotate -v /opt/etc/logrotate.d/e2fsck_log >> /share/external/DEV3301_1/logs/logrotate.log

Netjes restart gedaan.

in mijn efsck log staat

code:

/share/external/DEV3301_1/logs/fixoutput.txt {
    su admin administrators
    size 14M
    copytruncate
    rotate 4
    compress
    missingok
    notifempty
    create 0640 admin administrators
}

resultaat is:

code:

-rw-r--r-- 1 admin administrators    0 2024-09-21 13:00 fixoutput.txt
-rw-r--r-- 1 admin administrators 346K 2024-09-21 12:58 fixoutput.txt.1.gz
-rw-r--r-- 1 admin administrators 346K 2024-09-21 09:27 fixoutput.txt.2.gz
-rw-r--r-- 1 admin administrators 346K 2024-09-21 06:40 fixoutput.txt.3.gz
-rw-r--r-- 1 admin administrators 374K 2024-09-21 02:55 fixoutput.txt.4.gz
-rw-r--r-- 1 admin administrators    0 2024-09-21 00:38 logrotate.log

in het begin was fixoutput.txt iets van 900mb geworden met de eerste paar e2fsch passes
na 15 minuten werdt het wel txt.1.gz en was de eerste txt weer 0bytes, maar die werdt ook opeens weer 900mb en ging door, er gebeuren rare dingen..


update:
Helaas is de ssh sessie verbroken en is het proces gestopt.. dag alle uren scannen voor niks.. vdomme.

Door een aardlek power outtage..

[R.G]

update met nieuwe aanpak:

code:

[431315.118400] EXT4-fs (dm-8): can't mount with data=, fs mounted w/o journal
[431315.783514] device-mapper: tier: set allocation tier failed
[431691.677989] md: data-check of RAID array md1
[431691.682361] md: Resyncing started: md1
[431691.686207] md/raid:md1: report qnap hal event: type = HAL_EVENT_RAID, action = RESYNCING_START
[431691.694985] md/raid:md1: report qnap hal event: raid_id=1, pd_name=/dev/(null), spare=/dev/(null), pd_repair_sector=0
[433960.155123] usb 2-1: USB disconnect, device number 2
[433960.754456] [usb.002.002] /sys/devices/pci0000:00/0000:00:14.0/usb2/2-1 removed.
[433960.790216] usb 2-1: new SuperSpeed Gen 1 USB device number 3 using xhci_hcd
[433960.814509] hub 2-1:1.0: USB hub found
[433960.824654] hub 2-1:1.0: 4 ports detected
[433960.973650] [usb.002.003] /sys/devices/pci0000:00/0000:00:14.0/usb2/2-1 added.
[459927.013658] flush_memory.sh (2936): drop_caches: 3
[468930.051001] md: md1: data-check done.
[468930.054799] md: Resyncing done: md1
[468930.058409] md/raid:md1: report qnap hal event: type = HAL_EVENT_RAID, action = RESYNCING_COMPLETE
[468930.067502] md/raid:md1: report qnap hal event: raid_id=1, pd_name=/dev/(null), spare=/dev/(null), pd_repair_sector=0
[468930.866761] md: qnap_md_badblock_final_check: (md:md1,dev:sdd3): id= 0, flags = 0x2, bb count = 0
[468930.875730] md: qnap_md_badblock_final_check: (md:md1,dev:sdc3): id= 3, flags = 0x2, bb count = 0
[468930.884698] md: qnap_md_badblock_final_check: (md:md1,dev:sda3): id= 2, flags = 0x2, bb count = 0
[468930.893652] md: qnap_md_badblock_final_check: (md:md1,dev:sdb3): id= 1, flags = 0x2, bb count = 0
[505831.663711] EXT4-fs (dm-8): warning: mounting unchecked fs, running e2fsck is recommended
[505831.971861] ext4_init_reserve_inode_table0: dm-8, 93633
[505831.977194] ext4_init_reserve_inode_table2: dm-8, 93633, 0, 0, 4096
[505831.999349] EXT4-fs (dm-8): mounted filesystem without journal. Opts: (null)
[505928.724165] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 2006, block bitmap and bg descriptor inconsistent: 0 vs 256 free clusters
[505928.756891] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 87408, block bitmap and bg descriptor inconsistent: 22688 vs 28640 free clusters
[505929.189703] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47840, block bitmap and bg descriptor inconsistent: 32768 vs 16 free clusters
[505929.223069] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47888, block bitmap and bg descriptor inconsistent: 32768 vs 89 free clusters
[505929.242464] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47904, block bitmap and bg descriptor inconsistent: 32768 vs 68 free clusters
[505929.269962] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47920, block bitmap and bg descriptor inconsistent: 32768 vs 95 free clusters
[505929.284034] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47968, block bitmap and bg descriptor inconsistent: 32768 vs 64 free clusters
[505929.307751] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 47984, block bitmap and bg descriptor inconsistent: 32768 vs 7 free clusters
[505929.335212] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 48064, block bitmap and bg descriptor inconsistent: 32768 vs 25 free clusters
[505929.357454] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 48080, block bitmap and bg descriptor inconsistent: 32768 vs 18 free clusters
[505935.554240] EXT4-fs error: 1435 callbacks suppressed
[505935.554243] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21728, block bitmap and bg descriptor inconsistent: 0 vs 24 free clusters
[505935.585321] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21824, block bitmap and bg descriptor inconsistent: 0 vs 30 free clusters
[505935.613222] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21872, block bitmap and bg descriptor inconsistent: 0 vs 69 free clusters
[505935.628310] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21888, block bitmap and bg descriptor inconsistent: 0 vs 77 free clusters
[505935.641890] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21904, block bitmap and bg descriptor inconsistent: 0 vs 90 free clusters
[505935.685271] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 21936, block bitmap and bg descriptor inconsistent: 0 vs 21 free clusters
[505935.717572] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 22048, block bitmap and bg descriptor inconsistent: 0 vs 78 free clusters
[505935.737920] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 22240, block bitmap and bg descriptor inconsistent: 0 vs 2 free clusters
[505935.766929] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 22304, block bitmap and bg descriptor inconsistent: 0 vs 44 free clusters
[505935.782129] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 22320, block bitmap and bg descriptor inconsistent: 0 vs 42 free clusters
[505940.584544] EXT4-fs error: 932 callbacks suppressed
[505940.584547] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75823, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.604498] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75820, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.618451] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75818, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.632302] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75816, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.646198] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75814, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.660025] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75812, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.673771] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75810, block bitmap and bg descriptor inconsistent: 32768 vs 1846 free clusters
[505940.687996] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 75809, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.822485] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 78943, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505940.837355] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 78941, block bitmap and bg descriptor inconsistent: 32768 vs 0 free clusters
[505970.718539] EXT4-fs error: 12 callbacks suppressed
[505970.718542] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 2009, block bitmap and bg descriptor inconsistent: 0 vs 230 free clusters
[505970.754249] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 5089, block bitmap and bg descriptor inconsistent: 2984 vs 2992 free clusters
[505970.768228] EXT4-fs error (device dm-8): ext4_mb_generate_buddy:806: group 4261, block bitmap and bg descriptor inconsistent: 1872 vs 2292 free clusters
[506013.447557] fbdisk_init: major number = 252
[506013.451933] fbdisk_init: major number = 251
[506013.563504] fbdisk: module loaded

Checken array:
echo check > /sys/block/md1/md/sync_action

dan met qts web gui start dit:
/bin/e2fsck_64 -C 0 -fy -N /dev/mapper/cachedev1 /dev/mapper/cachedev1


wat betekent dit?

[R.G]

update:


Process e2fsck zit vast op 57,2% met command:
R N 4559m 28.4 0 25.1 /bin/e2fsck_64 -C 0 -fy -N /dev/mapper/cachedev1 /dev/mapper/cachedev1

Het geheugen gebruik is altijd hetzelfde en de cpu % schommelt
output dmesg

code:

[64588.793384] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[64588.802781] device-mapper: block manager: btree_node validator check failed for block 192126
[64588.811253] Buffer I/O error on dev dm-8, logical block 86386804, lost async page write
[64693.844182] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[64693.853589] device-mapper: block manager: btree_node validator check failed for block 192126
[64693.862041] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[64693.871429] device-mapper: block manager: btree_node validator check failed for block 192126
[64693.879877] Buffer I/O error on dev dm-8, logical block 86380584, async page read
[64693.887375] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[64693.896773] device-mapper: block manager: btree_node validator check failed for block 192126
[64693.905225] Buffer I/O error on dev dm-8, logical block 86380584, async page read
[64699.385406] device-mapper: btree spine: node_check failed: blocknr 1085212545646385676 != wanted 192126
[64699.394826] device-mapper: block manager: btree_node validator check failed for block 192126
[64699.403427] Buffer I/O error on dev dm-8, logical block 86380584, lost async page write
[83484.045946] flush_memory.sh (11987): drop_caches: 3
[169876.842614] flush_memory.sh (1539): drop_caches: 3
[256277.303275] flush_memory.sh (14809): drop_caches: 3

doet het nog wat? , als ik de -C optie opvraag staat het process op 57,2% voor 4 dagen.

vreemde blijft de raid array is clean and active lol

[Joep]

Ik heb sinds kort een TS-216G. Ik wil twee bestaande gevulde externe HDD's shucken en erin doen, maar er is me iets nog onduidelijk. Worden de harde schijven geformateerd zodra ik ze als losse volumes configureer in de NAS? Een antwoord op deze vraag krijg ik niet gevonden.

[peter-rm]

ja want er wordt ook een deel gebruikt voor qts.

dus eerst een backup en die dan later terugzetten

[Dwarlorf]

Ik vroeg me af of het verstandig is om schijven van 1 merk te kopen of juist van verschillende merken. Ik las dat je het beste bij twee verschilende winkels kan kopen om het risico te verminderen dat je twee slechte schijven van 1 batch krijgt. Mijn idee is dat je met twee verschillende merken nog minder risico loopt maar wellicht dat daar juist weer andere nadelen aan verbonden zijn? Ik wil 2 grotere schijven in mijn QNAP TS-253Ben stoppen.

[Lord Anubis]

Hmm, zou zelf van 1 merk en 1 batch kiezen. Wel kijken of er iets bekend is over die schijfjes

[djwice]

Rate vraag wellicht:

Ik heb een nieuwe QNAP TS-216G gekocht en er twee nieuwe 24GTB SATA schijven in gezet in RAID 1.
En een standaard volume van 17TB aangemaakt.


De QNAP staat nu al 2 dagen te syncen en moet van 36 uur zagt ie.
Waarom doe ie dat? De schijven zijn nieuw, en dus staat alleen de qnap software er op. Dus geen data die gesymct hoeft te worden.

De schijven kunnen 295MB/s, maar halen 100 of lager in de sync. Waarom is dat zo?
En wat is het nut van een sync van een nieuwe schijf.

De NAS ga ik gebruiken op m'n AI modellen op op te slaa, typisch 4GB grote bestanden plus een paar kleine
Nog tips?


Thanks

[Mistraller]

djwice schreef op donderdag 10 april 2025 @ 00:09:
Rate vraag wellicht:

Ik heb een nieuwe QNAP TS-216G gekocht en er twee nieuwe 24GTB SATA schijven in gezet in RAID 1.
En een standaard volume van 17TB aangemaakt.


De QNAP staat nu al 2 dagen te syncen en moet van 36 uur zagt ie.
Waarom doe ie dat? De schijven zijn nieuw, en dus staat alleen de qnap software er op. Dus geen data die gesymct hoeft te worden.

De schijven kunnen 295MB/s, maar halen 100 of lager in de sync. Waarom is dat zo?
En wat is het nut van een sync van een nieuwe schijf.

De NAS ga ik gebruiken op m'n AI modellen op op te slaa, typisch 4GB grote bestanden plus een paar kleine
Nog tips?


Thanks

Een raid set moet altijd opgebouwd worden. Die heeft helemaal geen weet van het filesystem wat er overheen komt, dus ook een lege disk zal volledig gelezen en gesycned worden, Dat duurt uren, zeker met zulke grote disks en dat is normaal.

[djwice]

Mistraller schreef op donderdag 10 april 2025 @ 00:48:
[...]

Een raid set moet altijd opgebouwd worden. Die heeft helemaal geen weet van het filesystem wat er overheen komt, dus ook een lege disk zal volledig gelezen en gesycned worden, Dat duurt uren, zeker met zulke grote disks en dat is normaal.

Dank! Duurt dagen zelfs, ondanks dat de schijven 298MB/s zijn doet ie het met 100MB/s en soms zelfs 67MB/s.

[leonbong]

Die 298 is alleen aan de buitenkant van de schijf.
De binnenste tracks gaan veel langzamer.

[Mistraller]

djwice schreef op donderdag 10 april 2025 @ 07:28:
[...]

Dank! Duurt dagen zelfs, ondanks dat de schijven 298MB/s zijn doet ie het met 100MB/s en soms zelfs 67MB/s.

Dat is de theoretische raw throughput en je raid hardware moet ook nog rekenwerk doen etc.
Zelf heb ik overigens daarom voor een 4 disk setup gekozen met Raid5. Op papier zou raid5 sneller moeten zijn, minder overhead voor de stripes en kleinere disken zijn per GB goedkoper. Alleen de SSD's die er ook in zitten zijn in raid1.

[leonbong]

Daarnaast is vaak eigenlijk de schrijfsnelheid de beperkende factor.