filesystem is readonly na een sudo reboot

[trekker22]

NUC met Ubuntu en was via smb op Windows machine wat bestanden aan het aanpassen. Opslaan lukte ineens niet meer. Via SSH en sudo reboot gedaan. Duurde wat lang en geen enkele service of docker instantie werkte.

FileSystem blijkt nu read only the zijn, de SDA1 en is tevens het enige SSD die er in zit. Ik kan dus wel via SSH erin en bestanden bekijken.

Kom vanalles tegen op internet:
sudo fsck -Af -M (werkt niet met een mounted partitie en dat is mijn SDA1 wel)
en met -M weglaten doet die niks.

mount -o remount,rw / kan alleen als root, maar dat gaat niet met een read only system

andere vermelden dat een optie is met een liveCD te booten en dan fsck los te laten op de SSD? Die heb ik zo niet bij de hand.

Is er iets om het filesystem weer normaal te krijgen? Heb de NUC netjes via sudo reboot laten herstarten..

dmesg geeft dit:

code:

  11.734866] r8169 0000:02:00.0 eno1: link down
[   11.734868] r8169 0000:02:00.0 eno1: link down
[   11.735034] IPv6: ADDRCONF(NETDEV_UP): eno1: link is not ready
[   14.879856] r8169 0000:02:00.0 eno1: link up
[   14.879872] IPv6: ADDRCONF(NETDEV_CHANGE): eno1: link becomes ready
[   16.950856] new mount options do not match the existing superblock, will be ignored
[  316.380281] EXT4-fs (sda2): error count since last fsck: 26
[  316.380324] EXT4-fs (sda2): initial error at time 1572530544: ext4_orphan_add:2850
[  316.380331] EXT4-fs (sda2): last error at time 1572530544: ext4_do_update_inode:5273
[  543.896143] EXT4-fs (sda2): Couldn't remount RDWR because of unprocessed orphan inode list.  Please umount/remount instead
[  653.932495] EXT4-fs (sda2): Couldn't remount RDWR because of unprocessed orphan inode list.  Please umount/remount instead

[Verwijderd]

Beste optie is inderdaad een liveCD (of stick) opstarten en dan de fsck.
Je kan ook dit proberen; https://wiki.ubuntu.com/RecoveryMode

[ Voor 5% gewijzigd door Verwijderd op 31-10-2019 16:13 ]

[trekker22]

Verwijderd schreef op donderdag 31 oktober 2019 @ 16:13:
Beste optie is inderdaad een liveCD (of stick) opstarten en dan de fsck.
Je kan ook dit proberen; https://wiki.ubuntu.com/RecoveryMode

RecoveryMode is net zo veilig als een LiveCD? Data heb ik al veilig gesteld. Dan hoef ik hem alleen ff aan de HDMI te hangen met een toetsenbord.

Vreemd dat er niks voor is om zelf te laten herstellen

[Verwijderd]

trekker22 schreef op donderdag 31 oktober 2019 @ 16:17:
[...]

RecoveryMode is net zo veilig als een LiveCD? Data heb ik al veilig gesteld. Dan hoef ik hem alleen ff aan de HDMI te hangen met een toetsenbord.

Vreemd dat er niks voor is om zelf te laten herstellen

In theorie minder veilig, omdat je wel je disk / SSD gaat proberen te benaderen / mounten.
Als er iets met je SSD aan de hand is dan is de LiveCD een veiligere optie in theorie omdat het dan alles in-memory doet (totdat je uiteraard je SSD gaat checken).

Aangezien je data al veilig staat zou ik zeggen, probeer recoverymode :-).

Tegenwoordig val ik bij dit soort problemen, en ik zie ze zelden, eigenlijk meteen op een LiveCD. Kan dus ook Ubuntu op een stickje zijn :-)

[DexterDee]

Gewoon booten in single user mode, daar is 't voor gemaakt:

1. in het GRUB menu automatische start onderbreken
2. Op de kernel die je wil booten staan en 'e' indrukken (edit)
3. Scroll naar de regel waar "linux /boot/vmlinuz" staat
4. Vervang "ro \ console=ttyS0 console=tty0" met "rw init=/bin/bash"
5. Druk op F10 om door te booten

Je start nu single user als root op en daar kun je fsck draaien en remounten. Dat zou je probleem moeten oplossen.

[DataGhost]

trekker22 schreef op donderdag 31 oktober 2019 @ 16:07:
Opslaan lukte ineens niet meer. Via SSH en sudo reboot gedaan. Duurde wat lang en geen enkele service of docker instantie werkte.

FileSystem blijkt nu read only the zijn, de SDA1 en is tevens het enige SSD die er in zit.

Dit doet bij mij alle alarmbellen afgaan van een kapotte drive. Je moet dus niet naar het filesystem kijken, dat is slechts een symptoom maar waarschijnlijk niet de oorzaak. Schrijfacties (ook een fsck) kunnen het probleem erger maken als het medium kapot is. Aangenomen dat je een backup hebt maakt dat allemaal niks uit, maar als dat niet zo is moet je zsm stoppen met mogelijke schrijfacties naar die schijf. Je kan dan de schijf klonen naar een goede schijf en daarop fsck draaien.
Kijk met smartctl wat je schijf allemaal voor gekke dingen aangeeft. Hoogstwaarschijnlijk zie je daar errors of waarden die einde verhaal aangeven.

Als het je schijf niet is is dat mooi, maar een filesystem raakt niet zomaar corrupt zonder dat de stroom er een (paar) keer af is getrokken of het systeem op een andere manier hard gecrasht is. Het kan dus ook zijn dat je controller kapot is, of de kabel tussen controller en disk. In die gevallen wil je ook geen schrijfacties doen, want die kunnen net zo hard weer corrupte dingen wegschrijven waardoor je het alleen maar erger maakt.

Pas als je dat allemaal hebt uitgesloten (en je hebt geen backups) zou ik pas aanraden om inderdaad via een livecd te fsck'en.

[trekker22]

Hartelijk dank allemaal! Meteen weer wat linux bij geleerd!

USB stick was nog vrij rap gemaakt, dus met LiveCD gedaan en daarna een unmount en FSCK en alles werkte weer.

Leek me ook wel, SSD van pas paar maanden oud. (al kan het natuurlijk altijd)

[DataGhost]

Leeftijd maakt niet uit. Een computer is geen dobbelsteen, dus als je filesystem-errors krijgt terwijl er "niks raars" is gebeurd, betekent dat dat er iets kapot is. Op mijn servers/computers heb ik werkelijk nooit "zomaar" fs-errors gehad, het waren altijd kapotte schijven, een kapotte controller, brak geheugen/geheugencontroller of stroomuitval/reset op het verkeerde moment. Daarom wil ik je nogmaals aanraden om alsnog met smartctl te kijken naar je schijf, aangezien die gewoon de meest waarschijnlijke oorzaak is, ook al is 'ie nog maar een paar maanden oud.

[trekker22]

DataGhost schreef op donderdag 31 oktober 2019 @ 17:54:
Leeftijd maakt niet uit. Een computer is geen dobbelsteen, dus als je filesystem-errors krijgt terwijl er "niks raars" is gebeurd, betekent dat dat er iets kapot is. Op mijn servers/computers heb ik werkelijk nooit "zomaar" fs-errors gehad, het waren altijd kapotte schijven, een kapotte controller, brak geheugen/geheugencontroller of stroomuitval/reset op het verkeerde moment. Daarom wil ik je nogmaals aanraden om alsnog met smartctl te kijken naar je schijf, aangezien die gewoon de meest waarschijnlijke oorzaak is, ook al is 'ie nog maar een paar maanden oud.

Toch maar even gedaan:

joris@nuc:~$ sudo smartctl --test=long /dev/sda1

en krijg dit terug:

code:

joris@nuc:~$ sudo smartctl -l selftest /dev/sda1
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.0-66-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA                                                          _of_first_error
# 1  Extended offline    Completed without error       00%     10717         -

dan is er toch niks mis zo te zien?

[DataGhost]

Deze selftest is goed gegaan, maar je wilt juist met smartctl --all /dev/sda kijken of alle waarden goed zijn en of er geen errors gelogd zijn. Volgens mij gaat een extended selftest gewoon goed als al je slechte sectoren al reallocated zijn (wat ondertussen al tot dataverlies heeft geleid), maar dat wil niet zeggen dat er in het verleden niks is misgegaan of dat de schijf in goede staat is.

Dat zegt verder ook niet per se direct iets over je controller en kabels, mocht het probleem daar liggen. Als de machine weer een keer hetzelfde vertoont is het slim om dmesg nog eens te bekijken voordat je reboot, waarschijnlijk staan daar dan wat errors in.

[ Voor 24% gewijzigd door DataGhost op 31-10-2019 19:21 ]

[trekker22]

ok deze maar ook niks geks toch:

code:

joris@nuc:~$ sudo smartctl --all /dev/sda1
[sudo] password for joris:
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.0-66-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     KINGSTON SA400S37240G
Serial Number:    50026B778226CF4D
LU WWN Device Id: 5 0026b7 78226cf4d
Firmware Version: SBFKB1D1
User Capacity:    240,057,409,536 bytes [240 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   Unknown(0x0ff8) (minor revision not indicated)
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Thu Oct 31 19:28:34 2019 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (65535) seconds.
Offline data collection
capabilities:                    (0x79) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  30) minutes.
Conveyance self-test routine
recommended polling time:        (   6) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_                                                                                           FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x0032   100   100   000    Old_age   Always       -                                                                                                  0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -                                                                                                  10717
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -                                                                                                  60
148 Unknown_Attribute       0x0000   255   255   000    Old_age   Offline      -                                                                                                  0
149 Unknown_Attribute       0x0000   255   255   000    Old_age   Offline      -                                                                                                  0
167 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  0
168 Unknown_Attribute       0x0012   100   100   000    Old_age   Always       -                                                                                                  0
169 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  14
170 Unknown_Attribute       0x0000   100   100   010    Old_age   Offline      -                                                                                                  10
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -                                                                                                  0
173 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  3539018
181 Program_Fail_Cnt_Total  0x0032   100   100   000    Old_age   Always       -                                                                                                  0
182 Erase_Fail_Count_Total  0x0000   255   255   000    Old_age   Offline      -                                                                                                  0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -                                                                                                  0
192 Power-Off_Retract_Count 0x0012   100   100   000    Old_age   Always       -                                                                                                  47
194 Temperature_Celsius     0x0022   070   057   000    Old_age   Always       -                                                                                                  30 (Min/Max 23/43)
196 Reallocated_Event_Count 0x0000   100   100   000    Old_age   Offline      -                                                                                                  0
199 UDMA_CRC_Error_Count    0x0032   100   100   000    Old_age   Always       -                                                                                                  0
218 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  0
231 Temperature_Celsius     0x0013   100   100   000    Pre-fail  Always       -                                                                                                  94
233 Media_Wearout_Indicator 0x0013   100   100   000    Pre-fail  Always       -                                                                                                  6811
241 Total_LBAs_Written      0x0012   100   100   000    Old_age   Always       -                                                                                                  3218
242 Total_LBAs_Read         0x0012   100   100   000    Old_age   Always       -                                                                                                  1946
244 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  54
245 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  74
246 Unknown_Attribute       0x0000   100   100   000    Old_age   Offline      -                                                                                                  423872

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA                                                                                           _of_first_error
# 1  Extended offline    Completed without error       00%     10717         -

SMART Selective self-test log data structure revision number 0
Note: revision number not 1 implies that no selective self-test has ever been ru                                                                                           n
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

joris@nuc:~$

oja even bij vermelden SMART tools stond er nog niet op tot vanavond, dus dan heb je ook verder geen historie achtig iets?

[DataGhost]

Ziet er okee uit inderdaad. Historie wordt door de schijf zelf opgeslagen buiten het OS om, dus dat maakt niet uit. Hopen dat het niet meer voorkomt dan, anders dus de juiste logs bij elkaar zoeken voordat je reboot.