NFS is de weg kwijt

[Compizfox]

Tweakers,

Ik heb ZFSGuru draaien die een pool via NFS export. Dit heeft prima gewerkt tot een paar dagen geleden.

Problemen nu:

code:

    [lars@LARS-ILOS /Data]$ ls -l
    total 11544556
    -rwxrwxrwx   1 4294967294  share  18692001792 Oct  8 20:58 DevEnv.vdi
    drwxrwxrwx  17 4294967294  share           21 Dec 13  2009 Installer-library
    drwxrwxrwx   3 share       share            3 Jan 10 19:09 backup
    drwxrwxrwx   4 4294967294  share            4 Dec 24 23:15 bittorrent
    drwxrwxrwx   2 lars        lars             2 Jan 10 23:03 dropbox
    drwxrwxrwx  23 share       share           25 Jan 29 13:46 films
    drwxrwxrwx   8 share       share           11 Jan 10 13:58 share
     
    lars@LARS-ILLIUM:/mnt/data$ ls -l
    total 11544544
    drwxrwxrwx  4 lars       lars               4 Dec 23 22:51 backup
    drwxrwxrwx  4 4294967294 lars               4 Dec 24 23:15 bittorrent
    -rwxrwxrwx  1 4294967294 lars     18692001792 Oct  8 20:58 DevEnv.vdi
    drwxrwxrwx  2 admiraal   admiraal           2 Jan 10 23:03 dropbox
    drwxr-xr-x  2 root       admiraal           2 Jan 10 13:49 films
    drwxrwxrwx 17 4294967294 lars              21 Dec 13  2009 Installer-library
    drwxr-xr-x  2 root       admiraal           2 Jan 10 13:50 share

LARS-ILOS is mijn bak met ZFSGuru (die de pool host), en LARS-ILLIUM is mijn Debian-bak die die pool via NFS mount onder /mnt/data.
De bovenste listing is dus de 'echte' content, de onderste is via NFS.
Dit is dus dezelfde directory, toch is de inhoud anders. Via Windows 7 (als client) heb ik exact hetzelfde probleem.

"Admiraal" is een andere user op mijn LARS-ILLIUM-bak, maar ik kan me niet bedenken hoe die aan de ownership van die bestanden komt.

Daarnaast zijn bepaalde mappen, zoals share en films, via NFS leeg terwijl er toch echt iets in staat.
Als ik via NFS in de backup-map kijk, zie ik daar files van maanden geleden (die ik uiteraard niet kan openen)

Ik heb al geprobeerd nfsd op LARS-ILOS te restarten, de directory opnieuw te mounten, enz.
Ik snap er niets van

[bastichelaar]

User admiraal op je LARS-ILLIUM bak heeft de zelfde UID als user share op je LARS-ILOS. Probeer een "ls -aln". Dat die maps leeg zijn kan zijn dat je geen lees rechten op die map hebt?

[Compizfox]

Aha. Dat verklaart dat de user admiraal de ownership had.

Maar dit lost het probleem natuurlijk niet op. Op LARS-ILOS is /Data world-writable.

code:

lars@LARS-ILLIUM:/mnt/data/share$ ls -aln
total 4
drwxr-xr-x 2    0 1001 2 Jan 10 13:50 .
drwxrwxrwx 8 1001 1001 9 Jan 28 21:21 ..

[Hero of Time]

Ja, bovenliggend (..) is dat, maar de huidige map (.) niet. En wil je echt zo'n groot security risico maken? Zelfs je bestanden zijn +x

[Compizfox]

Jawel, alles is dat. Op LARS-ILOS iig. Via NFS klopt er inderdaad niets van.

Wat is precies het grote risico als het mijn eigen server is?

[Hero of Time]

Het risico is dat elke gebruiker de bestanden mag wijzigen, dus ook verwijderen. Er hoeft maar een service of programma iets te doen wat 't niet zou moeten en je bent de pineut.

Check 't web en de best practices voor Linux maar.

[Compizfox]

Dan moet dus een programma dat spul gaan verwijderen. Lijkt me geen absurd groot risico.
Onder Windows heb je eigenlijk dat risico ook altijd, daar heb ik ook nog niemand over gehoord.

Maar eh, dit is offtopic

Het is dus geen permissionsprobleem. Er missen niet alleen bestanden via NFS, er staan ook attributes verkeerd en er staan 'spookbestanden' tussen die in het echt al lang verwijderd zijn.

[Hero of Time]

In je TS zie ik geen probleem en 'spookbestanden'. Alleen een ID die ontiegelijk hoog is. Maar dat is allemaal op te lossen op de NFS server en is op de server zelf blijkbaar ingesteld. Heeft niet met NFS zelf te maken.

[Compizfox]

De data klopt gewoon niet. Kijk maar eens daar de modificatiedatums

Even een subdir:

code:

[lars@LARS-ILOS /Data/backup/Incremental backups/LARS-VIGIL]$ ls -l
total 130788313
-rwxrwxrwx  1 4294967294  share  44257764964 Jan 24 20:06 D 2013-01-24 16;40;06 (Full).7z
-rwxrwxrwx  1 4294967294  share   2157323748 Jan 25 23:39 D 2013-01-25 23;25;28 (Incremental).7z
-rwxrwxrwx  1 4294967294  share          207 Jan 26 14:22 D 2013-01-26 14;16;12 (Incremental).7z
-rwxrwxrwx  1 4294967294  share     43614225 Jan 27 17:38 D 2013-01-27 17;16;08 (Incremental).7z
-rwxrwxrwx  1 4294967294  share          207 Jan 28 14:22 D 2013-01-28 14;16;12 (Incremental).7z
-rwxr-xr-x  1 4294967294  share          207 Jan 29 14:22 D 2013-01-29 14;16;11 (Incremental).7z
-rwxrwxrwx  1 4294967294  share  87548171795 Jan 25 22:17 E 2013-01-25 17;10;08 (Full).7z
-rwxrwxrwx  1 4294967294  share        20127 Jan 26 16:17 E 2013-01-26 16;16;10 (Incremental).7z
-rwxrwxrwx  1 4294967294  share        20127 Jan 27 17:16 E 2013-01-27 17;15;08 (Incremental).7z
-rwxrwxrwx  1 4294967294  share        20127 Jan 28 16:17 E 2013-01-28 16;16;08 (Incremental).7z
-rwxr-xr-x  1 4294967294  share        20127 Jan 29 16:17 E 2013-01-29 16;16;08 (Incremental).7z

lars@LARS-ILLIUM:/mnt/data/backup/Incremental backups/LARS-VIGIL$ ls -l
total 157169396
-rw-rw-rw-  1 root lars 77334706089 Dec 25 00:44 D 2012-12-25 00;44;16 (Full).7z
-rw-rw-rw-  1 root lars      267383 Dec 25 23:28 D 2012-12-25 23;21;45 (Incremental).7z
-rw-rw-rw-  1 root lars     2817010 Dec 26 23:27 D 2012-12-26 23;20;22 (Incremental).7z
drwxrwxrwx 17 root lars          17 Dec 27 10:42 D 2012-12-27 14;16;16 (Incremental)
drwxrwxrwx 17 root lars          17 Dec 28 13:25 D 2012-12-28 14;16;15 (Incremental)
drwxrwxrwx 17 root lars          17 Dec 29 02:34 D 2012-12-29 14;16;15 (Incremental)
drwxrwxrwx 17 root lars          17 Dec 29 02:34 D 2012-12-31 14;18;41 (Incremental)
drwxrwxrwx 17 root lars          17 Jan  1 22:56 D 2013-01-03 14;16;13 (Incremental)
drwxrwxrwx 17 root lars          17 Jan  4 17:19 D 2013-01-05 14;18;07 (Incremental)
drwxrwxrwx 17 root lars          17 Jan  4 17:19 D 2013-01-06 14;16;13 (Incremental)
drwxrwxrwx 17 root lars          17 Jan  8 13:58 D 2013-01-08 14;16;13 (Incremental)
-rw-rw-rw-  1 root lars           8 Dec 25 11:56 E 2012-12-25 11;56;13 (Full).7z
-rw-rw-rw-  1 root lars 83643119805 Dec 25 13:19 E 2012-12-25 13;19;04 (Full).7z
-rw-rw-rw-  1 root lars       19876 Dec 25 23:17 E 2012-12-25 23;16;46 (Incremental).7z
-rw-rw-rw-  1 root lars       19875 Dec 26 23:17 E 2012-12-26 23;16;32 (Incremental).7z
drwxrwxrwx 30 root lars          30 Dec 26 23:23 E 2012-12-27 16;16;30 (Incremental)
drwxrwxrwx 30 root lars          30 Dec 28 13:25 E 2012-12-28 16;16;29 (Incremental)
drwxrwxrwx 30 root lars          30 Dec 29 02:34 E 2012-12-29 16;16;29 (Incremental)
drwxrwxrwx 30 root lars          30 Dec 29 02:34 E 2012-12-31 17;04;10 (Incremental)
drwxrwxrwx 30 root lars          30 Jan  1 15:24 E 2013-01-02 16;16;08 (Incremental)
drwxrwxrwx 30 root lars          30 Jan  4 17:19 E 2013-01-05 16;16;46 (Incremental)
drwxrwxrwx 30 root lars          30 Jan  4 17:19 E 2013-01-06 16;16;07 (Incremental)
drwxrwxrwx 30 root lars          30 Jan  8 13:57 E 2013-01-08 16;16;07 (Incremental)
drwxrwxrwx 30 root lars          30 Jan  8 13:57 E 2013-01-09 16;16;08 (Incremental)

Zoals je ziet, staan er via NFS oude backups tussen die er niet meer zijn (om precies te zijn, alle niet-ge7zipte backups), en ontbreken de nieuwere backups.

Wat ook opvallend is, is dat het schrijven naar een NFS-share zonder problemen gaat. In de listing van LARS-ILOS zie je dat er gisteren nog 2 nieuwe backups zijn bijgeschreven (die met afwijkende permissions). Via NFS zijn deze echter niet weer terug te vinden, ook al staan ze wel goed weggeschreven op de server.

[ Voor 4% gewijzigd door Compizfox op 30-01-2013 12:54 ]

[Hero of Time]

Dan ziet het er naar uit dat je tegen een andere NFS server aan het praten bent. Ik zou 't anders ook niet weten.

[Compizfox]

Je bedoelt dat er 2 versies van nfsd draaien die elkaar in de weg zitten, of zo?

[ Voor 12% gewijzigd door Compizfox op 30-01-2013 13:44 ]

[Compizfox]

Op de server geeft een showmount -e dit aan:

code:

[lars@LARS-ILOS ~]$ sudo showmount -e
Exports list on localhost:
/Data/share                        Everyone
/Data/backup                       Everyone
/Data                              Everyone

Dat vond ik al een beetje opvallend omdat dat 'dubbelop' is. Ik heb enkel met een

code:

zfs set sharenfs="on" Data

de boel geshared.

De mappen /Data/backup, /Data/share/ en /Data/films zijn subfilesystems onder het filesystem Data.

Als ik 192.168.2.5:/Data/backup mount, kloppen alle bestanden wel.