[Win32]Filesystem omzeilen

[Grimm9mm]

Ik ben voor een afstudeeropdracht bezig met hardeschijven waar een apart filesystem opstaat, en moet een applicatie onder windows schrijven die de data daarop kan gebruiken. Hiervoor moet ik dus bij de sectoren komen. Het leek me een beetje overdreven om een volledige filesystem driver te schrijven, dus was ik benieuwd of ik met bepaalde functies gewoon het filesystem kon omzeilen, of MOET ik perse een kerneldriver schrijven om die data via driver-read- en write-routines door te geven?

[farlane]

Misschien kun je met een speciaal device naam ( zoiets als "\\.\a" ) bij je device komen en dan met ReadFile wat doen, of met speciale DeviceIoCtl's, maar ik geef je niet veel kans.

[NMe]

Zelfs als je het filesystem zomaar kon omzeilen, hoe weet je computer dan met wat voor bestandssysteem hij te maken heeft? Hoe weet hij welke file waar staat? Je zal toch ergens een indicatie moeten hebben van wat waar staat. En als je dat geïmplementeerd wil hebben, dan zul je toch echt een eigen driver moeten hebben, lijkt me.

(Dit zeg ik puur op basis van logisch nadenken, en niet op basis van feitelijke kennis, dus schop me maar als het niet klopt. )

[zwippie]

Misschien dat je in de code van explore2fs kunt ontdekken hoe ze het daar doen. (Vast al bekend, maar dit is een tool waarme je ext2 of ext3 filesystems kan lezen.)

[lordsnow]

Bestaat er al geen driver voor dit "aparte" bestandssysteem? Welke is het trouwens, of mag/kan je dat niet zeggen?

[Varienaja]

Om een disk met daarop een-of-anders filesysteem te kunnen benaderen vanuit Windows moet je inderdaad een filesystem-driver ontwikkelen.

Maar dat is toch ook precies wat je opdracht vereist? Of wil je afstudeerbegeleider niets met de bestanden doen, maar alleen de bitjes van die schijf met dat een-of-andere filesysteem zien?

[MrBucket]

-NMe- schreef op dinsdag 05 april 2005 @ 17:33:
Zelfs als je het filesystem zomaar kon omzeilen, hoe weet je computer dan met wat voor bestandssysteem hij te maken heeft? Hoe weet hij welke file waar staat? Je zal toch ergens een indicatie moeten hebben van wat waar staat.

Ik krijg de indruk dat TS dit stuk al wel weet; als hij rauwe sector data van de disk kan lezen kan TS hetgene eruit halen wat hij nodig heeft.

En als je dat geïmplementeerd wil hebben, dan zul je toch echt een eigen driver moeten hebben, lijkt me.

Volgens mij zint het TS niet om het daadwerkelijk als driver te implementeren (want hoe moet dat dan, aan welke API moet het voldoen, etc). Gewoon lompe IO-Control calls werken makkelijker denk ik...

correct?

[.oisyn]

Uit de MSDN:

The CreateFile function creates or opens a file, directory, physical disk, volume, console buffer, tape drive, communications resource, mailslot, or pipe

[Henk007]

De openingspost zegt niet of het om een bestaand filesystem gaat, of om een denkbeeldig filesystem. Begin eens met de specs van het te targetten filesysteem.

[farlane]

.oisyn schreef op dinsdag 05 april 2005 @ 17:54:
Uit de MSDN:

[...]

Dan nog vraag ik me af of je wel rauwe sectors mag lezen van DeviceIoCtl.

Hmm, lijkt erop dat je dan gewoon met ReadFile mag lezen ...

[ Voor 14% gewijzigd door farlane op 05-04-2005 21:54 ]

[StevenK]

Aangezien MSSQL ook raw kan lezen en schrijven, zonder afaik een fs driver te gebruiken, moet het mogelijk zijn.

[MSalters]

FS driver is volgens mij alleen nodig als je wilt dan Windows weet dat het een file systeem is, en dat het dus verschijnt in Explorer etcetera.

[farlane]

Zie in de code van die explore2fs dat ze wel een interne ReadFile API aanroepen, wat zo te zien iets te maken heeft met een 'file pointer'. Zal wel met de grootte van die pointer te maken hebben denk ik.

StevenK schreef op dinsdag 05 april 2005 @ 22:18:
Aangezien MSSQL ook raw kan lezen en schrijven, zonder afaik een fs driver te gebruiken, moet het mogelijk zijn.

Waarom gebruikt MSSQL niet de normale manier dan?

[ Voor 42% gewijzigd door farlane op 05-04-2005 23:24 ]

[eamelink]

farlane schreef op dinsdag 05 april 2005 @ 23:23:
Waarom gebruikt MSSQL niet de normale manier dan?

Minder overhead? Als je niet alle functies van het filesysteem nodig hebt, en je weet wat voor activiteiten je met die data gaat doen, is het heel goed mogelijk om dat efficiënter op te slaan dan met huis-tuin-en-keuken fs'en

[StevenK]

farlane schreef op dinsdag 05 april 2005 @ 23:23:
Waarom gebruikt MSSQL niet de normale manier dan?

MSSQL kan beide gebruiken; maar zeker met heel grote databases is een filesystem een enorme overhead, wanneer je op een volume maar één bestand neerzet. Denk bij NTFS alleen al aan de transactie-logging, die op een MSSQL database niet nodig is.

Overigens kun je met raw partitions onder MSSQL dus ook maar één log of data per partitie hebben.

Het ging er mij om dat MSSQL kan werken op raw partitions zonder FS driver.

[The End]

Je kan met DeviceIoControl direct de diskdriver aanspreken. Je moet dan alleen wel weten hoe die interface in elkaar zit. De NTFS en FAT driver interface is grotendeels beschreven in de DDK; waar je informatie over de disk driver interface kan vinden, weet ik niet.

[Grimm9mm]

MrBucket schreef op dinsdag 05 april 2005 @ 17:52:
[...]

Ik krijg de indruk dat TS dit stuk al wel weet; als hij rauwe sector data van de disk kan lezen kan TS hetgene eruit halen wat hij nodig heeft.

[...]

Volgens mij zint het TS niet om het daadwerkelijk als driver te implementeren (want hoe moet dat dan, aan welke API moet het voldoen, etc). Gewoon lompe IO-Control calls werken makkelijker denk ik...

correct?

Correct!
Ik hoef niet aan MS-Explorer duidelijk te maken hoe de bestandjes en filestructuur eruit ziet, zolang ik maar blok voor blok de data eruit kan halen.

Er is idd al eens eerder een filesystemdriver voor dit "aparte" FS geschreven (mag niet zeggen waar het voor is, bedrijfsgeheim enzo), maar dat was voor een embedded platform, en de documentatie is niet echt fatsoenlijk geschreven, dus dat ben ik nog aan het ontcijferen...
Ook ben ik ook wel bezig om de DDK te leren, maar jullie begrijpen maybe wel dat dat niet eenvoudig is.
Ik zal eens proberen om gewoon met readfile wat dingen te forceren, en anders zal ik idd een drivertje met eenvoudige read en write-functies moeten schrijven, en al het complexere op een hoger niveautje uitvoeren.

[farlane]

The End schreef op woensdag 06 april 2005 @ 11:26:
Je kan met DeviceIoControl direct de diskdriver aanspreken. Je moet dan alleen wel weten hoe die interface in elkaar zit. De NTFS en FAT driver interface is grotendeels beschreven in de DDK; waar je informatie over de disk driver interface kan vinden, weet ik niet.

Das een probleem want je moet hier niet de FileSystem driver aanspreken, maar je fysieke drive. Anywayz, met CreateFile je fysieke drive openen en dan ReadFile en consorten gebruiken lijkt voldoende.

[.oisyn]

Exact, de DDK en gedoe met drivers zal niet nodig zijn.

[Verwijderd]

Ik weet niet of hier wat nuttige documentatie staat? Het gaat niet alleen over ext2, maar ook over hoe je hier drivers voor schrijft voor Windows; misschien staat er een aanwijzing hoe je het af kunt zonder drivers.

[ Voor 14% gewijzigd door Verwijderd op 06-04-2005 14:20 ]

[farlane]

Verwijderd schreef op woensdag 06 april 2005 @ 14:19:
Ik weet niet of hier wat nuttige documentatie staat? Het gaat niet alleen over ext2, maar ook over hoe je hier drivers voor schrijft voor Windows; misschien staat er een aanwijzing hoe je het af kunt zonder drivers.

<kuch>[rml]zwippie in "[ Win32]Filesystem omzeilen"[/rml]</kuch>

[Grimm9mm]

So far so good, ik ben al in staat geweest om een binair image te maken van een 128MB USB-stick, en die image bekeken met de binaire editor van Visual Studio.NET, en daar kan je idd de filesystem data in herkennen. Daar was ik dus wel blij om... maar het is me nog niet gelukt om mijn USB-stick te vullen met 0-etjes (errorcode=5) maar misschien is dat ook een slecht idee? Heeft iemand daar ervaring mee?
Ik was gewoon benieuwd of ik ook WriteFile kon gebruiken, maar blijkbaar niet... of zal ik een fout hebben gemaakt?
Naja, ik ben het zat hier op kantoor, ik ga even terug naar huis om GTR te spelen

[The End]

Grimm9mm schreef op woensdag 06 april 2005 @ 17:07:
So far so good, ik ben al in staat geweest om een binair image te maken van een 128MB USB-stick, en die image bekeken met de binaire editor van Visual Studio.NET, en daar kan je idd de filesystem data in herkennen. Daar was ik dus wel blij om... maar het is me nog niet gelukt om mijn USB-stick te vullen met 0-etjes (errorcode=5) maar misschien is dat ook een slecht idee? Heeft iemand daar ervaring mee?
Ik was gewoon benieuwd of ik ook WriteFile kon gebruiken, maar blijkbaar niet... of zal ik een fout hebben gemaakt?
Naja, ik ben het zat hier op kantoor, ik ga even terug naar huis om GTR te spelen

Errorcode 5 is Access Denied. Wat zijn de parameters die je meegeeft aan CreateFile?

[.oisyn]

En heb je wel administrator rechten?

[farlane]

Physical Disks and Volumes

You can use the CreateFile function to open a physical disk drive or a volume. The function returns a handle that can be used with the DeviceIoControl function. This enables you to access the disk's partition table. It is potentially dangerous to do so, since an incorrect write to a disk could make its contents inaccessible. The following requirements must be met for such a call to succeed:


* The caller must have administrative privileges. For more information, see Running with Special Privileges.
* The dwCreationDisposition parameter must have the OPEN_EXISTING flag.
* When opening a volume or floppy disk, the dwShareMode parameter must have the FILE_SHARE_WRITE flag.


When opening a physical drive, x, the lpFileName string should be of the form \\.\PHYSICALDRIVE<x>. Hard disk numbers start at zero. The following table shows some example physical drive strings.

[Grimm9mm]

Mijn useraccount is wel lid van de groep administrators, maar ik krijg nog steeds error #5... dus ik zal wel ingelogd moeten zijn als local administrator. Is er geen manier om dat te ontwijken? Het zou lullig zijn alsik daarvoor toch een kerneldriver zou moeten schrijven. Hoe ontwijkt een applicatie als partitionmagic en format dat soort limitaties? Die hebben immers ook geen drivers geinstalleerd.

[farlane]

Heb je de source van die explore2fs al gechecked?

[The End]

Grimm9mm schreef op donderdag 07 april 2005 @ 09:27:
Mijn useraccount is wel lid van de groep administrators, maar ik krijg nog steeds error #5... dus ik zal wel ingelogd moeten zijn als local administrator. Is er geen manier om dat te ontwijken? Het zou lullig zijn alsik daarvoor toch een kerneldriver zou moeten schrijven. Hoe ontwijkt een applicatie als partitionmagic en format dat soort limitaties? Die hebben immers ook geen drivers geinstalleerd.

Het maakt niet uit of je lid bent van de local administrators groep of dat je als administrator inlogd. Je hebt dezelfde rechten bij beide. Het kan zijn dat je restore (en backup?) rechten aan moet zetten. Of 'act as part of the operating system'.

Wat je ook kan proberen om niet helemaal aan het begin te schrijven. Misschien zijn er stukjes readonly?

[.oisyn]

Post eens hoe je die CreateFile en je WriteFile aanroept?

[Grimm9mm]

op de volgende manier probeerde ik allemaal nulletjes op een USB-stick te schrijven, in essentie hoort het volledige oppervlak van zon flashstick toch beschrijfbaar te zijn? Of begint dat pas vanaf een bepaald adres?

code:

    device = CreateFile(
        deviceName,
        GENERIC_READ,
        FILE_SHARE_WRITE,NULL,
        OPEN_EXISTING,
        0,NULL);
    if (device==INVALID_HANDLE_VALUE)
        return FALSE;
    while (result)
    {
        result = WriteFile(device,&buffer,BUFFERSIZE,&nbw,NULL);
        if (!result)
            printf("Errorcode: %d", GetLastError());
        }

Hierbij is buffer een array van bytes met de waarde 0

[madwizard]

Er staat me er iets van bij dat je voor het schrijven naar een physical drive volume eerst het ding moest locken, probeer eens de FSCTL_LOCK_VOLUME operation uit te voeren op je handle met DeviceIoControl en dan vervolgens te schrijven (en unlocken).

Edit: Die control code is trouwens wel alleen voor volumes (\\.\x:), niet voor physical drives (\\.\PHYSICALDRIVEx), weet niet welke je nu gebruikt...

[ Voor 40% gewijzigd door madwizard op 07-04-2005 14:54 ]

[Grimm9mm]

Tja, ik gebruik toch \\.\PhysicalDrive1 als apparaat, dus ik werk niet met volumes... die schijf is immers niet voor een OS gepartitioneerd.

[madwizard]

Grimm9mm schreef op donderdag 07 april 2005 @ 14:22:

code:

    device = CreateFile(
        deviceName,
        GENERIC_READ,
        FILE_SHARE_WRITE,NULL,
        OPEN_EXISTING,
        0,NULL);

Misschien handig om ook GENERIC_WRITE access te vragen, anders mag je uberhaupt niet schrijven naar die handle .

[leuk_he]

lijkt mij correct, als ik in de source van truecrypt -> format.c kijk zie ik dit:

C:

    if (bDevice == TRUE)
    {
        dev = CreateFile (lpszFilename, GENERIC_WRITE, 0, NULL, OPEN_EXISTING, 0, NULL);
        if (dev == INVALID_HANDLE_VALUE)
        {
            // Try opening device in shared mode
            dev = CreateFile (lpszFilename, GENERIC_WRITE, FILE_SHARE_READ | FILE_SHARE_WRITE, NULL, OPEN_EXISTING, 0, NULL);
            if (dev != INVALID_HANDLE_VALUE)
            {
                if (IDNO == MessageBox (hwndDlg, getstr (IDS_DEVICE_IN_USE_FORMAT), lpszTitle, MB_YESNO|MB_ICONWARNING|MB_DEFBUTTON2))
                {
                    CloseHandle (dev);
                    dev = INVALID_HANDLE_VALUE;
                }
            }
        }
    }

/edit: dat is dus wel WRITE ipv READ wat JIJ probeert.

[ Voor 7% gewijzigd door leuk_he op 07-04-2005 15:24 ]

[Grimm9mm]

leuk_he schreef op donderdag 07 april 2005 @ 15:15:
/edit: dat is dus wel WRITE ipv READ wat JIJ probeerd.

Ja, dat uitlezen is dus allang gelukt, maar het liefst zou ik graag gewoon een 1-on-1 on the fly kopie willen maken tussen 2 USB-sticks van gelijke grootte, of van andere gelijkwaardige schijven.

[Gé Brander]

The End schreef op donderdag 07 april 2005 @ 11:03:
[...]


Het maakt niet uit of je lid bent van de local administrators groep of dat je als administrator inlogd. Je hebt dezelfde rechten bij beide. Het kan zijn dat je restore (en backup?) rechten aan moet zetten. Of 'act as part of the operating system'.

Wat je ook kan proberen om niet helemaal aan het begin te schrijven. Misschien zijn er stukjes readonly?

In principe zou dat niet uit mogen maken nee, maar ik heb meerdere keren installatie problemen gehad omdat ik niet als Administrator ingelogd was, maar met een account dat lid was van de Administrators group. Het is dus niet zo zwart/wit...

[.oisyn]

Grimm9mm schreef op donderdag 07 april 2005 @ 14:22:
op de volgende manier probeerde ik allemaal nulletjes op een USB-stick te schrijven, in essentie hoort het volledige oppervlak van zon flashstick toch beschrijfbaar te zijn? Of begint dat pas vanaf een bepaald adres?

code:

    device = CreateFile(
        deviceName,
        GENERIC_READ,
        FILE_SHARE_WRITE,NULL,
        OPEN_EXISTING,
        0,NULL);
    if (device==INVALID_HANDLE_VALUE)
        return FALSE;
    while (result)
    {
        result = WriteFile(device,&buffer,BUFFERSIZE,&nbw,NULL);
        if (!result)
            printf("Errorcode: %d", GetLastError());
        }

Hierbij is buffer een array van bytes met de waarde 0

Duh, je opent 'm voor GENERIC_READ, en vervolgens ga je WriteFile aanroepen. What's wrong with this picture

[leuk_he]

Grimm9mm schreef op donderdag 07 april 2005 @ 15:19:
[...]

Ja, dat uitlezen is dus allang gelukt, maar het liefst zou ik graag gewoon een 1-on-1 on the fly kopie willen maken tussen 2 USB-sticks van gelijke grootte, of van andere gelijkwaardige schijven.

edit:
sick proxy hier

Met mini stukje code probeert iets naar een file die je voor read hebt geopend te schrijven. Logisch toch dat dat niet lukt.

Maar ik probeerde ook al te hinten: het open source programma truecrypt (ff googlen bouwt ook een file systeem op, waarbij het de optie heeft dit te doen op een ruwe partitie (partitie is net iets anders als device, op sommige media is het wel hetzelfde). Dus als je daar naar kijken en eruit halen wat je wilt?

[ Voor 17% gewijzigd door leuk_he op 07-04-2005 15:35 ]

[The End]

c70070540 schreef op donderdag 07 april 2005 @ 15:20:
[...]

In principe zou dat niet uit mogen maken nee, maar ik heb meerdere keren installatie problemen gehad omdat ik niet als Administrator ingelogd was, maar met een account dat lid was van de Administrators group. Het is dus niet zo zwart/wit...

Het kan zijn dat bijvoorbeeld alleen de administrator rechten heeft op een bepaald deel van de registry, of bepaalde bestanden/directories via ACLs.

Dat heeft echter niks te maken met de privileges van je account. CreateFile checkt of je account bepaalde 'privileges' heeft. (Act as part of the operation system, Backup/Restore rights e.d. Alles wat je in de security policies kan vinden). Daarnaast kijkt hij of je rechten hebt via de ACL.

Je kan de security policy natuurlijk wel aanpassen om ervoor te zorgen dat alleen administrator bepaalde rechten heeft. Echter is het bij een installatie van Windows default zo, dat de administrators groep rechten toegekend krijgen en niet het administrator account.

[Grimm9mm]

Shit,idd, ik zat me te druk te maken om dat administratorgedoe om te zien dat hij nog op GENERIC_READ stond.
Ik heb em dus idd nu vol kunnen schrijven met 0'etjes, maar wat me opviel, hij blijft doorschrijven voorbij de limieten dat er gelezen kan worden, WriteFile blijft elke keer de waarde 1 retourneren.

[.oisyn]

En wat zegt de lpNumberOfBytesWritten parameter? Staat daarin ook doodleuk het aantal bytes dat je hebt opgedragen om te schrijven?

[The End]

Grimm9mm schreef op donderdag 07 april 2005 @ 16:23:
Shit,idd, ik zat me te druk te maken om dat administratorgedoe om te zien dat hij nog op GENERIC_READ stond.
Ik heb em dus idd nu vol kunnen schrijven met 0'etjes, maar wat me opviel, hij blijft doorschrijven voorbij de limieten dat er gelezen kan worden, WriteFile blijft elke keer de waarde 1 retourneren.

Het is al vaak gezegd dat je GENERIC_WRITE moet gebruiken en het staat ook heel duidelijk in de documentatie van WriteFile.

Je krijg een parameter terug 'lpNumberOfBytesWritten'. Als die 0 is, is er niks geschreven.

[Verwijderd]

/vrijwel geheel offtopic:

farlane schreef op woensdag 06 april 2005 @ 14:58:
[...]


<kuch>[rml]zwippie in "[ Win32]Filesystem omzeilen"[/rml]</kuch>

Gezondheid. Voor zover ik het zie zijn het twee verschillende projecten, en de link die ik gaf was naar de resources-sectie, welke meer informatie mbt. fs drivers dan die andere link dus ik zie je probleem niet.

[ Voor 7% gewijzigd door Verwijderd op 07-04-2005 19:40 ]