[PHP] Auto-update van Scripts via FTP

[Cavorka]

Howdy,

ik zit met het volgende: ik ben al meer dan een jaar bezig met het programmeren van een forum en dit loopt allemaal erg soepeltjes. Maar nu ging er iemand hem ook gebruiken (ja ik weet het, zeer schokkend), iemand anders dan ikzelf dus. En nu wilde ik deze persoon niet opschepen met het aantal updates dat ik uitbreng... op productieve dagen kunnen er dat wel een paar zijn. Deze updates zijn uiteraard niet essentieel, maarja vaak wel bugfixes en/of nieuwe features. Boeit eigenlijk allemaal niet zo:
wat ik dus wil is een web-based up-to-date functie: de admin van zijn/haar forum logt in in de zogenaamde Admin Area en daarin komt dus een pagina (dat is de bedoeling) met daarop een 'Make forum up to date'-button, een soort Windows Update geval, alleen dan dus gewoon met scripts. Dit alles wilde ik via FTP gaan doen: ik heb zelf een server / hosting daar zet ik dan alle versies op, het script maakt connectie met mijn server en de user kan kiezen naar welke versie hij/zij wil updaten. OF wat ik nog liever wil (en hier komt het probleem): ik maak dan een soort 'main' directory met daarin dus de laatste build.

Hoe kan ik nou zien of de user dus al de laatste versie heeft (t.o.v. de main directory met al zijn files) en nog moet updaten?
Ik dacht: we checken het aan de hand van filesizes, comparen deze (tussen de servers in), en als ze verschillend zijn, download en update. Echter Windows en *Nix servers zijn toch echt anders, en dus de filesizes ook, ook al is het 100% hetzelfde bestand. Tsja, niets aan te doen. Jammer
Dus: we doen het met de 'last modified on *****' functies in PHP (ftp_mdtm en filemtime, zie de handige PHP functienaam conventie ). Maarja, alle last modifieds op de server waar ik nu zit zijn allemaal van gisteren rond dezelfde tijd (van een aantal test files), dus ik weet dat op een andere manier deze dus worden getouched (virusscanner, backupper, oid). Hoe het ook zij: dit werkt dus ook niet.

Tsja... en toen was ik een beetje zonder ideeën.

Ik wil dus gewoon zelf kunnen uploaden, en niet handmatig files gaan zitten invullen, welke dan ook met elke versie zou moeten worden meegestuurd en dat hij dan deze op mijn server en de forum server zou gaan vergelijken. Dit is ***werk, en als ik het een keer vergeet loopt dit helemaal in de soep, dit begrijpt iedereen wel neem ik aan.

Misschien is een timestamp op elke 2e regel van iedere file een optie bedenk ik me net, en dat hij dan deze gaat vergelijken met degene op beide servers... Hm.., betekent weer dat ik handmatig na elke verandering deze zelf moet gaan zitten toevoegen.

Iets anders is misschien om gewoon een scriptje in elkaar te steken welke alle timestamps van alle files uitleest nadat ik een build afheb, deze naar een file schrijft in welke vorm dan ook (XML, plain txt, PHP, whathever) en deze gaat vergelijken, echter dit betekent toch weer dat ik het zou kunnen vergeten en er is geen 100% zekerheid dat wat in dit bestand staat ook overeenkomt met wat er op de server staat.

Nou ja, anyways: iemand ideeën, suggesties, nieuwe insteken?

PS: Kom please niet met: 'bouw gewoon grote updates en laat mensen maar af en toe updaten', dat is net zo off-topic als 'drie bier graag, en een patatje met': ik wil graag zo'n soort functie inbouwen, ook omdat het volgens mij redelijk uniek is in de forum-wereld (niet dat ik het gechecked heb: ik heb niet gekeken naar andere fora, en vooral niet naar wat voor functies ze hadden (qua admin gebeuren enzo) om zo clean mogelijk te blijven en ik kan zeggen dat ik het helemaal van scratch, zelf, alleen, heb gemaakt en verzonnnen.

PS2: Pardon de lap tekst.

PS3: Dit alles gaat dus alleen om de core-bestanden van mijn forum, dit zijn er zo'n 25-40 ofzo, maar iets van die orde.

PS4: En ik wil dit uberhaupt weten hoe te doen, aangezien ik het wel makkelijk zou vinden om zo mijn eigen website ook up-to-date te houden: met een webpagina'tje, die gewoon alle belangrijke source files compared en update...

[ Voor 12% gewijzigd door Cavorka op 21-11-2003 21:19 ]

[Verwijderd]

md5-hash van een file trekken en die als identificatie gebruiken.

[dingstje]

en ik zou aanraden om een scriptje te bouwen die een file genereert met de files die geupdate moeten worden per versie, zodat je het script bij de client gewoon dat filetje kunt laten uitlezen. Is veel intressanter en minder tijdsintensief voor zowel je server als de client.

[Stewie!]

Zet op de eerste of tweede regel om welke versie het gaat. op een manier die je makkelijk kan parsen met een update script. Die loopt gewoon je scripts na en kijkt of er versie verschillen zijn

[MikeN]

Verwijderd schreef op 21 november 2003 @ 21:37:
md5-hash van een file trekken en die als identificatie gebruiken.

Dan zit je nog met het unix/windows probleem, de newlines zijn anders. Die zou je er wel vantevoren uit kunnen filteren, imho nogal veel werk.

Ik zou het op de manier van dingstje doen. Het kost je iets meer werk, maar zit toch iets solider in elkaar dan iedere file apart checken.
Het komt erop neer dat jij gewoon lokaal "updatepacks" maakt (hiervoor zou je een mooi scriptje kunnen maken, wat zeg maar een nightly build maakt), en dat de client gewoon de laatste updatepack binnenhaalt (of meerdere) en vervolgens de files aanpast.

Nog mooier zou een CVS/rsync achtig iets zijn, maar ik denk niet dat dat met PHP te halen is.

[Cavorka]

Verwijderd schreef op 21 november 2003 @ 21:37:
md5-hash van een file trekken en die als identificatie gebruiken.

MikeN schreef op 21 november 2003 @ 22:28:[...]Dan zit je nog met het unix/windows probleem, de newlines zijn anders. Die zou je er wel vantevoren uit kunnen filteren, imho nogal veel werk.

Hm, jammer, vond het wel een goed idee.

dingstje schreef op 21 november 2003 @ 21:48:
en ik zou aanraden om een scriptje te bouwen die een file genereert met de files die geupdate moeten worden per versie, zodat je het script bij de client gewoon dat filetje kunt laten uitlezen. Is veel intressanter en minder tijdsintensief voor zowel je server als de client.

MikeN schreef op 21 november 2003 @ 22:28:[...]Ik zou het op de manier van dingstje doen. Het kost je iets meer werk, maar zit toch iets solider in elkaar dan iedere file apart checken.
Het komt erop neer dat jij gewoon lokaal "updatepacks" maakt (hiervoor zou je een mooi scriptje kunnen maken, wat zeg maar een nightly build maakt), en dat de client gewoon de laatste updatepack binnenhaalt (of meerdere) en vervolgens de files aanpast.

Cavorka wrote: Iets anders is misschien om gewoon een scriptje in elkaar te steken welke alle timestamps van alle files uitleest nadat ik een build afheb, deze naar een file schrijft in welke vorm dan ook (XML, plain txt, PHP, whathever) en deze gaat vergelijken, echter dit betekent toch weer dat ik het zou kunnen vergeten en er is geen 100% zekerheid dat wat in dit bestand staat ook overeenkomt met wat er op de server staat.

Ja, idd, dit was dus een optie.

DaMorpheus schreef op 21 november 2003 @ 21:56:
Zet op de eerste of tweede regel om welke versie het gaat. op een manier die je makkelijk kan parsen met een update script. Die loopt gewoon je scripts na en kijkt of er versie verschillen zijn

Cavorka wrote: Misschien is een timestamp op elke 2e regel van iedere file een optie bedenk ik me net, en dat hij dan deze gaat vergelijken met degene op beide servers... Hm.., betekent weer dat ik handmatig na elke verandering deze zelf moet gaan zitten toevoegen.

Zou kunnen, maar dan moet ik dus bij elk bestand die regels handmatig gaan invoeren (of dit evt. ook door een soort build check script laten doen).

Tsja, nog geen uitsluitsel dus helaas, en ook verschillende oplossingen van het 'probleem', plus ook nog eens verschillend meningen. *sigh*

Ik ga denk ik wel de twee aangewezen opties uitproberen en kijken welke van de twee voor mij het minste werk oplevert + het best werkt. Waarschijnlijk dus met een build-check script, welke de laatste edit-datum inbouwt in de file (op een vaste regel, met vaste opmaak).

Thanks voor de input in ieder geval.

[ Voor 21% gewijzigd door Cavorka op 22-11-2003 10:01 ]

[djluc]

Houdt je een changelog bij? Zoja: maak een changelog systeem in je database. Je slaat dus ergens op de cliënt de huidige versie op. Op je server sla je de changes op in bijvoorbeeld het formaat: id-description-file-date. Dan is het niet heel ingewikkeld om aan de hand van het versienummer dat je krijgt van de cliënt de juiste files te verzenden, eventueel zip je ze eerst nog even in.

[chris]

Je kan toch ook gewoon bovenaan in de .php of whatever een commentregel zetten met iets als
/* file:blah.php
version:1.3.5.67
last update:200311211315
*/

en dit dan gaan uitlezen?

Dan moet je alleen hopen dat je user niet zelf gaat kloten in die files, maarja.

[chem]

Waarom zouden de files een andere grootte hebben?

Je \r\n line ending wordt echt niet ineens \n op de server ofzo hoor

[Cavorka]

@djluc: Ik houd wel een changelog bij, yup. Maar in 'je' database? Het hele idee achter mijn forum is juist dat het database-loos is.
Je idee is echter wel interessant... Ik zal er eens over nadenken.

@/dev/null: Ja dit opperde ik zelf ook in mijn start post, en is ook al gezegd door DaMorpheus. Het probleem hiermee echter is dat ik dus handmatig bij elk bestand dit moet gaan zitten doen na elke wijziging, en als je dit vergeet dan 'klopt' het dus niet meer.

@chem: De bestanden hebben verschillende grotes op verschillende besturingssystemen, echter ik heb nog niet getest of de MD5's van de files verschillen zou ik ze maken.
Hoe wilde je trouwens precies 'md5-hash van een file trekken'? Hele file uitlezen, lines achter elkaar plakken en dan MD5'en? Ik vroeg het me af... Als dit namelijk zo zou werken, zou ik net zo goed de bestanden altijd kunnen updaten omdat je dus het hele bestand moet gaan downloaden voordat je de MD5 ervan trekt (dit geldt voor alle bestanden).

[ Voor 16% gewijzigd door Cavorka op 22-11-2003 13:28 ]

[djluc]

Die laatste regel: waarom heel het bestand updaten? Dan is het systeem waar je mee bezig bent nutteloos. Je trekt zowel aan server als aan cliënt side een MD5 en die verstuur en vergelijk je...

[ Voor 20% gewijzigd door djluc op 22-11-2003 14:05 ]

[Goof2000]

Ik zat te denken om één bestand op de server neer te zetten waar je dan alleen inzet welke versie het is.

(Je moet bij deze manier wel bij houden welke bestanden er veranderen per versie.)

Je vergelijkt bestand op server met bestand op jou server laat user kiezen welke versie hij wil.
Dan de veranderde bestanden tov de op de sever staande bestanden laten uploaden.
Controleren of het helemaal gelukt is.
Versie bestand update naar nieuwe versie.

Die veranderde betanden moet je wel kunnen uitlezen uit het bestand waarbij je bij houd welke bestanden er veranderd zijn per versie.

Dat idee kwam mij het eerst op bij het lezen van jou vraag.

Succes

[Cavorka]

djluc schreef op 22 november 2003 @ 14:05:
Die laatste regel: waarom heel het bestand updaten? Dan is het systeem waar je mee bezig bent nutteloos. Je trekt zowel aan server als aan cliënt side een MD5 en die verstuur en vergelijk je...

Ja, maar nee. Mijn vraag daarvoor was dus: een MD5 van wat? En zeg nou niet van het bestand, want dan ga ik gillen!

En het hele bestand updaten is het hele plan. Ik bedoel een aantal bestanden / files waaruit het forum bestaat, die moeten worden geupdate.

@Goof2000: Mja, mja, is een optie, echter dan moet ik weer handmatig dit bestand gaan aanmaken en dus zoals je zegt, precies gaan bijhouden wat er verandert per versie, en dat voor elke versie weer, en dat voor elk bestand. Daar komt ook nog eens bij dat ik heel veel updates heb per versie. Ik bedoel dat het forum nog steeds versie 0.9.7 (don't start, I weet dat ik al veel te ver zit, niets meer aante doen nu) is, maar dat binnen deze versie wel nieuwe builds vrij worden gegeven. Maar dit is ook besides the point.
--------------------------------------------------------------------------

Het jammere is dus dat je niet zonder moeite kan checken welke van de twee files nieuwer is (je kan niet automatisch een stamp erin zetten: of misschien kan dit wel (ik zit nu niet thuis, misschien heeft UltraEdit een soort auto-stamp-on-second-line-off-all-opened-files-when-saving functie)).
Waarschijnlijk moet ik dus idd een script maken wat ik run voordat ik hem upload welke dan de stamps toevoegt aan de bestanden, of een bestand aanmaakt met alle file info (grootte, laatste modificatie tijd etc.) en deze dan ga comparen met deze die op de server staat van de gebruiker.

[ Voor 29% gewijzigd door Cavorka op 22-11-2003 15:00 ]

[Rense Klinkenberg]

Je zou ook gebruik kunnen maken van een cvs server. Daarmee kan je ook keurig regels automatisch laten aanpassen op het moment dat je het bestand commit. Op de server die ge-update moet worden, zou je direct bestanden uit de cvs-server kunnen halen, of simpelweg de last-update velden controlen en indien gewenst de bestanden ophalen.

ps. met de md5-hash van het bestand wordt het volgende bedoelt:

PHP:

$md5 = md5(file_get_contents('example.php'));

[Cavorka]

Hehe, een CVS server? Misschien een beetje overkill...

Thanks voor de md5 uitleg trouwens, file_get_contents is nou echt zo'n functie die ik nooit gebruik. Ik zal straks proberen om te kijken of de MD5 er voor hetzelfde bestand hetzelfde uitkomt op *NIX en Win32.

-------------------------------------------------------------------------------------

Wat ik zelf nog bedacht had (op weg naar huis op de fiets, altijd de meest enlightende momenten voor mij) en eigenlijk vergeten was: ik moet de laatste versie ook zelf altijd uploaden naar de server toe, vanwaar gebruikers deze dan dus zouden kunnen halen. Maar waarom zou ik dit niet doen met een scriptje welke de files van mijn localhost naar mijn server toe verhuist via FTP (wat ik dus normaalgesproken met CuteFTP oid zou doen)? Dan zou ik dus eerst alle files kunnen laten checken op last modified dates, grootte etc, dit wegschrijven naar een versions bestand (alle files met bijbehorende info), dan alle files uploaden (inclusief dus het versions bestand) en dan zou ik dus niets handmatig hoeven doen, zelfs het uploaden NAAR de server niet meer. Ik hoef dan enkel en alleen maar een script te runnen welke dan alles voor mij regelt.
Ik denk dat dit verreweg de gemakkelijkste oplossing is. Voor mensen die gaan kloten in hun versions file ben ik niet zo bang, die moeten dan maar gewoon opzouten.

Easy as killing bunnies with axes.

Thanks voor alle input mensen!

PS: Misschien bouw ik dan evengoed nog een of andere MD5 check in.

*Edit: @DaMorpheus: Sure thing, will do.

[ Voor 10% gewijzigd door Cavorka op 22-11-2003 17:10 ]

[Stewie!]

Post hier effe je resultaat, ben benieuwd!

[Grijze Vos]

ik weet niet in hoeverre het nuttig is, qua md5, maar je kunt ook een systemcall doen naar md5 onder unix-OS's:

system("md5 $bestand")

Een compleet bestand door je php parser heen pleuren met het doel een md5 te maken zou weleens inefficient kunnen zijn, alhoewel ik daar niet zeker van ben, zonder dit te benchmarken. Helaas ga ik nu eten, dus hebk er geen tijd voor, straks een reply

[PrisonerOfPain]

Grijze Vos schreef op 22 november 2003 @ 18:25:
ik weet niet in hoeverre het nuttig is, qua md5, maar je kunt ook een systemcall doen naar md5 onder unix-OS's:

system("md5 $bestand")

Een compleet bestand door je php parser heen pleuren met het doel een md5 te maken zou weleens inefficient kunnen zijn, alhoewel ik daar niet zeker van ben, zonder dit te benchmarken. Helaas ga ik nu eten, dus hebk er geen tijd voor, straks een reply

Je kan in php ook gewoon md5_file gebruiken

[Cavorka]

Thanks voor de MD5 tips, ik zal er naar kijken wanneer de tijd rijp is.

Nou het gaat de goede kant op, hij is al bijna af zelfs. Het enige wat nog rest om te doen is een vergelijking maken tussen de twee version files, ja ik weet het, krom engels, maar ik kan op dit moment ook niets beters verzinnen, maar dit zal zeer eenvoudig zijn met een simpele array_search, en dan dus downloaden welke files niet up to date zijn.

Waar het op neer komt is dus dit (ze zijn nu hetzelfde aangezien ik zelf de devver ben en dus de (test!!)files die er nu staan gelijk blijven, het gaat om het idee):

EVOlution Server File Contents:
files/file1.php | 1069517759 | 22-11-03, 17:15:59 | 0
files/file2.php | 1069519830 | 22-11-03, 17:50:30 | 6
files/file3.php | 1069519150 | 22-11-03, 17:39:10 | 52

Local Server File Contents:
files/file1.php | 1069517759 | 22-11-03, 17:15:59 | 0
files/file2.php | 1069519830 | 22-11-03, 17:50:30 | 6
files/file3.php | 1069519150 | 22-11-03, 17:39:10 | 52

Ik ga dus de filenamen matchen, timestamps vergelijken > up/downloaden ja/nee + nog het aantal files vergelijken, zodat ik zeker weet dat het helemaal werkt.

Dit gaat dus wel lekker.

Wat ik nog bedacht: de humor van dit alles is dus dat je een web-based installer kan maken van dit forum. Iemand komt op (de nog te maken) website van het forum, voert zijn FTP gegevens in, post deze en het script transfert alle files ernaartoe en voila, een volledig geinstalleerd forum, zonder FTP te gebruiken, zonder wat dan ook. Elke ultra-digibeet kan dat. Ownage
Dit is/was maar een idee'tje hoor, de haalbaarheid (voor time-outs van de browser ben ik bang voor, aangezien het toch 300kb ofzo kan zijn, iets in die richting) ben ik nog niet geheel van overtuigd. Dat ik het ga proberen staat echter wel vast.

PS: Over de veiligheid kwa FTP login-gegevens (van mijn hosting) die iedereen die het forum gebruikt dus heeft, ben ik nog niet zo bang: ik maak gewoon een read-only user aan. Hoe weet ik niet, maar dat zien we wel, is vast wel te doen.

[ Voor 11% gewijzigd door Cavorka op 22-11-2003 19:44 ]

[chris]

Je kan natuurlijk ook een php-script aanroepen die eerst kijkt of die persoon rechten heeft om een bepaalde module te updaten en vervolgens pas een bestand doorsluist. Maar dan zit je inderdaad met je timeout-zut.

[dingstje]

Je zet een script op je localhost die de files uploadt naar ftp (eventueel kan je gebruik maken van refreshes: file uploaden, pagina refresh en 2de file uploaden enz. kan je gelijk bijhouden hoever het uploaden al staat). Tijdens het uploaden trekt het script md5 hashes van die files en plaatst die in een andere file. Kan er als volgt uit zien:

code:

index.php md5hash timestamp versie
admin/index.php md5hash timestamp versie
...

De client krijgt de eerste keer dat hij het forum downloadt dat filetje mee. Als de gebruiker wilt updaten fetcht hij het versiefiletje van jouw server en vergelijkt met zijn filetje. Je zou in dit geval gewoon kunnen controleren op de versie en als de md5 hashen van UNIX en Windows versies geef je twee md5 hashes mee in die versionsfile en kun je dat gebruiken om de file intregriteit te controleren.

[Cavorka]

@/dev/null: Tsja, rechten... van mij mag iedereen die het forum gebruikt updaten wat ie wil. Alle restricties zitten ingebakken in de scripts zelf.

@dingstje: Ja, precies, dat is inderdaad een goede manier, echter de 'versie' kwalificatie is nergens vandaan te halen, en wordt eigenlijk bepaald door de timestamp. Het uploaden kan inderdaad wel een beetje lang gaan duren, en zal misschien wel met refreshes gedaan worden. Had ik nog niet bij stil gestaan.

-----------------------------------------------------------

Het script is nu bijna fully operational trouwens, ook de eerste tests verliepen vlekkeloos. Nog wat laatste tests uitvoeren en features adden en ik zal hem posten.

-----------------------------------------------------------
*Edit:
Hij lijkt het gewoon helemaal perfect te doen. De MD5 zit er nog niet in, ben nog helemaal zeker of deze erin komt.
Source: *knip* > Ik zal deze ff met de php kleurtjes laten zien.
Source dus: http://www.onnovanbraam.com/evolution/synchronize-2.php

In de include (ftp-data.php), staan dus de host, username, userpassword en de startdirectory.

Deel een (default) maakt dus de versions file en upload alle scripts (welke je wilt) en maakt de directories aan.
Deel twee (compare) vergelijkt de scripts lokaal met de server daar en download alle nieuwere files, en de files die missen.

[ Voor 52% gewijzigd door Cavorka op 23-11-2003 13:10 ]