[PHP] verschil multidimensionele arrays

[HaTe]

Ik wil graag een xml feed die update, in mijn mysql database zetten, maar de database en de xml feed moeten wel gesynchroniseerd blijven.
Er moeten dus telkens records worden verwijderd en nieuwe toegevoegd worden.

Nu dacht ik dat het het beste de xml lokaal op kan slaan en dan deze bij de volgende update ga vergelijken met die van het web, maar ik weet niet hoe ik dan kan kijken wat er nieuw is en wat er oud is. Het verschil kan ik wel achterhalen:

PHP:

foreach($xml_web_items as $key => $item)
{
    $temp_web[$key] = $item['movie'];
}
foreach($xml_local_items as $key => $item)
{
    $temp_local[$key] = $item['movie'];
}

$dif = array_diff($temp_web, $temp_local);

Maar op deze manier weet ik alsnog niet wat er is weggehaald en wat er is bijgekomen. Ook laat array_diff de keys niet zien, die ik weer nodig zou hebben om de gegevens van de volledige array te achterhalen.

Op deze manier gaat het niet lukken en ik weet niet hoe wel. Wie kan helpen? Ik hoop dat het probleem duidelijk is.

[supreme tweaker]

code:

<?php 
foreach($xml_web_items as $key => $item) 
{ 
    $temp_web[$key] = $item['movie']; 
} 
foreach($xml_local_items as $key => $item) 
{ 
    $temp_local[$key] = $item['movie']; 
} 

foreach($temp_local as $key => $item){
    // check if key/value combo from web items exists in local items
    // if not
        // add to db
}

foreach($temp_web as $key => $item){
    // check if key/value combo from local items exists in web items
    // if not
        // remove from db
}


// write web items to local items (mochten deze buiten de database ook bestaan..)
?>

Edit: klein foutje aangepast. In principe is dit toch wat je wil? Of ik heb je niet begrepen, of je stelt een vraag die je zelf ook wel uit had kunnen vogelen..

[ Voor 20% gewijzigd door supreme tweaker op 11-04-2011 01:12 ]

[HaTe]

Zo zou het denk ik wel kunnen ja Ik ga er morgen mee aan de slag. Bedankt!

//edit
Ik denk dat je bedoelde dat $dif met $temp_local en met $temp_web vergeleken moet worden?

//edit 2
Ik had gedacht dat dit wel zou werken:

PHP:

foreach($xml_web_items as $key => $item)
{
    $temp_web[$key] = $item['movie'];
}
foreach($xml_local_items as $key => $item)
{
    $temp_local[$key] = $item['movie'];
}
$dif = array_diff($temp_web, $temp_local);


$array_add = array();
$array_remove = array();
foreach($temp_web as $key => $item)
{
    if(in_array($item['movie'], $dif))
        $array_add[] = $xml_web_items[$key];
}
foreach($temp_local as $key => $item)
{
    if(in_array($item['movie'], $dif))
        $array_remove[] = $xml_local_items[$key];
}

Maar ik krijg 2 lege arrays terug en $dif bevat wel items.. Waar zit de fout.. Het is laat, ik ga slapen!

[ Voor 104% gewijzigd door HaTe op 11-04-2011 01:31 ]

[Patriot]

Je moet niet vergelijken met $dif, die array_diff moet gewoon weg uit je code.

[Ventieldopje]

array_diff_key of array_diff_assoc moet je naar kijken denk ik Anders moet je idd beide gaan loopen

[ Voor 23% gewijzigd door Ventieldopje op 11-04-2011 02:33 ]

[HuHu]

Dus de inhoud van de database moet altijd gelijk zijn aan de inhoud van de XML? Dan kun je toch bij het binnenhalen van een nieuwe XML de database te legen en deze opnieuw te vullen aan de hand van de nieuwe XML?

[ Voor 6% gewijzigd door HuHu op 11-04-2011 09:06 ]

[DataGhost]

Wellicht beter of makkelijker: INSERT ... ON DUPLICATE KEY UPDATE ...
Oh wacht, dan moet je de verwijderde items ook nog uit je database halen.

[ Voor 35% gewijzigd door DataGhost op 11-04-2011 09:14 ]

[HaTe]

Patriot schreef op maandag 11 april 2011 @ 01:44:
Je moet niet vergelijken met $dif, die array_diff moet gewoon weg uit je code.

Zo werkt het wel ja:

PHP:

foreach($temp_web as $key => $item)
{
    if(in_array($item['movie'], $temp_local))
        $array_add[] = $xml_web_items[$key];
}
foreach($temp_local as $key => $item)
{
    if(in_array($item['movie'], $temp_web))
        $array_remove[] = $xml_local_items[$key];
}

Alleen klopt er iets niet. $xml_local_items bevat 1739 items en $xml_web_items bevat er 1710. Maar $array_add bevat 43 records, terwijl $array_remove er geen bevat... $array_remove had er dus (43-29=) 14 moeten hebben of $array_add had er 29 moeten hebben (niks verwijderd).. Ik niet snappen!
$array_add en $array_remove zijn beide leeg.. $dif bevat 43 records.

Ventieldopje schreef op maandag 11 april 2011 @ 02:32:
array_diff_key of array_diff_assoc moet je naar kijken denk ik Anders moet je idd beide gaan loopen

Nee, aan die keys heb ik niks. In de xml staat niks unieks, behalve de 'movie'.

HuHu schreef op maandag 11 april 2011 @ 09:06:
Dus de inhoud van de database moet altijd gelijk zijn aan de inhoud van de XML? Dan kun je toch bij het binnenhalen van een nieuwe XML de database te legen en deze opnieuw te vullen aan de hand van de nieuwe XML?

Ja, dat heb ik ook overwogen, maar vind ik niet netjes.. Ook kost dat veel meer rekenkracht en is het langzamer en is de database even leeg, waardoor de items even niet beschikbaar zijn..

//edit
Ik heb het tijdelijk toch maar even zo gedaan

PHP:

/*clear old db*/
$sql = "TRUNCATE TABLE items";
if($db->sql_query($sql))
    echo "Gelukt!";
else
    echo "Mislukt!";

/*add items from xml*/
$db->sql_multi_insert('items', $xml_web_items);

Qua tijd merk je het denk ik nauwelijks dat de db even leeg is..

[ Voor 10% gewijzigd door HaTe op 11-04-2011 14:03 ]

[Janoz]

HaTe schreef op maandag 11 april 2011 @ 13:51:
Ja, dat heb ik ook overwogen, maar vind ik niet netjes..

'Netjes' is subjectief. Je kunt beter je architectuur beslissingen af laten hangen van objectieve overwegingen.

Ook kost dat veel meer rekenkracht

Dat is absoluut niet automatisch zo. Bij een feed die juist veel veranderd kan het uitzoeken en vervolgens een verzameling delete, update en insert commando's sturen een stuk duurder zijn dan een simpele delete gevolgd door een enkel insert statement

en is het langzamer

Zie boven. Niet automatisch zo. Sowieso is de database over het algemeen een stuk sneller met data bewerkingen dan PHP

en is de database even leeg, waardoor de items even niet beschikbaar zijn..

Transacties gebruiken

[Verwijderd]

Ik neem aan dat alle items in die xml een uniek id of iets dergelijks hebben? Gebruik die dan als key van je $temp_web en $temp_local arrays en gebruik array_diff om inserts en deletes te bepalen. Volgens mij werkt array_diff namelijk niet op multidimensionale arrays (correct me if i'm wrong).

PHP:

$inserts = array_diff_key($temp_web,$temp_local);
$deletes = array_diff_key($temp_local, $temp_web);

[HaTe]

Alleen 'movie' is uniek. Maar dat is een string van 160 karakters ofzo.

Maar ik ben gewoon voor het verwijderen en weer toevoegen van alles gegaan.

@Janoz: Ja, je hebt gelijk. Ik zal eens naar Transacties gaan kijken, dat ken ik niet.

[ Voor 23% gewijzigd door HaTe op 12-04-2011 18:41 ]

[Guillome]

Een film heeft niet een ID in de database??
Dude..

[HaTe]

In mijn database wel, maar in de xml die niet van mij is niet.
Dude..

[Tsjilp]

om te voorkomen dat je db tijdelijk leeg is, voeg je een veld deleted toe, die standaard op 0 staat.

Voor de update doe je een `UPDATE table SET deleted=1`
daarna een INSERT INTO () ON DUPLICATE KEY UPDATE deleted=0

Daarna doe je DELETE FROM table WHERE deleted=1

[StephanVierkant]

Wellicht ten overvloede: controleer wel of het ophalen van de XML goed gaat. Zou jammer zijn als je database een weekend leeg blijft als de XML tijdelijk offline is, verplaatst wordt of van opmaak verandert.

[FragFrog]

Tsjilp schreef op woensdag 13 april 2011 @ 13:52:
om te voorkomen dat je db tijdelijk leeg is, voeg je een veld deleted toe, die standaard op 0 staat.

Voor de update doe je een `UPDATE table SET deleted=1`
daarna een INSERT INTO () ON DUPLICATE KEY UPDATE deleted=0

Daarna doe je DELETE FROM table WHERE deleted=1

Of je gebruikt een transactie zoals al eerder is voorgesteld Zie ook de voorbeelden bij commit, het stelt vrij weinig voor om op te zetten

[Guillome]

Hoe werkt zoiets nou eigenlijk onder de motorkap?
Je kan hele tabellen legen, en updaten, met relaties etc. En dan commit voert ie alles daadwerkelijk uit, en zonder commit is het onaangetast. Maakt ie een duplicaat van de database om het daarop uit te voeren ofzo?
Want als je een COMMIT doet en dan insert, en dan update, dan pakt ie die insert ook mee.