[MySQL] Data ophalen en filteren op unieke naam & op datum

[Zakkenwasser]

Beste tweakers,

In mijn DB staat het volgende:


id - filename - supermarkt - username - title - caption - tstamp
1 - abc.jpg - vomar - jan - perzik - perzik - Maandag
2 - def.jpg - vomar - blab - boter - boter - Dinsdag
3 - ghi.jpg - ah - tok - banaan - banaan - Woensdag
4 - jkl.jpg - ah - jey - nectar - nectar - Donderdag


Ik haal nu mijn data op via dit commando:
[code=php]
SELECT id, page, title, post, filename, username, caption, MAX(tstamp) FROM vers GROUP BY supermarkt
[/code=php]

Hierdoor krijg ik het volgende resultaat:

id - filename - supermarkt - username - title - caption - tstamp
1 - abc.jpg - vomar - jan - perzik - perzik - Dinsdag
3 - ghi.jpg - ah - tok - banaan - banaan - Donderdag

De datum gaat wel goed, alleen weet ik niet hoe ik de rest op laatste invoer uit mijn database kan filteren zonder dubbele supermarkt namen op te halen.

id - filename - supermarkt - username - title - caption - tstamp
2 - def.jpg - vomar - blab - boter - boter - Dinsdag
4 - jkl.jpg - ah - jey - nectar - nectar - Donderdag
kan iemand mij opheldering hierover geven?

[ Voor 18% gewijzigd door Zakkenwasser op 22-09-2009 14:46 ]

[Voutloos]

google: groupwise maximum

[cariolive23]

De query is fout, de GROUP BY is niet compleet. Iedere database, behalve MySQL, geeft hier een foutmelding op.

Alle kolommen die in je SELECT staan en NIET in een aggregate functie (MAX in dit geval) moeten in de GROUP BY staan. En ga je (runtime) MySQL-configuratie aanpassen, dan gaat MySQL dit soort foute queries ook afkeurig. Scheelt je weer bugs in je systeem, fouten komen direct aan het licht.

Zie http://wiki.phpfreakz.nl/Werken_met_MySQL#Configuratie en geef de juiste mode op nadat je een database connectie hebt opgezet.

[Zakkenwasser]

Hmm, ik heb wat doorgelezen na aanleiding van de tips hier.

ik kwam op dit nieuwe idee:

[code=php]
SELECT vers1.post_id, vers1.post, vers1.filename, vers1.title, vers1.supermarkt, vers1.username, vers1.over
FROM vers AS vers1,
(SELECT supermarkt, MAX(tstamp) AS maxdate
FROM vers
GROUP BY supermarkt) AS vers2
WHERE vers2.supermarkt = vers1.supermarkt
and vers1.tstamp = vers2.maxdate;
[/code=php]

Die sorteerde inderdaad alles zoals ik het wilde hebben, in de test omgeving zetten ik een nieuwe post met een bestaande supermarkt naam, waardoor het lijkt alsof hij de laatst ingevoegde tabel niet meerekend.
En de laatst ingevoegde datum alsnog niet op de juiste volgorde wordt weergegeven

[NMe]

Zeg asjeblieft dat je een datum (of in elk geval een dagnummer) gebruikt en niet de string "Donderdag".

[Zakkenwasser]

NMe schreef op dinsdag 22 september 2009 @ 16:21:
Zeg asjeblieft dat je een datum (of in elk geval een dagnummer) gebruikt en niet de string "Donderdag".

"dinsdag 22 september 2009 16:13"

[Janoz]

Als string?

Met alle respect hoor, maar als je gisteren begonnen was met pielen met mysql en php had ik het nog begrepen. Als ik zie hoe lang jij al aan het prutsen bent en dan nog een dergelijk database ontwerp durft te tonen dan denk ik dat je toch serieus eens na moet gaan denken of dat hele programmeren nu eigenlijk wel iets voor jou is....

[MueR]

Durf ik te vragen waarom je voor een dergelijke datumnotatie kiest in je database?

[whoami]

Return mij eens alle records waarbij de tstamp tussen 1 augustus en 22 september ligt ....

[.oisyn]

MueR schreef op dinsdag 22 september 2009 @ 16:51:
Durf ik te vragen waarom je voor een dergelijke datumnotatie kiest in je database?

Strings zijn de bom, dat snap je toch ook wel? En volgens de string theorie is alles gemaakt van strings, dus....

[Zakkenwasser]

MueR schreef op dinsdag 22 september 2009 @ 16:51:
Durf ik te vragen waarom je voor een dergelijke datumnotatie kiest in je database?

Ik sla mijn data op deze manier op

[code=php]
setlocale(LC_TIME, 'nl_NL');
$vers->tstamp = strftime("%A %e %B %Y %H:%M", time());
[/code=php]

[ Voor 3% gewijzigd door Zakkenwasser op 22-09-2009 17:01 ]

[MueR]

Ah, dus je slaat presentatie op in je database, in plaats van dat ergens anders af te handelen, zoals err.. nou ja, ik roep maar wat.. je presentatie laag?

Lees de reactie van Janoz nog eens wil je? Ik deel zijn mening volledig.

[edit]
De reactie van NMe heeft ook een kern van waarheid overigens.

[ Voor 13% gewijzigd door MueR op 22-09-2009 17:18 ]

[NMe]

MrJey schreef op dinsdag 22 september 2009 @ 17:01:
[...]

Ik sla mijn data op deze manier op

[code=php]
setlocale(LC_TIME, 'nl_NL');
$vers->tstamp = strftime("%A %e %B %Y %H:%M", time());
[/code=php]

Ga eerst eens leren waarom dat absolute bad practice is. whoami noemt hierboven al een voorbeeld van een situatie waar je er gewoon niet mee uit gaat komen.

Je opent hier nu al een hele tijd topics waarin je dit soort grove beledigingen van het programmeursvak ten toon spreidt. Ik denk dat je er héél goed aan zou doen om eens te stoppen, niks meer programmeren, en éérst eens wat basiskennis gaat opdoen. We kunnen nu wel elke week weer een probleem van je gaan oplossen dat voorkomt uit een gebrek aan basisinzicht, maar dat gaat ons vervelen en ik kan me niet voorstellen dat het voor jou veel prettiger is.

[curry684]

whoami schreef op dinsdag 22 september 2009 @ 16:53:
Return mij eens alle records waarbij de tstamp tussen 1 augustus en 22 september ligt ....

Ik wil als supermarktmanager graag weten wat we op koopavonden verkopen, dus doe mij even een rapportje wat we de afgelopen weken op vrijdagen tussen 18:00 en 21:00 hebben verkocht.

[Yoozer]

MrJey schreef op dinsdag 22 september 2009 @ 16:33:
"dinsdag 22 september 2009 16:13"

Maar wat als je nou een nieuwe klant uit de United States krijgt? Die snappen daar natuurlijk niks van.

Nee, even een hele mooie tip. Zet in de database een timestamp en gebruik deze functie hierrrr op deze manier.

Even als pseudocode:

PHP:

$query = $db->Query("SELECT ProductId, ProductTimestamp FROM Product ORDER BY ProductTimestamp DESC");
while($rijtje = $query->FetchObject())
  echo date("d-m-Y", $rijtje->ProductTimestamp);

en dan krijg je keurig een lijstje in elk datumformaat dat je wil. Die Amerikaanse klanten die ik net noemde willen de maand en de dag in de andere volgorde. Mooi rot als je dan je hele code moet gaan omschrijven.

Ga je dan werkelijk zo slim zijn om dat op die lompe manier als string in de database te stoppen?

edit: ik zie net dat je in plaats van een SupermarktId een SupermarktNaam gebruikt. Lees eens wat over normaliseren.

[ Voor 8% gewijzigd door Yoozer op 22-09-2009 17:23 ]

[LuCarD]

whoami schreef op dinsdag 22 september 2009 @ 16:53:
Return mij eens alle records waarbij de tstamp tussen 1 augustus en 22 september ligt ....

SQL:

where 
tstamp like '% 1 aug%' or
tstamp like '% 2 aug%' or
tstamp like '% 3 aug%' or
tstamp like '% 4 aug%' or
tstamp like '% 5 aug%' or
tstamp like '% 6 aug%' or
..
..

Ik zie het probleem niet hoor

[MueR]

curry684 schreef op dinsdag 22 september 2009 @ 17:18:
[...]

Ik wil als supermarktmanager graag weten wat we op koopavonden verkopen, dus doe mij even een rapportje wat we de afgelopen weken op vrijdagen tussen 18:00 en 21:00 hebben verkocht.

SQL:

SELECT supermarkt, title
FROM vers
WHERE tstamp LIKE 'vrijdag%18:%' 
OR  tstamp LIKE 'vrijdag%19:%' 
OR tstamp LIKE 'vrijdag%20:%' 
OR tstamp LIKE 'vrijdag%21:%'
GROUP BY supermarkt

Zoiets al is het lastig om wat nuttigs met deze database te doen

[Yoozer]

MueR schreef op dinsdag 22 september 2009 @ 17:22:
Zoiets al is het lastig om wat nuttigs met deze database te doen

Het nuttige is natuurlijk het maken van een nieuwe stageopdracht voor een optimistische HBOer informatica, die na z'n 100 dagen hoogstwaarschijnlijk een SELECT Altitude FROM Bridge ORDER BY Altitude DESC wil doen om te zien waar 'ie er van af moet springen.

[.oisyn]

NMe schreef op dinsdag 22 september 2009 @ 17:11:
[...]

Ga eerst eens leren waarom dat absolute bad practice is

Niet per definitie. MySQL heeft namelijk ook gewoon datetime velden, en die kan zo'n datum best parsen (wellicht niet in die specifieke vorm, dat zul je even moeten uitzoeken). Het voordeel daarvan is dat je in je query ook gewoon direct datetime functies kunt gebruiken ipv eerst de unix timestamp te converten naar een db-afhankelijk datetime type.

[MueR]

Yoozer schreef op dinsdag 22 september 2009 @ 17:24:
[...]

Het nuttige is natuurlijk het maken van een nieuwe stageopdracht voor een optimistische HBOer informatica, die na z'n 100 dagen hoogstwaarschijnlijk een SELECT Altitude FROM Bridge ORDER BY Altitude DESC wil doen om te zien waar 'ie er van af moet springen.

Je vergeet de kolom SurfaceStructure. Scherpe rotsen > zandgrond.

[ Voor 74% gewijzigd door MueR op 22-09-2009 17:26 ]

[curry684]

MueR schreef op dinsdag 22 september 2009 @ 17:22:
[...]

SQL:

SELECT supermarkt, title
FROM vers
WHERE tsamp LIKE 'vrijdag%18:%' 
OR  tsamp LIKE 'vrijdag%19:%' 
OR tsamp LIKE 'vrijdag%20:%' 
OR tsamp LIKE 'vrijdag%21:%'
GROUP BY supermarkt

Zoiets al is het lastig om wat nuttigs met deze database te doen

En dan morgen secondes braaf toevoegen in %H:%M:%S formaat?

Dit topic (en de voorgaande van zelfde auteur) doet me wat vaagjes denken aan [MySQL] LIKE query op komma-gescheiden veld.... waar ook de conclusie redelijk eensluidend was dat programmeren iets is wat je leert met vele jaren oefenen, lezen en praktijkervaring

[CodeCaster]

MueR schreef op dinsdag 22 september 2009 @ 17:22:
[...]
Zoiets al is het lastig om wat nuttigs met deze database te doen

Nee, nee, nee.

SQL:

SELECT supermarkt, title
FROM vers
WHERE (tstamp LIKE 'vrijdag%18:%' 
OR  tstamp LIKE 'vrijdag%19:%' 
OR tstamp LIKE 'vrijdag%20:%' 
OR tstamp LIKE 'vrijdag%21:%') 
AND tstamp LIKE '%september%'
GROUP BY supermarkt

Natuurlijk kun je dit slechts verkopen als je erbij vertelt dat de applicatie de eerste week van de maand "data moet verzamelen".

[NMe]

.oisyn schreef op dinsdag 22 september 2009 @ 17:25:
[...]

Niet per definitie. MySQL heeft namelijk ook gewoon datetime velden, en die kan zo'n datum best parsen (wellicht niet in die specifieke vorm, dat zul je even moeten uitzoeken). Het voordeel daarvan is dat je in je query ook gewoon direct datetime functies kunt gebruiken ipv eerst de unix timestamp te converten naar een db-afhankelijk datetime type.

Ik gebruik zelf altijd de datetime types van de database waar ik mee werk, alleen gaat dat hier natuurlijk niet op. "Dinsdag 22 september 2009 17:27" wordt door een database die met aan zekerheid grenzende waarschijnlijkheid een Engelstalige locale heeft vast niet gesnapt.

[Yoozer]

CodeCaster schreef op dinsdag 22 september 2009 @ 17:27:
Nee, nee, nee.

SQL:

SELECT supermarkt, title
FROM vers
WHERE (tstamp LIKE 'vrijdag%18:%' 
OR  tstamp LIKE 'vrijdag%19:%' 
OR tstamp LIKE 'vrijdag%20:%' 
OR tstamp LIKE 'vrijdag%21:%') 
AND tstamp LIKE '%september%'
GROUP BY supermarkt

Natuurlijk kun je dit slechts verkopen als je erbij vertelt dat de applicatie de eerste week van de maand "data moet verzamelen".

Eh, dat kan optimaler, he. Denk aan een SupermarktVersInventaris klasse die VoegDagToe($dag) en VoegUurToe($uur) implementeert en dan door een stel arrays loopt. Waarom zelf al die ORs herhalen?

[ Voor 3% gewijzigd door Yoozer op 22-09-2009 17:35 ]

[CodeCaster]

Yoozer schreef op dinsdag 22 september 2009 @ 17:34:
[...]


Eh, dat kan optimaler, he. Denk aan een SupermarktVersInventaris klasse die VoegDagToe($dag) en VoegUurToe($uur) implementeert en dan door een stel arrays loopt. Waarom zelf al die ORs herhalen?

Moet er dan niet nog een QueryFactory omheen?

[RobIII]

Modbreak:

Goed. Genoeg geouwehoerd.

Gaarne ontopic. Met z'n allen TS publiek belachelijk gaan maken is nou niet bepaald constructief.

Behulpzame reacties zijn van harte welkom en anders zakt dit topic vanzelf wel weer af...

/partypooper

[curry684]

Volgens mij komen we hier uiteindelijk weer terug op het punt dat als je een database toch niet als database wilt gebruiken CSV's stiekem performanter zijn.

PHP:

while($line = fgetcsv($file))
  if(preg_match('/^vrijdag.* (18|19|20|21):/i', $line[0]))
    $results[] = $line;

Optimalere oplossing dan wat je nu hebt....

[Yoozer]

Goed, behulpzame reactie dan.

Leer normaliseren en zet deze dingen in aparte tabellen:

GrocerId	GrocerName
1	Vomar
2	Albert Heijn

UserId	UserName
1	Jantje
2	Tokkie
3	Bob-Jeroen Thijs

FruitId	FruitName	Picture	ExpirationDate
1	Banaan	banaan.jpg	1233257834
2	Peer	peer.jpg	1233224834

en nu de echte magie:

GrocerId	UserId	FruitId
1	2	1
2	1	1

Joins zijn niet vies of zo, en sorteren en filteren gaat zo een miljoen keren beter.

Vrijwel alle topics van je starten met een gruwelijk stuk code en je blijft doorgaan op "ik probeer het met (lap code) en het werkt niet " in plaats van gewoon te zeggen "nou, ik wil een systeem maken voor (een website, forum, supermarkt, bakkerij op de hoek) en ik heb te maken met (pagina's, posts, groente, broodjes) en met (gebruikers, organisaties).

[ Voor 11% gewijzigd door Yoozer op 22-09-2009 17:58 ]

[Zakkenwasser]

Yoozer schreef op dinsdag 22 september 2009 @ 17:55:
Goed, behulpzame reactie dan.

Leer normaliseren en zet deze dingen in aparte tabellen:

GrocerId	GrocerName
1	Vomar
2	Albert Heijn

UserId	UserName
1	Jantje
2	Tokkie
3	Bob-Jeroen Thijs

FruitId	FruitName	Picture	ExpirationDate
1	Banaan	banaan.jpg	1233257834
2	Peer	peer.jpg	1233224834

en nu de echte magie:

GrocerId	UserId	FruitId
1	2	1
2	1	1

Joins zijn niet vies of zo, en sorteren en filteren gaat zo een miljoen keren beter.

Vrijwel alle topics van je starten met een gruwelijk stuk code en je blijft doorgaan op "ik probeer het met (lap code) en het werkt niet " in plaats van gewoon te zeggen "nou, ik wil een systeem maken voor (een website, forum, supermarkt, bakkerij op de hoek) en ik heb te maken met (pagina's, posts, groente, broodjes) en met (gebruikers, organisaties).

Hmm, geeft me in ieder geval beter inzicht in hoe ik de dingen eigenlijk zou moeten doen.
Ik heb de meeste 'oplossingen' van phphulp of google jullie zijn de experts en ik doe het nu kennenlijk fout.
Ik dacht toen ik dit topic opende dit keer goed te zitten met de manier waarop ik datum+tijd opsla.

Agja het blijven uitdagingen, een fulltime baan, opjezelf wonen en weinig tijd hebben om goed te stof tot je proberen te nemen.
In een korte tijd, en tegelijketijd een non profit project op proberen te zetten om de medemens mee uit de brand te helpen.

zucht, zoveel ideeen, maar nog te weinig kennis...

toch bedankt voor de hulp

[curry684]

MrJey schreef op dinsdag 22 september 2009 @ 18:04:
[...]

Agja het blijven uitdagingen, een fulltime baan, opjezelf wonen en weinig tijd hebben om goed te stof tot je proberen te nemen.

Met alle respect, je hebt 3 soorten meubelmakers:

1. Mensen als jij en ik die eens in de zoveel tijd een spijker in de muur slaan om een schilderij op te hangen en met wat moeite het tuinhekje gerepareerd krijgen.
2. Mensen die een fiks aantal cursussen hebben gevolgd of persoonlijke les van een ambachtsman, en die een aantal jaren hobbyprojecten op hun niveau hebben gemaakt om daarmee ervaring op te doen voor steeds moeilijker projecten.
3. Ambachtsmensen die het vak door en door beheersen en zichzelf na een omschrijving van 2 zinnen op kunnen sluiten en 2 dagen later een perfect bruikbare stoel conform je wensen opleveren.

Groep 1 moet zich, in alle eerlijkheid, simpelweg niet bezig houden met meubels willen maken. Bij de Ikea hebben ze fantastisch spul staan voor weinig geld, en met een wat dikker budget kun je mooiere meubels kopen of zelfs iemand inhuren die ze op maat voor je maakt. Maar zelf zonder ervaring proberen je eigen huisraad in elkaar te timmeren is een langdurig frustrerend project dat enkel kan mislukken.

Maak jezelf niets wijs, programmeren is net zo hard een ambacht. Net zo hard eentje waarvoor je naast een stuk opleiding vooral ook een stuk aanleg voor nodig hebt - als je met 2 linkerhanden geboren bent wordt je nooit de nieuwe Gerrit Rietveld, en als je niet kunt denken en redeneren als een computer wordt je nooit een topprogrammeur.

Dat is vooral ook geen probleem, zolang je dan maar je aspiraties bijstelt op je mogelijkheden. Je hebt intussen een flinke voorraad aan topics hier op het forum gestart, en hoewel ik er niet omheen zal draaien dat het niveau gemiddeld genomen toch wel uitermate bedroevend is verdien je in ieder geval enige kudo's voor je volhardendheid... want je bent historisch er toch al wel tientallen malen, zowel vriendelijk als onvriendelijk, op gewezen dat het wellicht eens een keer een idee is om te leren programmeren voordat je gaat programmeren. Opmerkingen als 'koop een boek' en 'zoek een andere hobby' zijn onsubtiel letterlijk je kant op geslingerd, maar je lijkt er gewoon geen lering uit te willen trekken. Waarom blijf je jezelf pijnigen? Waarom blijft je volharden in het bouwen van die onmogelijke stoelen en kasten?

Koop nu eens een boek. Een leuk beginnersboek. En ga je vooral niet met databases bezig houden zonder basiskennis over databases, en ga eens gewoon lekker terug naar dag 1 van 'leren programmeren'. Er is niets mis met de miljoenste variant van Hello World bouwen, en daarna een simpel programmaatje dat wat textfiles wegschrijft, en daarna een simpel vraag/antwoord spelletje etc. etc. Ikzelf en alle topprogrammeurs die hier nu rondlopen en alles van het vak weten hebben dat traject doorlopen, omdat dat de enige manier is dat je het ooit onder de knie krijgt.

Fiets nou eens langs de virtuele Ikea van programmeursland en ga eens op je dooie akkertje kijken hoe je van een plankje en 2 stukken staal een boekensteun maakt. Want zonder basisbegrip ga je nooit verder komen en alleen jezelf en ons verder frustreren.

[cariolive23]

Ik heb de meeste 'oplossingen' van phphulp of google

En wat is het niveau van PHPhulp? Gemiddelde leeftijd lijkt een jaar of 12 te zijn en de kennis van databases lijkt ongeveer null komma niks te zijn. Wanneer jij daarvan denkt te kunnen leren, veel sterkte toegewenst!

Koop een goed en vooral simpel boek, begin bij de basis en hou het vooral overzichtelijk. Dan hou je het leuk voor jezelf, leer je veel en heb je in relatief korte tijd de basis onder de knie. Dan kun je al snel van 2 planken iets maken waar je op kunt zitten zonder dat je direct de spijkers in je kont hebt zitten...