Entropie en kans

[Zoijar]

Na het lezen van het matrix topic dacht ik ineens aan het volgende waar ik niet uit kom.

Er is een (natuur)wet die stelt dat de entropie altijd toe neemt. Dit kan je bv gebruiken om bij scheikundige reacties te voorspellen welke "kant" ze op zullen lopen. Entropie is de waarschijnlijkheid van een toestand (hoop dat dit in de buurt komt van een/de definitie). Volgens deze wet is het dan ook niet mogelijk dat bv alle zuurstof deeltjes in je kamer zich (plotseling) naar de bovenste hoek bewegen en je dus stikt. Om maar een voorbeeld te noemen.

Nou heb je ook de kansrekening. Je zou in principe uit kunnen rekenen wat de kans is dat zoiets als met die zuurstofdeeltjes gebeurt. Die kans zal heel erg klein zijn, maar toch, niet nul. Dat betekent dan meteen dat het ooit zal gebeuren als het maar vaak genoeg herhaald wordt, of je dus lang genoeg wacht.

Maar de entropie wet stelt dat het nooit kan gebeuren, ook niet als je heeeeel erg lang wacht. Dit botst met elkaar. Hoe kan dit? Of interpreteer ik de entropie wet verkeerd? Is het zo dat naar alle waarschijnlijkheid de entropie toe zal nemen (dubbel dus, naar waarschijnlijkheid neemt de waarschijnlijkheid toe) en dus praktisch gezien voor ons een reactie altijd naar bv links zal lopen omdat de kans dat het naar rechts loopt zo klein is dat wij dat nooit zullen meemaken? Maar dat het wel mogelijk is. Of is het echt niet mogelijk?

[Verwijderd]

Je zegt het zelf al: De entropiewet is geen harde wetmatigheid, alleen de kans dat hij niet opgaat, is in een macroscopische situatie zo astronomisch klein dat hij eigenlijk altijd wel opgaat.

[Agent-X]

Of het een geld per tijdseenheid terwijl de ander juist over een tijdsvlak gaat

[Reptile209]

Entropie kan je zien in termen van energie. Een systeem streeft altijd naar een toestand van zo laag mogelijke energie en een zo hoog mogelijke entropie ("wanorde"). Het verlagen van de entropie (het "ordenen van het systeem") kost energie -> het systeem komt in een hogere energie terecht. Denk maar aan een pak roze en blauwe muisjes: die kan je wel makkelijk bij elkaar mikken, en dan verdeelt zich dat zonder al te veel moeite. Om ze weer netjes te scheiden, ben je wel een middagje zoet.

Het enige wat dit direct met kansen te maken heeft, is dat de "kans" dat een systeem vanzelf zoveel energie opneemt dat een (zeer) lage entropie verkregen kan worden, echt ongelofelijk klein / onmogelijk is.

http://www.entropylaw.com/ ziet er zo op het oog prima uit voor meer info.

[Verwijderd]

Reptile209 schreef op 28 May 2003 @ 17:24:
Entropie kan je zien in termen van energie. Een systeem streeft altijd naar een toestand van zo laag mogelijke energie en een zo hoog mogelijke entropie ("wanorde"). Het verlagen van de entropie (het "ordenen van het systeem") kost energie -> het systeem komt in een hogere energie terecht. Denk maar aan een pak roze en blauwe muisjes: die kan je wel makkelijk bij elkaar mikken, en dan verdeelt zich dat zonder al te veel moeite. Om ze weer netjes te scheiden, ben je wel een middagje zoet.

Het enige wat dit direct met kansen te maken heeft, is dat de "kans" dat een systeem vanzelf zoveel energie opneemt dat een (zeer) lage entropie verkregen kan worden, echt ongelofelijk klein / onmogelijk is.

http://www.entropylaw.com/ ziet er zo op het oog prima uit voor meer info.

Definier 'een zo laag mogelijke energie'. Het is wel zo dat energie tendeerd naar verspreiding(entropie toename).

Het zal dus zo zijn dat 2 systemen een koude en een warme die verder door niks beinvloed worden uiteindelijk een lauwe tempratuur krijgen. Als er thermisch evenwicht is is de entropie het hoogst.

De formule voor het berekenen van de entropie is trouwens niet zo heel erg moeilijk.
S = k log W Waar S de entropie voorsteld k de constante van Boltzman en W het aantal toestanden waarin het systeem kan verkeren.

Wat de kans dat alle zuurstof zich in een hoekje van je kamer gaat ophopen betreft. De kans dat dit bij 1000 atomen gebeurd is al verwaarloosbaar klein, laat staan bij al die miljarden zuurstof atomen die zich in jou kamer bevinden.

[Lord Daemon]

Laten we eerst de stemming er eens goed inbrengen met een paar quotes.

As anyone who has taken a course in thermodynamics is well aware, the mathematics used in proving [the Second Law] is of a very special kind, having only the most tenuous relation to that known to mathematicians.

- Brush, 'The kind of motion we call heat'

Clausius' verbal statement of the second law makes no sense. All that remains is a Mosaic prohibition; a century of philosophers and journalists have acclaimed this commandment; a century of mathematicians have shuddered and averted their eyes from the unclean.

- Truesdell, 'The tragicomical history of thermodynamics'

[...] no one knows what entropy really is

- John von Neumann

Waar het in principe op neer komt is dat de tweede wet, dat entropie altijd toeneemt, een van de minst begrepen en meest problematische wetten uit de natuurkunde is. Ten eerste kunnen we onderscheid maken tussen de tweede wet van de thermodynamica en de tweede wet van de statistische fysica - het reduceren van de eerste tot de tweede is bij mijn weten uiterst problematisch. Het wordt er allemaal niet gemakkelijker op doordat de tweede wet van de thermodynamice ongeveer evenveel verschillende formuleringen heeft - vaak met hele andere inhoud - als er mensen zich mee bezig hebben gehouden. Een zeer uitgebreide introductie in deze problematiek is Jos Uffink's Bluff Your Way in the Second Law of Thermodynamics. Een belangrijke les lijkt te zijn dat (a) uit de wet niet volgt dat entropie altijd toeneemt, en (b) entropie in de thermodynamica alleen gedefinieerd is voor evenwichtstoestanden, en dat het toepassingsgebied van de wet dus zeer gering is.

Gaan we naar de statistische fysica, dan wordt de tweede wet vaak geidentificeerd met de gedachte dat gesloten systemen altijd van ordelijke naar wanordelijke toestanden gaan. Hier is eigenlijk niet zoveel rechtvaardiging voor. De onderliggende mechanica, het bewegen van botsende deeltjes, is volledig tijdsinvariant - als je een 'video' hebt van botsende deeltjes ziet die er achteruit bekeken even natuurlijk uit als vooruit bekeken. Hoe zou dan de tweede wet van diezelfde theorie een tijdsasymmetrie kunnen kennen?

Bovendien geldt voor eindige, gesloten systemen de stelling van Liouville (ik meen dat dat de naam is), die zegt dat het systeem na eindige tijd altijd willekeurig dichtbij elke ooit aangenomen toestand zal terugkeren. Hoe kunnen we de tweede wet in deze context nog begrijpen? Hij lijkt voornamelijk te zeggen dat een systeem het grootste gedeelte van de tijd 'in equilibrium' doorbrengt, maar niet dat entropie met de tijd altijd toeneemt. (Immers, na eindige tijd komt het systeem altijd weer terug in de toestand met lage entropie waarin het begon.)

Welke interpretatie we dan aan de tweede wet moeten geven is maar helemaal de vraag. Ik heb zelf wel sympathie voor het standpunt dat entropie een subjectief begrip is. "Het is extreem onwaarschijnlijk dat alle luchtmolekulen in 1 helft van mijn kamer gaan zitten!" Heel waar, maar de huidige positie van de molekulen in je kamer is nog onwaarschijnlijker (simpelweg omdat een enkele toestand onwaarschijnlijker is dan een hele verzameling toestanden - namelijk alle mogelijkheden om de molekulen in 1 helft van je kamer te stoppen). En de microtoestand van de lucht in je kamer is deel van een heleboel verzamelingen van microtoestanden die allemaal minder waarschijnlijk zijn dan de toestand waarin alle lucht in 1 helft van je kamer zit. Alleen is er het subjectieve feit dat wij de ene groep toestanden wel, en de andere groep niet een leuk naampje geven en intuitief vinden. Eigenlijk zegt de tweede wet dus wellicht niets anders dan: de toestanden die wij ons gemakkelijk kunnen voorstellen vormen maar een hele kleine deelverzameling van alle toestanden.

(Het grappige is overigens dat ik dit topic tegenkwam net toen ik even pauze aan het houden was van het schrijven van een essay over de invloed van de tweede wet van de thermodynamica en het idee van de hittedood van het universum op filosofie en religie - en andersom. Lekkere pauze! )

[Verwijderd]

Lord Daemon schreef op 28 mei 2003 @ 23:15:

Gaan we naar de statistische fysica, dan wordt de tweede wet vaak geidentificeerd met de gedachte dat gesloten systemen altijd van ordelijke naar wanordelijke toestanden gaan. Hier is eigenlijk niet zoveel rechtvaardiging voor. De onderliggende mechanica, het bewegen van botsende deeltjes, is volledig tijdsinvariant - als je een 'video' hebt van botsende deeltjes ziet die er achteruit bekeken even natuurlijk uit als vooruit bekeken. Hoe zou dan de tweede wet van diezelfde theorie een tijdsasymmetrie kunnen kennen?

Zou je dat beter uit kunnen leggen.

Wat jij dus zegt is dat wanneer ik een vat heb met een schot in het midden. Aan de ene kant zit zuurstof en aan de andere kant zit stikstof. Dat als ik het schot weg zou halen en ik zou dit op 'video' opnemen dat dit vooruit gespeeld dezelfde video opleverd als achteruit gespeeld.

Op de vooruit versie gaan de deeltjes toch mengen en op de achteruit variant gaan de deeltjes zich toch ordenen, naar hun helft van het vat (of zie ik dat nou verkeerd).

Dat is toch hetzelfde als bijvoorbeeld een vaas kappot laten vallen. Dat heb ik in de vooruit versie weleens gezien maar ik heb nog nooit een vaas die kapot lag op de grond heel zien worden.

[Lord Daemon]

Verwijderd schreef op 29 mei 2003 @ 10:08:
Zou je dat beter uit kunnen leggen.

Ja. Wat ik bedoel is dat als je naar de beweging van een enkel molecuul kijkt, en de botsingen die het met andere moleculen maakt, je naar iets zit te kijken dat volkomen tijdsomkeerinvariant is. Als je het achteruit speelt zien de beweging + botsingen van het molecuul er even natuurlijk uit.

Dit ligt ten basis aan de beroemde 'omkeertegenwerping' van Loschmidt tegen Boltzmann's formulering van de tweede wet van de statistische fysica. Stel, zegt Loschmidt, dat je een toestand met een lage entropie hebt; deze laat je evolueren, en de entropie wordt steeds hoger, volgens de tweede wet. So far so good. Maar als je nu de eindtoestand neemt en daar de snelheden van alle moleculen omdraait, gebeurt er precies het tegenovergestelde: de entropie wordt steeds lager als de tijd verder gaat tot hij uiteindelijk zo laag wordt als in de 'begintoestand'. Met andere woorden: voor elke configuratie van het gas waarin de entropie met de tijd toeneemt, is er ook een configuratie waarin hij met de tijd afneemt. Er is dus geen enkele reden om aan te nemen dat entropie met de tijd altijd toeneemt, en dat volgt uit de tijdsomkeersymmetrie van de moleculaire bewegingen.

De vraag is natuurlijk of toestanden met lage entropie niet juist die toestanden zijn die wij gemakkelijk kunnen prepareren, zoals jouw voorbeelden met het tussenschot en de vaas; de omgekeerde toestanden prepareren is in principe wel mogelijk, maar je hebt er een legertje demonen van Maxwell voor nodig om ze daadwerkelijk te maken.

[Lord Daemon]

Om de verwarring nog wat groter te maken, geïnspireerd door jouw vat met zuurstof en stikstof, de befaamde "Gibbs' Paradox". Beschouw twee vaten met gas, en een tussenschot. Als we het tussenschot wegnemen gaan de gassen mengen. Stel dat er in de vaten verschillende gassen zitten; dat zorgt dit voor een entropietoename, en wel een toename die alleen afhangt van het aantal mol gas. Maar als er in de vaten hetzelfde gas zitt, vindt er geen entropietoename plaats. (Er gebeurt immers 'niets'.)

Tot zover geen probleem. Maar beschouw nu eens twee gassen die als enige verschil hebben dat de eerste stabiel is en de andere na een bepaalde, zeer lange, tijd n vervalt. Wij kunnen geen verschil zien tussen deze twee gassen; toch zegt de thermodynamica dat de entropie toeneemt, en wel evenveel als wanneer het totaal verschillende gassen waren geweest. Dat is raar. Entropie is kennelijk niet experimenteel te bepalen. Erger nog, voor willekeurig grote n blijft de entropietoename gelijk, maar in de limiet dat n oneindig wordt, wordt de entropietoename ineens nul! (Want dan zijn de gassen gelijk.) Er wordt dus kennelijk van ons verwacht dat we geloven dat er een functie bestaat die overal een constante positieve waarde heeft, en toch in de limiet nul is. Dat is bizar.

[Avalanchez]

Verwijderd schreef op 28 mei 2003 @ 19:17:
[...]


Definier 'een zo laag mogelijke energie'. Het is wel zo dat energie tendeerd naar verspreiding(entropie toename).

Het zal dus zo zijn dat 2 systemen een koude en een warme die verder door niks beinvloed worden uiteindelijk een lauwe tempratuur krijgen. Als er thermisch evenwicht is is de entropie het hoogst.

De formule voor het berekenen van de entropie is trouwens niet zo heel erg moeilijk.
S = k log W Waar S de entropie voorsteld k de constante van Boltzman en W het aantal toestanden waarin het systeem kan verkeren.

Wat de kans dat alle zuurstof zich in een hoekje van je kamer gaat ophopen betreft. De kans dat dit bij 1000 atomen gebeurd is al verwaarloosbaar klein, laat staan bij al die miljarden zuurstof atomen die zich in jou kamer bevinden.

sorry misschien voor de kick maar S = k ln W

[Verwijderd]

Hangt er maar helemaal vanaf hoe je je k definieert, lijkt me...

[Avalanchez]

Verwijderd schreef op 06 June 2003 @ 21:40:
Hangt er maar helemaal vanaf hoe je je k definieert, lijkt me...

k = constante van boltzmann = R/N_A
(de universele gasconstante op hét getal van Avogadro)

[Verwijderd]

klopt, maar de formule met een log erin is prima correct als de k daar ln(10)*R/N_A is... Dat is slechts een kwestie van definitie.

[Avalanchez]

Verwijderd schreef op 06 June 2003 @ 22:25:
klopt, maar de formule met een log erin is prima correct als de k daar ln(10)*R/N_A is... Dat is slechts een kwestie van definitie.

mja, maar afspraken zijn gewoon afspraken. als ie er dat niet bijzegt is het gewoon verkeerd.

[Verwijderd]

tja, een k in een formule zegt natuurlijk niet zoveel zolang je niet definieert wat het is... Afspraak of geen afspraak. De waarde van een natuurconstante als de constante van bolzmann trouwens ook niet, uiteindelijk zijn ze allemaal 1 op het moment dat ze irritant worden En daarnaast, aangezien de absolute waarde van de entropie totaal niet boeit, is het allemaal niet erg relevant

[Verwijderd]

Het is ook nog zo dat log vaak wordt opgevat als ln wanneer er niet duidelijk bij staat dat log de 10log is.

[Lord Daemon]

Als ik log zie staan, ga ik er automatisch van uit dat daar de natuurlijke logaritme mee bedoeld wordt. In de natuurkunde wordt ook eigenlijk nooit een andere logaritme gebruikt. (In meer technische gebieden wel, denk aan decibellen; in informatietheorie is de 2-log dan weer erg populair; maar in de harde natuurkunde eigenlijk alleen de natuurlijke logaritme.)

[Verwijderd]

In de scheikunde en de biologie wordt de ln meestal in ln(10)*10-log omgezet en met alle andere constanten uit de formule in 1 constante geveegd: Scheelt een hoop rekenwerk, en 10-log is nu eenmaal een stuk gemakkelijker inzichtelijk dan ln.

[GeeBee]

Lord Daemon schreef op 28 May 2003 @ 23:15:
Welke interpretatie we dan aan de tweede wet moeten geven is maar helemaal de vraag. Ik heb zelf wel sympathie voor het standpunt dat entropie een subjectief begrip is. "Het is extreem onwaarschijnlijk dat alle luchtmolekulen in 1 helft van mijn kamer gaan zitten!" Heel waar, maar de huidige positie van de molekulen in je kamer is nog onwaarschijnlijker (simpelweg omdat een enkele toestand onwaarschijnlijker is dan een hele verzameling toestanden - namelijk alle mogelijkheden om de molekulen in 1 helft van je kamer te stoppen). En de microtoestand van de lucht in je kamer is deel van een heleboel verzamelingen van microtoestanden die allemaal minder waarschijnlijk zijn dan de toestand waarin alle lucht in 1 helft van je kamer zit. Alleen is er het subjectieve feit dat wij de ene groep toestanden wel, en de andere groep niet een leuk naampje geven en intuitief vinden. Eigenlijk zegt de tweede wet dus wellicht niets anders dan: de toestanden die wij ons gemakkelijk kunnen voorstellen vormen maar een hele kleine deelverzameling van alle toestanden.

Ben ik niet met je eens.
Elke specifieke toestand in een verzameling van toestanden is even waarschijnlijk als je het alleen kansreken-technisch bekijkt.
Echter: als je bijvoorbeeld een kansboom tekent, zitten in het midden de toestanden die qua configuratie het meest op elkaar lijken. Daarom lijken reeksen uitkomsten die tenderen naar gemiddelde uitkomsten het vaakst voor te komen.

Je moet daarom goed onderscheid maken tussen uitkomsten waar de volgorde wél uitmaakt en die waar de volgorde niet uitmaakt.
De kans op een gezin van 2 kinderen met een jongen en een meisje is 50%, maar de kans op een gezin van 2 kinderen met de oudste een jongen en de jongste een meisje is 25%.

De kans op de huidige verdeling van zuursof in mijn kamer van elk molekuul afzonderlijk is net zo (on)waarschijnlijk als de verdeling van alle zuurstofmolekulen aan één kant van de kamer.
De gelijkmatige verdeling van zuurstofmolekulen is waarschijnlijker dan alle molekulen aan één kant omdat er meer verdelingen mogelijk zijn waarin de molekulen gelijkmatig verdeeld zijn. Zonder rekening te houden dus met de plaats van specifieke molekulen.

[Verwijderd]

Ik denk dat het argument JUIST was dat de huidige toestand van de moleculen in je kamer een unieke is, waarbij volgorde dus weldegelijk een rol speelt, en als ze in de hoek zitten de volgorde niet uitmaakt, en die toestand dus niet uniek is.

Dus je hebt wel gelijk, maar dat was het punt niet

[Lord Daemon]

GeeBee, ik begrijp niet helemaal waarom jouw verhaal een argument tegen mijn positie is. Laat ik mijn verhaal nog een keer heel anders vertellen.

Stel, je splitst jouw kamer op in 2 verschillende, even grote gebieden. Bijvoorbeeld de linker en de rechter helft; de bovenste en de onderste helft; alle punten waarvan de som van de x,y,z coordinaten op de achtste decimaal achter de komma een even cijfer heeft staan en het complement daarvan; etcetera. Allemaal mogelijkheden. Nu ben ik het onmiddellijk met je eens dat de kans dat de moleculen in jouw kamer ongeveer half-half verdeeld zijn over die twee gebieden gigantisch groot is.

Maar wat betekent het nu om 'gelijkmatig' verdeeld te zijn? Dat kan toch moeilijk afhangen van een bepaalde manier om je kamer op te delen in twee stukken; het lijkt me niet dat je kan zeggen 'de moleculen zijn gelijkmatig verdeeld wanneer ongeveer de helft in de linker kant en de helft in de rechter kant van mijn kamer zit'. Immers, dan zou het best nog eens het geval kunnen zijn dat voor alle moleculen geldt dat de som van de x,y,z coordinaten op de achtste decimaal achter de komma een even cijfer heeft staan - en dat zou toch wel een bizar toeval zijn, dat ik niet 'gelijkmatige verdeling' zou willen noemen!

Nou, zeg jij dan wellicht, ik weet het goed gemaakt: we kijken niet naar een enkele verdeling, we kijken niet naar alle verdelingen die ik - subjectief - als 'voor de hand liggend' beschouw', nee, we kijken naar alle manieren om mijn kamer in twee helften op te delen. En dan is een toestand 'gelijkmatig verdeeld' als in al die verdelingen ongeveer de helft van de moleculen in elk gebied zit.

Maar helaas: als je kijkt naar alle verdelingen, zijn er altijd heel veel waarbij de moleculen juist volstrekt ongelijkmatig verdeeld zitten. En sterker nog: het aantal verdelingen waarbij dit het geval is, is voor elke microtoestand van de moleculen gelijk. Mijn stelling is dan ook dat je helemaal niet kunt zeggen dat de ene toestand gelijkmatiger is verdeeld dan de andere; althans, niet op een of andere objectieve manier. Er kan dus ook geen wet gelden die zegt dat de moleculen steeds gelijkmatiger door de ruimte verdeeld worden.

(Edit: bij jouw kansboom is er bijvoorbeeld wel een unieke tweedeling van de ruimte, namelijk in 'jongen' en 'meisje'. Dan heb je dit probleem natuurlijk niet.)

[ Voor 6% gewijzigd door Lord Daemon op 07-06-2003 11:25 ]

[GeeBee]

Het voorbeeld van jongen/meisje is simpeler en gaat wat mank, daar heb je gelijk in. Misschien zou je kunnen zeggen dat je ook in de kamer een unieke tweedeling hebt: op een specifiek punt in de ruimte wel wel/geen zuurstofmolekuul aanwezig.

Ik probeerde de volgende parallel te trekken:
Allemaal jongens = alle molekulen aan 1 kant van de kamer.
Even veel jongens als meisjes = alle molekulen gelijkmatig verdeeld over de kamer.

Nou heb je heel veel molekulen in de kamer, dus zou je het moeten hebben over een gezin met heeeeeeel veel kinderen...

Allemaal jongens is een extreme uitkomst en zal bijna niet voorkomen.
Elke specifieke gezinssamenstelling is uiteraard net zo onwaarschijnlijk als je de kinderen op volgorde van leefdtijd zet: de wilekeurige rij JJMMJJJMMJJMJMJ... is net zo onwaarschijnljk als JJJJJJJ....
Maar de kans op een gezin met ongeveer evenveel J als M is wel groter. Er zijn meer rijen waarin evenveel J als M zitten. Hoe verder je naar de extremen gaat, hoe minder vaak die verdeling voorkomt.

Daarom zou ik zeggen dat een extreme verdeling van de molekulen minder vaak voorkomt dan de gelijkmatige verdeling.

Hoe je de kamer verdeelt maakt inderdaad niet uit. Een gelijkmatige verdeling noem ik wél die verdeling waarbij de molekulen ongeveel 50/50 verdeeld zijn. Als je het hebt over de kans dat de molekulen allemaal een even getal op de 8e decimaal hebben staan, heb je het over een specifieke verdeling en die kans is even groot als de kans dat ze allemaal aan de linker kant zitten.

Misschien bedoel jij met regelmatig een exact 3D-rooster waar alle molekulen in zitten, vergelijkbaar met een zoutkristal. Dat bedoel ik zeker niet.

[Verwijderd]

Leuk topic . De discussie over of je al dan niet kan stellen dat een gas uniform verdeeld is vat ik niet. De entropie wet voorspelt dat twee gassen zich na oneindige tijd (maar misschien ook eerder) zo zullen mengen dat in elk willekeurig volume in de ruimte de concentratie deeltjes van beide gassen gelijk is (afgezien van thermische fluctuaties). Met zo'n definite kun je toch objectief stellen dat het egaal verdeeld is?