Rekenfout Maple bij bepalen afgeleide?

[Opi]

Niet wetend waar ik dit topic moet plaatsen, dit topic dan maar hier;

Al een tijdje ben ik bezig met neurale netwerken en het leren ervan. Nu gebruik je voor het leren van een neuraal netwerk meestal de afgeleide. Na deze handmatig bepaalde te hebben wilde ik het controleren mbv Maple. Het netwerk heb ik alsvolgt opgebouwd:

code:

V:=sum('tanh(y[r])', 'r'=1..n_o_tu);
y[r]:= sum('w_ho_tu[q][r]*sigm_h_tu[q]', 'q'=1..n_h_tu);
sigm_h_tu[q]:= tanh(sum('w_ih_tu[p][q]*input[p]', 'p'=1..n_i));

En de afgeleide bepaal ik dan zo:

code:

diff(V,w_ih_tu[p][q]);

Mijn excuses dat ik het resultaat niet handmatig uittik, maar daar leent GoT zich zelf helaas niet zo erg voor (een copy is onderaan de topicstart te vinden). Desalniettemin ben ik van mening dat er een sommatie te veel in de afgeleide zit. Het gaat dan om de tweede keer dat over alle q's gesommeerd wordt en dan niet zozeer te term waarover gesommeerd wordt, maar het sommeren zelf. Naar mijn idee is dit helemaal niet het geval. Ik hoop dat iemand mijn vermoeden kan bevestigen of juist onderuit kan vegen.

code:

  n_o_tu /
  -----  |
   \     |
    )    |1 -
   /     |
  -----  |
  r = 1  \

             n_h_tu                     n_i
             -----                     -----
              \                         \
        tanh(  )    w_ho_tu[q][r] tanh(  )   w_ih_tu[p][q] input[p]))^
              /                         /
             -----                     -----
             q = 1                     p = 1

        2\ /n_h_tu
         | |-----
         | | \
         | |  )    w_ho_tu[q][r]
         | | /
         | |-----
         / \q = 1

        /          n_i                         2\ / n_i          \\
        |         -----                         | |-----         ||
        |          \                            | | \            ||
        |1 - tanh(  )   w_ih_tu[p][q] input[p]) | |  )   input[p]||
        |          /                            | | /            ||
        |         -----                         | |-----         ||
        \         p = 1                         / \p = 1         //

[ Voor 4% gewijzigd door Opi op 02-12-2003 13:55 ]

[Confusion]

Als ik het goed begrijp is V dus een som over de tanh van ( de som over (een matrixelement *de tanh van ( de som over ( een matrixelement * een input ) ) ) ), waarbij je differentieert naar het matrixelement?

Als je w_ih_tu[p][q] en input[p] in de laatste som nou omdraait, is het eigenlijk gewoon rij*kolom. Datzelfde kan je in de voorlaatste som doen; dat ziet er mijn inziens iets logischer uit?

[ Voor 28% gewijzigd door Confusion op 02-12-2003 17:46 ]

[Confusion]

Let's see, tanh(x) = (e^x - e^-x) / (e^x + e^-x), dus
tanh'(x) =
( (e^x + e^-x)(e^x + e^-x) - (e^x - e^-x)(e^x - e^-x) ) / (e^x + e^-x)² =
1 - (e^x - e^-x)² / (e^x + e^-x)² = 1 - tanh²(x). Daarvan dus geen complicaties.

Hmmm, geneste som, product en kettingregel,
Er geldt: de afgeleide van een som is de som van de afgeleides, voor de afgeleides van een produkt geldt de productregel en voor geneste functies geldt de productregel.
De afgeleide kan je binnen de eerste som halen, alwaar hij de tanh van (een som over de variabele maal de tanh van de variabele) /*even wat getallen negerend*/ aantreft. Dus geldt:
de afgeleide is de afgeleide van de tanh van dat hele verhaal * de afgeleide van dat hele verhaal.
De afgeleide van dat hele verhaal is (de afgeleide van som over de variabele) * tanh(variabele) + (afgeleide tanh(variabele)) * de som over de variabele.
De afgeleide van de som is weer de som van de afgeleides....

ehmm, ik moet weg en ik weet nog niet zeker of het nou klopt of niet, maar ik kom in ieder geval op een som over (een som + een som

[Opi]

Beetje late reactie.

Dan denk ik toch dat ik het bij het rechte eind had en dat Maple loopt te prutsen. Frappant.

[D2k]

volgens mij is maple echt zelden fout hoor
iig elke keer dat ik dacht gelijk te hebben en maple niet was ik fout

[MaDLiVe]

Volgens mij maakt maple ook zelden fouten Af en toe gewoon een foutje bij de input is de oorzaak. (brrrr....ik heb nare herinneringen aan maple).

Heb hier nog een mooie/recente/uitgebreide handleiding in de aanbieding

[Confusion]

Heej, ik ben vergeten om terug te komen naar dit topic, oops, sorry.

Ik moet zeggen dat het me sterk lijkt dat Maple een fout maakt, want dan moet er een fout in een algoritme zitten en volgens mij is het algoritme dat gebruikt wordt om afgeleiden te berekenen erg algemeen en zou er dus een stortvloed van fouten moeten worden gemeld, want zo bijzonder is deze functie nou ook weer niet. Het is gewoon een paar regeltjes consequent toepassen en dat kunnen computers juist. Ik heb helaas nu even geen tijd om er hard over na te denken, maar weet je zeker dat je niet over het hoofd ziet dat de kettingregel toegepast op een product dus twee termen oplevert waar de kettingregels op toegepast moet worden?

[Opi]

Ik heb er ook lang over nagedacht om dit topic te openen. Computers maken namelijk geen fouten en de programmeurs zijn qua wiskunde, naar ik vermoed, een stuk verder dan ik.

Zou het kunnen liggen aan het feit dat de structuur niet conventioneel is? * Opi gaat er nog maar een keer naar kijken.

Hmmm, geneste som, product en kettingregel,

Je sais.

[FCA]

Ik ben totaal niet thuis in de syntax van Maple, ik wordt hier weinig wijs uit. Kun je niet in LaTeX (o.i.d) de oorspronkelijke formule hier neerzetten, dan kan ik kijken wat Mathematica ervan bakt.
Ik ben wel benieuwd of Maple echt de fout in gaat, want zoals Confusion zegt zou dat best grote gevolgen moeten hebben.

[drm]

Dit is ook geen maple-notatie, dit is ascii art

_{tot zover deze nutteloze bijdrage}

[Opi]

\begin{equation}
\frac{\partial V}{\partial w_{ih_{tu_{p, q}}}} = (1 - V(x)^{2})*( \sum_{q = 1}^{n_{h_{tu}}} w_{ho_{tu_{q,r}}}*sigm_{h_{tu_{q}}})*(\sum_{p = 1}^{n_{i}}x_{i})
\end{equation}

Wedermaal omhels ik GoT voor het bieden van de geweldige functionaliteiten op het gebied van wiskundige vergelijkingen.

Ik vermoed iig dat het vetgedrukte deel, niet hoort.

[FCA]

drm schreef op 08 december 2003 @ 22:38:
Dit is ook geen maple-notatie, dit is ascii art

_{tot zover deze nutteloze bijdrage}

Ik bedoelde de eerste formule, persoon die nuttige bijdrages doet
Niet dat ik erg veel wijzer wordt van de ascii art, maar als het goed is kan ik dan gewoon plaatjes vergelijken...
Hogere wiskunde heet dat, moet je eerst 4 jaar voor studeren voordat ze je dat vertellen.

[drm]

FCA:
Ik bedoelde de eerste formule, persoon die nuttige bijdrages doet
Niet dat ik erg veel wijzer wordt van de ascii art, maar als het goed is kan ik dan gewoon plaatjes vergelijken...
Hogere wiskunde heet dat, moet je eerst 4 jaar voor studeren voordat ze je dat vertellen.

Nou, ik heb dan maar even een plaatje voor je gebakken:



_{om maar een serie nuttige bijdragen te beginnen}

[Grrrrrene]

[A61] ---> [W&L]

Op verzoek