Google legt training neurale netwerken uit met kunstzinnige

[H!GHGuY]

De stroming bestaat uit neurale netwerken die getraind worden door miljoenen plaatjes te analyseren, waarna elke laag van het netwerk gaat bepalen wat voor eigenschappen op het plaatje te zien is om uiteindelijk bij de laatste laag te bepalen wat er te zien is. Een eerste laag kijkt bijvoorbeeld naar hoeken en randen, daaropvolgende lagen interpreteren de basisvormen, zoals een deur of een dier. De laatste lagen worden actief bij nog complexere vormen, zoals hele gebouwen.

Dit is onjuist. Het originele artikel geeft dit ook aan:
Ze proberen net te onderzoeken wat elke laag in het neuraal netwerk eigenlijk "detecteert", ze weten het niet.
De voorbeelden waren illustratief en geen concreet onderzoeksresultaat (zie ook de vele "maybe"s in het bronartikel).

edit:
Even verduidelijken...

In een neuraal netwerk hang je het neuronen aan elkaar volgens een bepaalde structuur. Vervolgens geef je die structuur input, laat je het neuraal netwerk zijn ding doen en krijg je output. Vervolgens kun je feedback doen: was het correct, dan versterk je de verbindingen, was het fout, dan verzwak je de verbinding.
Uiteindelijk heb je het neuraal netwerk getraind en kun je beginnen met input geven waar het ding niet mee getraind was.

In computers ga je meestal voor elke neuron een berekening maken:
output = a*input1 + b*input2 + ... (slechts een simpel voorbeeldje)
Bij versterken zou je dan de absolute waardes van a en b groter maken, bij verzwakken net omgekeerd. Of je zou kunnen versterken door iets op te tellen bij a en b.

Zo zie je al dat er enkele zeer belangrijke factoren zijn die het neuraal netwerk definieren:
- welke verbindingen liggen er (en kunnen ze ad hoc opgezet en afgebroken worden). Zowel aantal outputs, aantal inputs, etc.
- welke berekening gebruik je
- hoe geef je feedback

In simpele gevallen worden neurale netwerken in lagen opgebouwd met meerdere inputs en 1 output per neuron. Door de complexiteit blijft het echter zo dat het heel erg moeilijk is om de bijdrage en 'functie' van 1 enkele neuron of laag te gaan bepalen.

[ Voor 45% gewijzigd door H!GHGuY op 20-06-2015 13:10 . Reden: verduidelijking ]

[letatcest]

H!GHGuY schreef op zaterdag 20 juni 2015 @ 08:12:
[...]


Dit is onjuist. Het originele artikel geeft dit ook aan:
Ze proberen net te onderzoeken wat elke laag in het neuraal netwerk eigenlijk "detecteert", ze weten het niet.
De voorbeelden waren illustratief en geen concreet onderzoeksresultaat (zie ook de vele "maybe"s in het bronartikel).

Hoi, sorry voor de late reactie, maar dit weekend heb ik geen computer aangeraakt Ik heb het artikel enigszins aangepast. De reden dat we er een .geek van maakten, is dat we het een heel interessant onderwerp vinden, maar het ook veel te complex is voor een kort artikel. Toch wilden we de mensen de plaatjes niet onthouden, waardoor we een kort artikeltje, dat veel te kort door de bocht is voor het onderwerp, met vooral plaatjes maakten. Maar dat moet wel blijven kloppen natuurlijk.

Er liggen plannen een uitgebreid achtergrondverhaal te maken over neurale netwerken, maar of en wanneer dat zal gebeuren, is helaas nog niet bekend.

[JanVanHaaren]

Eind vorige maand heeft het wetenschappelijk tijdschrift Nature een interessant artikel van Yann LeCun, Yoshua Bengio en Geoffrey Hinton over deep learning gepubliceerd.