Perceptron

Haben Sie Fragen zur Bedienung bestimmter Features von MemBrain? Sind Sie nicht sicher, welches Häkchen was bewirkt? Möchten Sie wissen, ob eine bestimmte Funktionalität in MemBrain vorhanden ist oder nicht?

Dann stellen Sie Ihre Fragen hier!
Post Reply
User avatar
Hanisch
Posts: 15
Joined: Thu 31. Mar 2011, 17:14
Location: Mannheim

Perceptron

Post by Hanisch »

Hallo!
Also hier mal meine Newbee-Frage zum Perceptron.
Ich hab da jetzt das eine oder andere drüber gelesen, von wegen "Abtastneuronen", "Retina" und feste Gewichte (u.A. hier: http://www.dkriesel.com/science/neural_networks),
und frag mich natürlich, wie ich das in Membrain realisieren soll.
Da ich aber auch schon nach BIAS-Neuronen gesucht hab, und irgendwie meine hier im Forum herausgelesen zu haben,
dass diese quasi in den Neuronen schon mit eingebaut sind, frag ich mich natürlich,
ob die Eingangsneuronen in MemBrain diese ganze Retina-Geschichte nicht auch schon eingebaut haben ?
Fänd ich ja klasse - weil ich die Systematik mit den festen Gewichtungen nicht so ganz verstehe... in dem Script hatte ich den Eindruck,
dass die Abtastneuronen mit allen EIngangsneuronen vernetzt waren... und der restlichen Literatur folgend würd ich eigentlich gerne den Begriff MLP auch guten gewissens für meine Netzchen verwenden dürfen.
Viele Grüße
Thomas
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Perceptron

Post by Admin »

Hanisch wrote:Da ich aber auch schon nach BIAS-Neuronen gesucht hab, und irgendwie meine hier im Forum herausgelesen zu haben,
dass diese quasi in den Neuronen schon mit eingebaut sind,
Die sogen. BIAS-Neuronen kann man als getrennte Neuronen mit fester Aktivität '1' ansehen, zu denen Links mit Gewichten bestehen oder aber 'in die Neuronen eingebaut' als Schwellwert der Aktivierungsfunktion.
In MemBrain ist dies die 'Activation Threshold'. Diese ist gleichwertig einem Link zu einem BIAS-Neuron vom Gewicht der negativen Activation Threshold.

Eine Activation Threshold von 5 entspricht mathematisch also der Verbindung zu einem BIAS-Neuron (oder auch 'ON-Neuron') über einen Link des Gewichts -5.

Diese Activation Threshold kann man auch gegen Veränderungen sperren (Lock-Eigenschaft), so dass sie während des Trainings oder der Randomisierung nicht verändert wird.

Viele Grüße
Thomas Jetter
User avatar
Hanisch
Posts: 15
Joined: Thu 31. Mar 2011, 17:14
Location: Mannheim

Re: Perceptron

Post by Hanisch »

Danke,
dann hab ich viewtopic.php?f=4&t=40 ja richtig verstanden.
also kann man das so betrachten:
Image
(Quelle: MemBrain)

Beim Perceptron/Perzeptron machte mich jetzt jenes Bild ein wenig stutzig:
Image
(Quelle: http://www.dkriesel.com/science/neural_networks)
Hier ist ja eben eine feste Gewichtsschicht zwischen allen Abtatsneuronen und den Eingangsneuronen,
die eben jedes Abtastneuron mit jedem Eingangneuron vernetzt, dargestellt.
(Im Text wird darauf hingewiesen,d ass auf diese Darstellung üblicherweise verzichtet wird - und sie findet sich auch nicht allzuoft)
Daher eben die Verwirrung, ob ich ein Netzwerk wie dieses:
Image
(Quelle: MemBrain)
nun Multilayerperceptron nennen darf, oder ob die Konstruktion eher so
Image
(Quelle: MemBrain)
aussehen müsste.
(Kann ja auch sein, dass mich das Beispiel aus dem Script nur verwirrt - und nichts mit der Namenskonvention zu tun hat...
aber ich denk halt- ich frag lieber mal nach;-) und arbeite mit Bildchen - weils einfacher ist...)
Viele Grüße
Thomas
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Perceptron

Post by Admin »

Also amtlich ist diese Aussage jetzt nicht zu werten, aber beide sind aus meiner Sicht MLPs. Dass die zweite Abbildung noch eine fest verdrahtete, vorgeschaltete Schicht zur Informationsreduzierung (-Vorverabeitung) hat, würde ich bei der Benennung als MLP nicht überbewerten, ich bezweifle, dass die Wissenschaft hier so präzise Abgrenzungen macht.

Eine andere Sache ist mir aber noch wichtig zu erwähnen: Die erste Schicht, an die die festen Inputlinks laufen, sollte wahrscheinlich mit festen 'Activation Thresholds' ausgestattet sein.
D.h., alle Neuronen dieser Schicht markieren, auf eines der Neuronen Doppelklicken, Häkchen bei 'Change' neben dem Feld 'Activation Threshold' aktivieren, Häkchen 'Lock Act Thes. for Teacher' aktivieren und in das Feld 'Activation Threshold' den gewünschten, negierten Wert der Links zum gedachten 'ON-Neuron' eintragen. Diese Neuronen bekommen dann einen blauen Rand, analog zu dem bläulichen Erscheinen der gesperrten Links.

Etwas ist übrigens in der ersten Skizze noch nicht ganz korrekt: Der Link zum gedachten BIAS (oder ON-) Neuron hat den Wert -(Activation Threshold), also den negierten Wert der ACtivation Threshold.

Und noch eine Anmerkung: Auch die gesperrten, also für das Training unveränderlichen Teile des Netzes verarbeiten Informationen. Sie werden eben beim nur Training nicht verändert. Die Benennung dieser Schichten würde ich deshalb nochmals überdenken

Viele Grüße
Thomas Jetter
User avatar
Hanisch
Posts: 15
Joined: Thu 31. Mar 2011, 17:14
Location: Mannheim

Re: Perceptron

Post by Hanisch »

Gut - also denn werd ich wohl die erste Netzstruktur nutzen (ist mir irgendwie sympathischer) und die MLP nennen :-)

Die Bennenung hab ich mal unreflektiert so übernommen
- also ich für meinen Teil glaube dass die Schicht mit den Festen Abtastverbindungen wohl einfach nicht vernetzt sein muss/sollte, und ein Abtastneuron genau einem Eingabeneuron zugeordnet ist,
mit einem Festen Gewicht - dann würde es einen gewissen Sinn ergeben.
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Perceptron

Post by Admin »

Ich glaube, jetzt haben wir uns missverstanden:

Die Abbildung zeigt eine (vereinfachte) Vernetzung, wie sie die Natur auch in unserem Auge und unserem Gehirn abgebildet hat (die Netzhaut des Auges und der Sehnerv werden generall als Auswuchs unseres Gehirns, also zum Gehirn gehörend, angesehen):
Die lichtemffindlichen Elemente unserer Netzhaut ('Stäbchen' und 'Zapfen', ich nenne sie mal 'Pixel') sind in unserer Netzhaut bereits mit festen, recht komplexen 'Vorverdrahtungen' mit tiefer in der Netzhaut liegenden Neuronen über mehrere Ebenen hinweg verknüfpft. Diese Neuronenschichten führen bereits eine Reduktion der Information durch. Soweit ich weiß, werden hier bereits Elemente wie Linien und sogar primitive Bewegungen erkannt.
Das führt dazu, dass durch den Sehnerv nicht einfach alle 'Pixel' der Netzhaut führen, das wären viel zu viele Nervenbahnen und ich vermute, dass auch die Laufzeitunterschiede zwischen Pixeln zu groß würden. Stattdessen laufen durch den Sehnerv bereits vorverarbeitete Signale zur Großhirnrinde, wo sie dann entsprechende Eingangssignale in den visuellen Cortex bilden.

Deshalb stimme ich hier nicht zu:
Hanisch wrote:und ein Abtastneuron genau einem Eingabeneuron zugeordnet ist,
mit einem Festen Gewicht -

Die festverdrahtete Vorverknüpfung ist - wie gesagt - sehr komplex und kombiniert die Information von vielen Pixeln der Netzhaut auf vielfältige Weise. Es gibt hier auch eine Menge Literatur, ich würde einfach mal weiter googeln. Ich denke allerdings auch, dass man selbst die Bedeutungen der festen Verknüpfungen in der Netzhaut des Auges noch nicht vollständig kennt.

Viele Grüße
Thomas Jetter
User avatar
Hanisch
Posts: 15
Joined: Thu 31. Mar 2011, 17:14
Location: Mannheim

Re: Perceptron

Post by Hanisch »

OK - ich glaube da reden wir wieder aneinander vorbei - da es mir nicht wirklich um das menschliche Auge geht, sondern um das künstliche Perceptron in der allgemeinen technischen Anwendung und Literatur zur Lösung technischer Problemstellungen.
Und ob ich da eben ein Netz wie das erste abgebildete mit MLP bezeichnen darf - oder ob ich eine komplexe feste Vernetzung vorgeben muss, um den Begriff zu verwenden.(bzw ob in der Literatur mit MLP beschriebene Netzwerke eben so aussehen wie das erste, oder wie das zweite-oder beides sein könnten)
Post Reply