BIAS-Neuron einfügen

Haben Sie Fragen zur Bedienung bestimmter Features von MemBrain? Sind Sie nicht sicher, welches Häkchen was bewirkt? Möchten Sie wissen, ob eine bestimmte Funktionalität in MemBrain vorhanden ist oder nicht?

Dann stellen Sie Ihre Fragen hier!
Post Reply
User avatar
NNTUM
Posts: 10
Joined: Wed 22. Jul 2009, 23:24

BIAS-Neuron einfügen

Post by NNTUM »

Hi,

gibts eigtl. eine Möglichkeit BIAS-Neurone in MemBrain einzufügen?
Ein Neuron das andauernd "+1" ausgibt geht ja, das hab ich geschafft. Außerdem müssen alle Schwellenwerte, also "Activation Thresholds" auf "0" gesetzt werden. Nun muss aber jede Verbindung/Link von Bias-Neuron zu den jeweiligen Neuronen auf jedenfall ein negatives Gewicht (also immer Weight <= 0) haben, um damit einen variablen Schwellenwert zu verwirklichen. Seh ich das richtig?
Wie kann ich nun aungeben, dass die Gewichte kleiner oder höchstens gleich null sind?

Oder werden die Aktivierungsfunktionen sowieso beim Lernen verändert? Hab nämlich grad das Häkchen "Lock Act. Thres. for Teacher" gesehen, was also bedeutet der Schwellenwert IST schon variabel. Wenn das dann aber das Fall ist, wollte ich fragen wie das in MemBrain implementiert ist. Soweit ich mich erinnern berücksichtigt ja das Backpropagation-Lernverfahren NICHT eine Änderung der Schwellenwerte sondern nur der Gewichte. Richtig? Wie siehts da mit RPROP aus? Da dieses schneller konvergiert verwende ich momentan meistens RPROP, hab aber leider keine Literatur zur Hand in der der Algorithmus genauer beschrieben wird.

Danke für jede Hilfe!

Gruß.
Jonathan
________________________________________________
"Sooooo, this is engineering, huh? [...] Engineering - where the noble semi-skilled laborers execute the vision of those who think and dream... Hello Oompa Loompas of science!" :D
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: BIAS-Neuron einfügen

Post by Admin »

Hallo,

sorry, ich wurde leider über Deinen neuen Beitrag nicht benachrichtigt, scheint nicht immer so zu funktionieren, wie man sich das wünscht... deshalb eine recht späte Antwort:
NNTUM wrote:Oder werden die Aktivierungsfunktionen sowieso beim Lernen verändert? Hab nämlich grad das Häkchen "Lock Act. Thres. for Teacher" gesehen, was also bedeutet der Schwellenwert IST schon variabel.
Du siehst das vollkommen richtig, in MemBrain verfügt jedes Neuron (sofern kein Input) schon automatisch über einen variablen Schwellwert und es handelt sich um genau die 'Activation Threshold', die Du entdeckt hast. Mit 'Lock' kannst Du verhindern, dass der Lernalgorithmus sie anpasst, wenn Du das willst.
NNTUM wrote:Soweit ich mich erinnern berücksichtigt ja das Backpropagation-Lernverfahren NICHT eine Änderung der Schwellenwerte sondern nur der Gewichte. Richtig?
Doch, die Schwellwerte werden genauso trainiert. Man kann sie ja auch als variable Gewichte von einem ON-Neuron betrachten. Das ON-Neuron hat zwar immer die Aktivität 1, das Gewicht zum ON-Neuron ist aber durchaus veränderlich.
NNTUM wrote:Wie siehts da mit RPROP aus? Da dieses schneller konvergiert verwende ich momentan meistens RPROP, hab aber leider keine Literatur zur Hand in der der Algorithmus genauer beschrieben wird.

Auch RPROP passt die Schwellwerte an.

Viele Grüße und sorry für die späte Antwort!
Thomas Jetter
Post Reply