MemBrain Neural Network Editor + Simulator User Forum

Hi,

gibts eigtl. eine Möglichkeit BIAS-Neurone in MemBrain einzufügen?
Ein Neuron das andauernd "+1" ausgibt geht ja, das hab ich geschafft. Außerdem müssen alle Schwellenwerte, also "Activation Thresholds" auf "0" gesetzt werden. Nun muss aber jede Verbindung/Link von Bias-Neuron zu den jeweiligen Neuronen auf jedenfall ein negatives Gewicht (also immer Weight <= 0) haben, um damit einen variablen Schwellenwert zu verwirklichen. Seh ich das richtig?
Wie kann ich nun aungeben, dass die Gewichte kleiner oder höchstens gleich null sind?

Oder werden die Aktivierungsfunktionen sowieso beim Lernen verändert? Hab nämlich grad das Häkchen "Lock Act. Thres. for Teacher" gesehen, was also bedeutet der Schwellenwert IST schon variabel. Wenn das dann aber das Fall ist, wollte ich fragen wie das in MemBrain implementiert ist. Soweit ich mich erinnern berücksichtigt ja das Backpropagation-Lernverfahren NICHT eine Änderung der Schwellenwerte sondern nur der Gewichte. Richtig? Wie siehts da mit RPROP aus? Da dieses schneller konvergiert verwende ich momentan meistens RPROP, hab aber leider keine Literatur zur Hand in der der Algorithmus genauer beschrieben wird.

Danke für jede Hilfe!

Gruß.
Jonathan

Hallo,

sorry, ich wurde leider über Deinen neuen Beitrag nicht benachrichtigt, scheint nicht immer so zu funktionieren, wie man sich das wünscht... deshalb eine recht späte Antwort:

NNTUM wrote:Oder werden die Aktivierungsfunktionen sowieso beim Lernen verändert? Hab nämlich grad das Häkchen "Lock Act. Thres. for Teacher" gesehen, was also bedeutet der Schwellenwert IST schon variabel.

Du siehst das vollkommen richtig, in MemBrain verfügt jedes Neuron (sofern kein Input) schon automatisch über einen variablen Schwellwert und es handelt sich um genau die 'Activation Threshold', die Du entdeckt hast. Mit 'Lock' kannst Du verhindern, dass der Lernalgorithmus sie anpasst, wenn Du das willst.

NNTUM wrote:Soweit ich mich erinnern berücksichtigt ja das Backpropagation-Lernverfahren NICHT eine Änderung der Schwellenwerte sondern nur der Gewichte. Richtig?

Doch, die Schwellwerte werden genauso trainiert. Man kann sie ja auch als variable Gewichte von einem ON-Neuron betrachten. Das ON-Neuron hat zwar immer die Aktivität 1, das Gewicht zum ON-Neuron ist aber durchaus veränderlich.

NNTUM wrote:Wie siehts da mit RPROP aus? Da dieses schneller konvergiert verwende ich momentan meistens RPROP, hab aber leider keine Literatur zur Hand in der der Algorithmus genauer beschrieben wird.

Auch RPROP passt die Schwellwerte an.

Viele Grüße und sorry für die späte Antwort!