Rekurrente Netze

[Toddster]

Hallo allerseits,

eine kurze Frage: ist es möglich mit Membrain rekurrente Netze zu modellieren, im speziellen eine Verbindung von den Output Units zurück zu den Input Units zu erstellen? Vielen Dank für eure Antworten schonmal

[Admin]

Hallo und herzlich Willkommen im Forum!

ist es möglich mit Membrain rekurrente Netze zu modellieren

Ja.

im speziellen eine Verbindung von den Output Units zurück zu den Input Units zu erstellen?

Nein, zu den Inputs direkt nicht. Das macht keinen Sinn, da die Inputs im Wesentlichen nur 'Datencontainer' sind und durch Eingangsmuster gesetzt werden. In früheren MemBrain Versionen konnte man auch an die EIngänge von Inputs konnektieren, die Werte wurden dann überlagert. Das war aber so komplex, dass das Feature nicht zu verstehen und zu gebrauchen war.

Deshalb kann man nur an Non-Input Neuronen rückkoppeln (also z.B. an Hidden- und an Outputneuronen).

Allgemeine Warnung: Rekurrente Netze sind komplex im Handling und schwer im Griff zu behalten. Oft gibt es eine Feed-Forward Lösung, die mehr kann und sicherer funktioniert. Kommt auf das Problem an...


Viele Grüße

[Toddster]

Vielen Dank für die Antwort und gleich eine weitere Frage. Ich habe ein Netz gebaut, welches einen Outputwert erzeugt, zur besseren Visualisierung möchte ich diesen Outputwert des ersten Outputneurons gern an 10 weitere Output Neuronen weiterleiten, sodass von diesen 10 Neuronen je nach Aktivität des ersten Outputneurons nur Eines aufleuchtet. Ist es möglich Aktivierungsgrenzen für die zweite Output Schicht anzugeben, also von/bis? Ich konnte leider nur eine untere Aktivierungsgrenze festlegen. Ich habe mir erstmal mit einer zusätzlichen Hidden Schicht geholfen hinter dem ersten Outputneuron, wo ich die Aktiviersgrenzen für welche eine Ausgabe erfolgen soll festgelegt habe. Dabei ist mir ein zusätzliches Problem ins Auge gestochen, und zwar, dass die korrekten Output Neuronen beim Testen des Netzes, erst nach dem zweiten klick auf "Tink on Input" angezeigt wurden. Liegt dies an den Rekurrenten Verbindungen? Und wenn ja, kann man diese Schrittverzögerung irgendwie deaktivieren?

Ich hoffe ich habe mich nich zu verwirrend ausgedrückt, sorry bin Anfänger und experimentiere etwas

[Admin]

Ist es möglich Aktivierungsgrenzen für die zweite Output Schicht anzugeben, also von/bis?

Ist damit gemeint 'Aktivierungsbereiche'? D.h., 0 unterhalb und oberhalb einer bestimmten Grenze, dazwischen 1?
In diesem Fall lautet die Antwort 'Nein', das geht so direkt nicht.

Ich habe mir erstmal mit einer zusätzlichen Hidden Schicht geholfen hinter dem ersten Outputneuron, wo ich die Aktiviersgrenzen für welche eine Ausgabe erfolgen soll festgelegt habe.

Diesen Teil verstehe ich nicht wirklich.

Dabei ist mir ein zusätzliches Problem ins Auge gestochen, und zwar, dass die korrekten Output Neuronen beim Testen des Netzes, erst nach dem zweiten klick auf "Tink on Input" angezeigt wurden. Liegt dies an den Rekurrenten Verbindungen? Und wenn ja, kann man diese Schrittverzögerung irgendwie deaktivieren?

Ja, das liegt an den rekurrenten Verbindungen. Die Ausgänge werden erst beim nächsten 'Think Step' an den Eingängen wirksam. Das ist ja genau der Effekt der Rekurrenz: Das Netz lässt den inneren Zustand aus dem vorherigen Berechnungsschritt in die Berechnungen des nächsten Schritts einfließen.
Dementsprechend kann man das auch nicht deaktivieren.
Aber als Gegenfrage: Tut es dann nicht ein Hidden-Neuron, das den Output-Neuronen vorgeschaltet ist? Welchen Zweck verfolgen denn die Experimente? Vielleicht kann ich mehr dazu sagen, wenn ich weiß, wohin die Reise gehen soll.

Viele Grüße