Rekurrente Netze

Haben Sie Fragen zur Bedienung bestimmter Features von MemBrain? Sind Sie nicht sicher, welches Häkchen was bewirkt? Möchten Sie wissen, ob eine bestimmte Funktionalität in MemBrain vorhanden ist oder nicht?

Dann stellen Sie Ihre Fragen hier!
Post Reply
Toddster
Posts: 15
Joined: Thu 17. Nov 2011, 17:49

Rekurrente Netze

Post by Toddster »

Hallo allerseits,

eine kurze Frage: ist es möglich mit Membrain rekurrente Netze zu modellieren, im speziellen eine Verbindung von den Output Units zurück zu den Input Units zu erstellen? Vielen Dank für eure Antworten schonmal :)
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Rekurrente Netze

Post by Admin »

Hallo und herzlich Willkommen im Forum!
Toddster wrote:ist es möglich mit Membrain rekurrente Netze zu modellieren
Ja.
Toddster wrote:im speziellen eine Verbindung von den Output Units zurück zu den Input Units zu erstellen?
Nein, zu den Inputs direkt nicht. Das macht keinen Sinn, da die Inputs im Wesentlichen nur 'Datencontainer' sind und durch Eingangsmuster gesetzt werden. In früheren MemBrain Versionen konnte man auch an die EIngänge von Inputs konnektieren, die Werte wurden dann überlagert. Das war aber so komplex, dass das Feature nicht zu verstehen und zu gebrauchen war.

Deshalb kann man nur an Non-Input Neuronen rückkoppeln (also z.B. an Hidden- und an Outputneuronen).

Allgemeine Warnung: Rekurrente Netze sind komplex im Handling und schwer im Griff zu behalten. Oft gibt es eine Feed-Forward Lösung, die mehr kann und sicherer funktioniert. Kommt auf das Problem an...


Viele Grüße
Thomas Jetter
Toddster
Posts: 15
Joined: Thu 17. Nov 2011, 17:49

Re: Rekurrente Netze

Post by Toddster »

Vielen Dank für die Antwort und gleich eine weitere Frage. Ich habe ein Netz gebaut, welches einen Outputwert erzeugt, zur besseren Visualisierung möchte ich diesen Outputwert des ersten Outputneurons gern an 10 weitere Output Neuronen weiterleiten, sodass von diesen 10 Neuronen je nach Aktivität des ersten Outputneurons nur Eines aufleuchtet. Ist es möglich Aktivierungsgrenzen für die zweite Output Schicht anzugeben, also von/bis? Ich konnte leider nur eine untere Aktivierungsgrenze festlegen. Ich habe mir erstmal mit einer zusätzlichen Hidden Schicht geholfen hinter dem ersten Outputneuron, wo ich die Aktiviersgrenzen für welche eine Ausgabe erfolgen soll festgelegt habe. Dabei ist mir ein zusätzliches Problem ins Auge gestochen, und zwar, dass die korrekten Output Neuronen beim Testen des Netzes, erst nach dem zweiten klick auf "Tink on Input" angezeigt wurden. Liegt dies an den Rekurrenten Verbindungen? Und wenn ja, kann man diese Schrittverzögerung irgendwie deaktivieren?

Ich hoffe ich habe mich nich zu verwirrend ausgedrückt, sorry bin Anfänger und experimentiere etwas :lol:
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Rekurrente Netze

Post by Admin »

Toddster wrote:Ist es möglich Aktivierungsgrenzen für die zweite Output Schicht anzugeben, also von/bis?
Ist damit gemeint 'Aktivierungsbereiche'? D.h., 0 unterhalb und oberhalb einer bestimmten Grenze, dazwischen 1?
In diesem Fall lautet die Antwort 'Nein', das geht so direkt nicht.
Toddster wrote:Ich habe mir erstmal mit einer zusätzlichen Hidden Schicht geholfen hinter dem ersten Outputneuron, wo ich die Aktiviersgrenzen für welche eine Ausgabe erfolgen soll festgelegt habe.
Diesen Teil verstehe ich nicht wirklich.
Toddster wrote:Dabei ist mir ein zusätzliches Problem ins Auge gestochen, und zwar, dass die korrekten Output Neuronen beim Testen des Netzes, erst nach dem zweiten klick auf "Tink on Input" angezeigt wurden. Liegt dies an den Rekurrenten Verbindungen? Und wenn ja, kann man diese Schrittverzögerung irgendwie deaktivieren?
Ja, das liegt an den rekurrenten Verbindungen. Die Ausgänge werden erst beim nächsten 'Think Step' an den Eingängen wirksam. Das ist ja genau der Effekt der Rekurrenz: Das Netz lässt den inneren Zustand aus dem vorherigen Berechnungsschritt in die Berechnungen des nächsten Schritts einfließen.
Dementsprechend kann man das auch nicht deaktivieren.
Aber als Gegenfrage: Tut es dann nicht ein Hidden-Neuron, das den Output-Neuronen vorgeschaltet ist? Welchen Zweck verfolgen denn die Experimente? Vielleicht kann ich mehr dazu sagen, wenn ich weiß, wohin die Reise gehen soll.

Viele Grüße
Thomas Jetter
Post Reply