Rekurrente Netze

Haben Sie Fragen zur Bedienung bestimmter Features von MemBrain? Sind Sie nicht sicher, welches Häkchen was bewirkt? Möchten Sie wissen, ob eine bestimmte Funktionalität in MemBrain vorhanden ist oder nicht?

Dann stellen Sie Ihre Fragen hier!
Post Reply
tdrescher
Posts: 3
Joined: Mon 6. Aug 2012, 20:55

Rekurrente Netze

Post by tdrescher »

Hallo
Ich möchte ein Rekurrentes Netz erstellen und bin mir nicht sicher, ob ich die richtigen Einstellungen vorgenommen habe :? . Im Online-Tutorial unter Rekurrente Netze steht folgendes: .....Zudem werden sämtliche Gewichte von den Hidden-Units zu den Kontext-Einheiten permanent auf +1 fixiert. Dadurch erhalten die Kontext-Units in jedem Durchlauf eine exakte Kopie des Outputs der Hidden-Schicht, mit der sie verknüpft sind. Einen Schritt später geben die Kontext-Einheiten diesen Output dann wieder zurück an die Hidden-Units, .....
Meine Fragen:
- wo stelle ich genau das Gewicht der Hidden-Units auf fix +1 ein ? Ist es korrekt, dass ich dies in den Properties auf dem Link von der Hidden- zur Kontext-Schicht mit "Weight = 1 und lock weight for Theatcher" eingegeben habe ?
- wie genau stelle ich die Verzögerung der Rückgabe ovn den Kontext-Einheiten an die Hidden-Unites ein. Ist es korrekt wenn dies in den Properties auf den Links von der Kontext-Schicht zu der Hidden-Schicht mit "lenght = 1" eingegeben wird ? - Jedoch frage ich mich ob das wirklich stimmt denn dies ist doch überall der Default-Wert ?

Grundsätzliche Frage zum Theatcher-Manger: gibt es hierzu ausführlichere Dokumentation ?

vielen Dank
Thomas D.
User avatar
Admin
Site Admin
Posts: 438
Joined: Sun 16. Nov 2008, 18:21

Re: Rekurrente Netze

Post by Admin »

Hallo,

zunächst einmal sorry für die späte Antwort, manchmal bekomme ich nicht für jeden Eintrag automatisch eine E-Mail, deshalb nin ich diesmal nur 'zufällig' über den neuen Post gestolpert...
tdrescher wrote:- wo stelle ich genau das Gewicht der Hidden-Units auf fix +1 ein ? Ist es korrekt, dass ich dies in den Properties auf dem Link von der Hidden- zur Kontext-Schicht mit "Weight = 1 und lock weight for Theatcher" eingegeben habe ?

Absolut korrekt, ja.
Zusätzlich noch bei den Kontextneuronen einstellen:
1.) 'Activation Threshold' auf 0 und 'Lock' für die Activation Threshold aktivieren
2.) Als Aktivierungsfunktion der Kontextneuronen 'IDENTICAL' einstellen.
Auf diese Weise erzeugen die Kontextneuronen eine 1:1 Kopie ihrer Quellneuronen. Zu jedem Kontextneuron soll nur ein Link führen (von jeweils dem 'kopierten' Hidden-Neuron).
tdrescher wrote:- wie genau stelle ich die Verzögerung der Rückgabe ovn den Kontext-Einheiten an die Hidden-Unites ein. Ist es korrekt wenn dies in den Properties auf den Links von der Kontext-Schicht zu der Hidden-Schicht mit "lenght = 1" eingegeben wird ? - Jedoch frage ich mich ob das wirklich stimmt denn dies ist doch überall der Default-Wert ?
Die lenght = 1 ist deshalb korrekt, weil die Berechnungsreihenfolge der Schichten im Netz sicherstellt, dass die Ausgänge der Kontextneuronen in die Berechnung der nachfolgend angeschlossenen Neuronen eingehen BEVOR die Kontextneuronen einen neuen Berechnungsschritt durchführen. Damit sind die Werte aus der Vergangenheit abgebildet.
Zur Berechnungsreihenfolge der Schichten siehe auch MemBrain Hilfe (F1 drücken) unter 'Inhalt' den Eintrag 'Neural Networks' - 'Calculating the output' konsultieren.
tdrescher wrote:Grundsätzliche Frage zum Theatcher-Manger: gibt es hierzu ausführlichere Dokumentation ?
MemBrain Hilfe (F1) im Abschnitt 'Teaching a Net' - 'The Teacher Manager'. Sollten darüber hinaus weitere Fragen auftauchen bitte einfach hier im Forum wieder posten. Ich hoffe, ich werde dann zeitnah vom Forum angemailt, im Zweifelsfall eine Erinnerungsmail an mich senden... ;-)

Viele Grüße und viel Erfolg!
Thomas Jetter
tdrescher
Posts: 3
Joined: Mon 6. Aug 2012, 20:55

Re: Rekurrente Netze

Post by tdrescher »

herzlichen Dank
Post Reply