Die Decay-Neuronen wirken wie Tiefpässe. Sagt Dir das was? D.h., sie folgen Änderungen des Eingangssignals nicht ruckartig, sondern mit Verzögerung, sie 'verschleifen' das Signal. Damit tun sie zwei Dinge:Seppy wrote:Was bewirken überhaupt die DECAYS ?
1.) Sie lassen nur tiefere Frequenzen des Eingangssignals durch. Damit erhält man am Ausgang des Neurons ein Signal, dass nicht so startk 'flattert'. Das Ausgangssignal repräsentiert damit langsamere/längerfristige Änderungen des Eingangssignals. Ich könnte mir denken, dass das bei Börsenkursen auch wichtig sein kann.
2.) Die Aktivität des Decay-Neurons bzw. sein Ausgangssignal repräsentiert durch dieses 'Hinterherhinken' ein Stück Vergangenheit seines Eingangssignals. Stell Dir z.B. ein Sinussignal am Eingang des Neurons vor: Y = sin (x). Am Ausgang des Decay-Neurons erscheint das Signal abgeschwächt und vor allem phasenverschoben, also als Y' = K * sin (x - Phi). K (immer < 1) und Phi sind dabei abhängig von der Frequenz des EIngangssignals: Je höher die Frequenz, umso kleiner ist K, das ist die Amplitudenabschwächung des Tiefpasses. Außerdem steigt Phi mit steigender Frequenz, das ist die Phasenverschiebung des Signals. Gleiche Wirkung hat eine Erhöhung des 'Activation Sustain Factors' des Neurons, wobei das Gewicht des eingangsseitigen Links immer (1 - Activation Sustain Factor sein muss).
Stell Dir vor, ein Netz soll immer den nächsten Wert der Sinusfunktion vorhersagen. Mit einem zeitinvarianten Netz geht das nicht. Soll heißen, aus einem einzigen Momentanwert des Sinus kann man den nächsten Wert nicht bestimmen, da man nie weiß, ob man sich gerade auf dem aufsteigenden 'Ast' des Sinus befindet oder auf dem absteigenden. Ein Decay-Neuron fügt dem Momentanwert jetzt noch einen phasenverschobenen Wert hinzu. Aus diesen beiden Informationen kann man erkennen, ob das Signal gerade steigt oder nicht. So kann ein Netz z.B. den Sinus erlernen.
War das halbwegs verständlich?
Grüße,
Thomas