ich habe festgestellt, daß, wenn sich ein netz zu ende trainiert hat, ich mit "randomize net" meist innerhalb weniger sekunden das ganze nochmal verbessern kann.
da ich diese funktion deshalb sehr oft benutze, habe ich nach einem button gesucht, aber nicht gefunden. gibt es dafür einen shortcut?
shortcuts
Re: shortcuts
Nein, einen Shortcut gibt es dafür momentan nicht.
Allerdings wundert mich die Aussage
Normalerweise wird die Funktion nur vor einem vollständigen Neutraining des Netzes verwendet.
In wie fern 'verbessert' sich das Netz dabei denn? Oder verbessert es sich erst nach einem erneuten Training?
Viele Grüße
Allerdings wundert mich die Aussage
Die Funktion bring die totale Amnesie des Netzes mit sich, d.h., das Netz vergisst alles, was es gelernt hat: Alles, was sich trainieren lässt, wird mit Zufallswerten initialisiert.schnurpel wrote:ich mit "randomize net" meist innerhalb weniger sekunden das ganze nochmal verbessern kann
Normalerweise wird die Funktion nur vor einem vollständigen Neutraining des Netzes verwendet.
In wie fern 'verbessert' sich das Netz dabei denn? Oder verbessert es sich erst nach einem erneuten Training?
Viele Grüße
Thomas Jetter
Re: shortcuts
tja, das hat mich auch ziemlich irritiert, denn ich gehe eigentlich auch davon aus, daß alle werte bei randomize verfallen.
es hat aber den eindruck, daß irgendwelche strukturen bestehen bleiben.
beispiel:
ich trainiere ein netz und nach 2 minuten gibt es bei einem error von 350 keinen fortschritt.
dann brech ich ab und randomize und sehr (nicht immer) ist das netz innerhalb weniger sekunden in der nähe von 350 und unterschreitet den wert signifikant, also um 2 oder 3 einheiten oder mehr. bleibt es dann wieder stehen, wiederhole ich die prozedur. nicht immeer auffällig häufig wird damit ein weitgehend austrainiertes netz um error-werte von bis zu 10% verbessert, was einen extremen unterschied im output ausmacht.
das ganze kann natürlich auch zufall sein, und der effekt vielleicht durch meine netzstruktur bedingt, aber es ist auf jeden fall auffällig.
vg,
mk
es hat aber den eindruck, daß irgendwelche strukturen bestehen bleiben.
beispiel:
ich trainiere ein netz und nach 2 minuten gibt es bei einem error von 350 keinen fortschritt.
dann brech ich ab und randomize und sehr (nicht immer) ist das netz innerhalb weniger sekunden in der nähe von 350 und unterschreitet den wert signifikant, also um 2 oder 3 einheiten oder mehr. bleibt es dann wieder stehen, wiederhole ich die prozedur. nicht immeer auffällig häufig wird damit ein weitgehend austrainiertes netz um error-werte von bis zu 10% verbessert, was einen extremen unterschied im output ausmacht.
das ganze kann natürlich auch zufall sein, und der effekt vielleicht durch meine netzstruktur bedingt, aber es ist auf jeden fall auffällig.
vg,
mk
Re: shortcuts
Ich denke, dass es sich tatsächlich um Zufall handelt.
Die Initialisierung kann beim Lernvorgang eine große Rolle spielen. Da sie zufällig gewählt wird, kann sie mal besser und mal schlecvhter ausfallen, hier sind einfach mehrere Versuche angebracht.
Ob das Netz vor einem 'Randomize' trainiert wurde oder nicht, dürfte keine Rolle spielen, zumindest nicht, wenn es sich um ein zeitinvariantes Netz handelt.
Viele Grüße
Die Initialisierung kann beim Lernvorgang eine große Rolle spielen. Da sie zufällig gewählt wird, kann sie mal besser und mal schlecvhter ausfallen, hier sind einfach mehrere Versuche angebracht.
Ob das Netz vor einem 'Randomize' trainiert wurde oder nicht, dürfte keine Rolle spielen, zumindest nicht, wenn es sich um ein zeitinvariantes Netz handelt.
Viele Grüße
Thomas Jetter