Page 2 of 2

Re: Prognose von schulischen Leistungen

Posted: Thu 9. Mar 2017, 11:03
by Joe
Guten Morgen zusammen, guten Morgen Herr Jetter,

ich habe nach einigen Tests per Skript nochmal einen händischen Test durchgeführt. Allerdings mit abweichenden Ergebnissen.Die Abbrechergenauigkeit ist bei gleichem Datensatz und Netzlayout um 9%punkte auf 67% gefallen. Erst dachte ich, der Unterschied ergäbe sich dadurch, dass im Testdatensatz ein Ergebnis enthalten ist. Dem ist nicht so. Ob dem Testdatensatz ein Outcome gegeben ist, oder nicht, ergibt keinen Unterschied in der Genauigkeit. Der Unterschied ergibt sich durch das Skript. Teste ich per Skript komme ich auf 77%, händisch auf 67%. Bei der händischen Variante bin ich so vorgegangen wie von mir im ersten post beschrieben:

"Netzgenauigkeit: hierzu laden wir die Testdatei - in der keine Ergebnisse stehen - zeichnen "think on lesson" auf, exportieren den output und ermitteln die genauigkeit durch gegenüberstellung in excel. Geht das uU einfacher?"

und auch so, wie Sie es anschließend empfahlen. Lediglich den Button "Export Validation" habe ich trotz richtiger Version nicht gefunden. Daher habe ich die über "think per lesson" aufgezeichneten Durchlauf der Testdaten exportiert und ausgewertet. Es scheint hieran zu liegen? Mache ich hier was falsch?

Das die Genauigkeit per Skript, bei vorenthaltenem Ergebnis im Testsatz, unverändert bei 77% liegt beruhigt mich! Ziel war es einen Prognosedurchlauf einer Kohorte bei gelerntem Netz simulieren. Das war so erfolgreich. Irritierte bin ich von der Abweichung im händischen Vorgehen dennoch.

Liebe Grüße
jo

Re: Prognose von schulischen Leistungen

Posted: Sun 12. Mar 2017, 11:07
by TJetter
Joe wrote:"Netzgenauigkeit: hierzu laden wir die Testdatei - in der keine Ergebnisse stehen - zeichnen "think on lesson" auf, exportieren den output und ermitteln die genauigkeit durch gegenüberstellung in excel. Geht das uU einfacher?"
Das 'Aufzeichnen': Geschieht das über die Option 'Record' im Lesson Editor? Könnten Sie dazu einmal präzise beschreiben, was Sie Schritt für Schritt tun, damit ich versuchen kann, es nachzuvollziehen?
Joe wrote:Lediglich den Button "Export Validation" habe ich trotz richtiger Version nicht gefunden
Der Button befindet sich auf dem 'Pattern Error Viewer'. Wenn Sie diesen bisher noch nicht verwendet haben: Einfach mal die Hilfe von MemBrain aufrufen (F1), dann im Tab 'Suchen' den Begriff 'Pattern Error Viewer' eingeben. Dort findet sich dann ein entsprechender Eintrag, wo ber Pattern Error Viewer und auch der Export Button beschrieben sind. Wenn Sie diesen dort nicht sehen, dann ist die MemBrain Version noch nicht aktuell. Haben Sie die Version im Download Bereich der MemBrain Seite heruntergeladen oder über einen Drittanbieter?

Welche Version verwenden Sie denn (Menü <Help><About MemBrain...>)?

Viele Grüße

Re: Prognose von schulischen Leistungen

Posted: Mon 13. Mar 2017, 20:02
by Joe
Ahh... im pattern error viewer. Gefunden! Werde ich bei gelegtheit testen. Danke.

Die version ist richtig; zumindest laut der versionsanzeige unter info.

Bzgl unserer abweichenden Ergebnisse vermute ich einen Bedienfehler. Wir haben ein netz erstellt, den lesson manager geöffnet, eine lesson csv mit 29 inputvariablen und einer outputvariablen mit etw 6,5k pattern geladen. Anschließend das netz eine Zeit lang lernen lassen. Anschließend den lesson manager erneut geöffnet und alle pattern gelöscht. Darauf hin via "load input..." eine csv mit testdaten von 1,5k pattern reiner inputvariablen geladen. (Die ergebnisse schlummern in einer weiteren tabelle, die wir membrain vorenthalten haben) beim laden schimpft er dann, dass die outputvariablen nicht genügten un er welche erstellte - diese quasi auf null gesetzt hat. Jetzt haben wir noch immer im lesson manager einen haken bei record und dann bei ouptut gesetzt. Anschließend einen Durchlauf der pattern mit "think per lesson" (noch immer lesson manager" ) laufen lassen. Hierbei hat er, durch das aufzeichnen, die patteramzahl verdoppelt. Die haben wir via export ausgegeben und mit den externen ergebnissen verglichen.

Re: Prognose von schulischen Leistungen

Posted: Mon 13. Mar 2017, 23:00
by TJetter
Die Vorgehensweise ist im Prinzip nicht falsch, wenn auch etwas umständlich.
Man kann z.B. nach dem Training im Lesson Editor die Anzahl Lessons um eine erhöhen und dann bei 'Record...' unter 'To Lesson No.' die '2' einstellen. Dann landen die neuen, aufgezeichneten Muster nicht in der aktiven Lesson #1, sondern in der Lesson #2. Anschließend kann man die aktive Lesson (="Currently Edited...") auf #2 umstellen und die aufgezeichneten Muster separat exportieren.
Das wird aber nichts an den eigentlichen Ergebnissen ändern.

Entsprechen denn die Trainingsdaten und die Validierungsdaten für beide Vorgehensweisen (Skript bzw. manuell) genau einander? Werden also exakt die selben Datensätze verwendet oder sind diese unterschiedlich? Wenn sie unterschiedlich sind, dann sind die Abweichungen sicherlich darin begründet. Ansonsten müssen wir weiter schauen.

Viele Grüße