Prognose von schulischen Leistungen

Sie haben ein bestimmtes Projekt zu bearbeiten und wissen nicht, wie Sie an die Aufgabe heran gehen sollen? Sie sind sich nicht sicher, ob Ihr Netzentwurf zu Ihrem Problem passt oder ob es da Optimierungsmöglichkeiten gibt? Ist es überhaupt sinnvoll an Ihre Daten mit einem NN basierten Ansatz heranzugehen? Ist MemBrain das richtige Werkzeug für Ihr Problem und Ihre Infrastruktur?

Hier ist der richtige Platz für diese Art von Fragen.
Joe
Posts: 8
Joined: Fri 24. Feb 2017, 12:36

Re: Prognose von schulischen Leistungen

Post by Joe »

Guten Morgen zusammen, guten Morgen Herr Jetter,

ich habe nach einigen Tests per Skript nochmal einen händischen Test durchgeführt. Allerdings mit abweichenden Ergebnissen.Die Abbrechergenauigkeit ist bei gleichem Datensatz und Netzlayout um 9%punkte auf 67% gefallen. Erst dachte ich, der Unterschied ergäbe sich dadurch, dass im Testdatensatz ein Ergebnis enthalten ist. Dem ist nicht so. Ob dem Testdatensatz ein Outcome gegeben ist, oder nicht, ergibt keinen Unterschied in der Genauigkeit. Der Unterschied ergibt sich durch das Skript. Teste ich per Skript komme ich auf 77%, händisch auf 67%. Bei der händischen Variante bin ich so vorgegangen wie von mir im ersten post beschrieben:

"Netzgenauigkeit: hierzu laden wir die Testdatei - in der keine Ergebnisse stehen - zeichnen "think on lesson" auf, exportieren den output und ermitteln die genauigkeit durch gegenüberstellung in excel. Geht das uU einfacher?"

und auch so, wie Sie es anschließend empfahlen. Lediglich den Button "Export Validation" habe ich trotz richtiger Version nicht gefunden. Daher habe ich die über "think per lesson" aufgezeichneten Durchlauf der Testdaten exportiert und ausgewertet. Es scheint hieran zu liegen? Mache ich hier was falsch?

Das die Genauigkeit per Skript, bei vorenthaltenem Ergebnis im Testsatz, unverändert bei 77% liegt beruhigt mich! Ziel war es einen Prognosedurchlauf einer Kohorte bei gelerntem Netz simulieren. Das war so erfolgreich. Irritierte bin ich von der Abweichung im händischen Vorgehen dennoch.

Liebe Grüße
jo
User avatar
TJetter
Posts: 346
Joined: Sat 13. Oct 2012, 12:04

Re: Prognose von schulischen Leistungen

Post by TJetter »

Joe wrote:"Netzgenauigkeit: hierzu laden wir die Testdatei - in der keine Ergebnisse stehen - zeichnen "think on lesson" auf, exportieren den output und ermitteln die genauigkeit durch gegenüberstellung in excel. Geht das uU einfacher?"
Das 'Aufzeichnen': Geschieht das über die Option 'Record' im Lesson Editor? Könnten Sie dazu einmal präzise beschreiben, was Sie Schritt für Schritt tun, damit ich versuchen kann, es nachzuvollziehen?
Joe wrote:Lediglich den Button "Export Validation" habe ich trotz richtiger Version nicht gefunden
Der Button befindet sich auf dem 'Pattern Error Viewer'. Wenn Sie diesen bisher noch nicht verwendet haben: Einfach mal die Hilfe von MemBrain aufrufen (F1), dann im Tab 'Suchen' den Begriff 'Pattern Error Viewer' eingeben. Dort findet sich dann ein entsprechender Eintrag, wo ber Pattern Error Viewer und auch der Export Button beschrieben sind. Wenn Sie diesen dort nicht sehen, dann ist die MemBrain Version noch nicht aktuell. Haben Sie die Version im Download Bereich der MemBrain Seite heruntergeladen oder über einen Drittanbieter?

Welche Version verwenden Sie denn (Menü <Help><About MemBrain...>)?

Viele Grüße
Thomas Jetter
Joe
Posts: 8
Joined: Fri 24. Feb 2017, 12:36

Re: Prognose von schulischen Leistungen

Post by Joe »

Ahh... im pattern error viewer. Gefunden! Werde ich bei gelegtheit testen. Danke.

Die version ist richtig; zumindest laut der versionsanzeige unter info.

Bzgl unserer abweichenden Ergebnisse vermute ich einen Bedienfehler. Wir haben ein netz erstellt, den lesson manager geöffnet, eine lesson csv mit 29 inputvariablen und einer outputvariablen mit etw 6,5k pattern geladen. Anschließend das netz eine Zeit lang lernen lassen. Anschließend den lesson manager erneut geöffnet und alle pattern gelöscht. Darauf hin via "load input..." eine csv mit testdaten von 1,5k pattern reiner inputvariablen geladen. (Die ergebnisse schlummern in einer weiteren tabelle, die wir membrain vorenthalten haben) beim laden schimpft er dann, dass die outputvariablen nicht genügten un er welche erstellte - diese quasi auf null gesetzt hat. Jetzt haben wir noch immer im lesson manager einen haken bei record und dann bei ouptut gesetzt. Anschließend einen Durchlauf der pattern mit "think per lesson" (noch immer lesson manager" ) laufen lassen. Hierbei hat er, durch das aufzeichnen, die patteramzahl verdoppelt. Die haben wir via export ausgegeben und mit den externen ergebnissen verglichen.
User avatar
TJetter
Posts: 346
Joined: Sat 13. Oct 2012, 12:04

Re: Prognose von schulischen Leistungen

Post by TJetter »

Die Vorgehensweise ist im Prinzip nicht falsch, wenn auch etwas umständlich.
Man kann z.B. nach dem Training im Lesson Editor die Anzahl Lessons um eine erhöhen und dann bei 'Record...' unter 'To Lesson No.' die '2' einstellen. Dann landen die neuen, aufgezeichneten Muster nicht in der aktiven Lesson #1, sondern in der Lesson #2. Anschließend kann man die aktive Lesson (="Currently Edited...") auf #2 umstellen und die aufgezeichneten Muster separat exportieren.
Das wird aber nichts an den eigentlichen Ergebnissen ändern.

Entsprechen denn die Trainingsdaten und die Validierungsdaten für beide Vorgehensweisen (Skript bzw. manuell) genau einander? Werden also exakt die selben Datensätze verwendet oder sind diese unterschiedlich? Wenn sie unterschiedlich sind, dann sind die Abweichungen sicherlich darin begründet. Ansonsten müssen wir weiter schauen.

Viele Grüße
Thomas Jetter
Post Reply