MemBrain Neural Network Editor + Simulator User Forum

Hallo mal wieder und Danke für den Post mit Link!

Die MemBrain dll (MemBrainDll.dll aus dem Unterordner \DLL des MemBrain Installationsordners) kopiert man am einfachsten in C:\Windows\SysWOW64. Dann sollte sie von Excel gefunden werden.
Bitte NICHT die veraltete dll verwenden, die im zip file von der Drop Box enthalten ist, wie erwähnt gab es eine wichtige Anpassung, um den VBA Überlauf-Fehler zu beheben!.

Viele Grüße und morgen wahrscheinlich mehr zum Ampel-Thread.

Vielen Dank just4phil!

Hallo Zusammen,

Ich hab mir den Beitrag komplet Durchgelesen und einiges gelernt, vielen dank dafür.

Nur sind mir zwei Sachen noch nicht ganz klar.

1. Hab ich das Richtig verstanden das der Rewart in den Trainingsdaten nachher nicht mehr vorhanden ist? Ich ihn also nur nutzte um zu beurteilen welcher Zug gut und welcher schlecht ist um den Besten in die Trainingsdaten zu nehmen?

2. bei S`nehme ich alle mölgichen Würfelwerte und spiele diese durch. (Richtig?) Wenn ich jetzt noch S" mit einbeziehen will nehme ich dann nur Qmax[s',a'] als Basis oder auch noch andere Zustände. Der Gendake dazu ist: dass ich unter umständen einen höhere Warscheinlichkeit habe einen schlechten Wurf zu erhalten, der mit einem zweiten Wurf besser wird wie der Beste mit Qmax[s',a'] errechbare. Z.B wenn ich eine Straße erreichen will. Oder müsste ich das über die Funktion mit der ich Qmax[s',a'] errechne abdecken?

Grüße

Amper wrote:1. Hab ich das Richtig verstanden das der Rewart in den Trainingsdaten nachher nicht mehr vorhanden ist? Ich ihn also nur nutzte um zu beurteilen welcher Zug gut und welcher schlecht ist um den Besten in die Trainingsdaten zu nehmen?

Nein, nicht ganz: Der Reward geht ja in den Output-Wert (Q) des Trainingsdatensatzes für Q[s, a] ein.

Amper wrote:bei S`nehme ich alle mölgichen Würfelwerte und spiele diese durch. (Richtig?)

Nein, man nimmt alle möglichen AKTIONEN a' und berechnet Q[s', a']. Das Maximum aller Aktionen ist Qmax[s', a']. Die Würfelwerte sind keine Aktionen, sondern Teil des Zustands. Ich habe den Thread jetzt nicht mehr von vorne gelesen. Denke aber, das Modell war hier in etwa wie folgt:
Zustand =
- 5 * Würfelaugen, sortiert
- Wurfnummer
- Bereits erzielte/gefüllte/gestrichene Felder

Mögliche Aktionen =
- Nochmal würfeln, in Verbindung mit vorherigem optionalem Zurücklegen bestimmter Würfel
- Buchen (der Punkte auf verschiedene mögliche/passende Konten)
- Streichen, in Verbindung mit zu streichendem Konto

Damit sollte auch die andere Frage beantwortet sein: 'Nochmal würfeln' ist eine eigene Aktion a', die in einem bestimmten Zustand s' eine aus der Erfahrung ermittelte und trainierte Wertigkeit Q[s', a'] hat.

Viele Grüße

Danke für die Antwort