MemBrain Neural Network Editor + Simulator User Forum

Hi,

ich möchte versuchen MemBrain auf der Basis des Spiels DopeWars zu verstehen, wie ich ein gutes Netz aufbauen kann.

Bevor ich starte habe ich folgende Grundlegende Fragen:


A. Wie kann ich jeweils die folgenden Lernmodelle anwenden (das war für mich nicht ersichtlich):

1) supervised learning

2) SOM (Implementierung noch nicht ganz verstanden)

3) Reinforced Learning (Wie setzt man das hier um? Habe schon gesehen, dass es für KNIFFEL vorgeschlagen wurde!)


B. Bisherige Erfahrungen

1) habe das Anfangs-Beispiel (Bsp) ausprobiert, dabei habe ich festgestellt das eine gesteigerte Anzahl an Neuronen nur die Fehlergröße gesteigert hat.

2) habe schon einmal einen kleinen Teil des DopeWars-Schema, das ich als Modell in Excel und bash (Unix shell variante) schon mehr oder weniger implementiert habe. Einzelne Situationen sind noch nicht implementiert; Statistik-Analyse über ein Programm wurde nur mal angedacht.
Ich habe festgestellt, dass zwei versteckte layers, mit Anzahl konstanter Werte = Anzahl Neuronen level 1 und level 2 = 1/2 Level 1, am besten gearbeitet hat.


C. Für supervised backpropagation, kann ich die ALLE Entscheidungs-Fälle mit einem kleinen Script in eine CSV dumpen lassen.


schonmal Danke

kqb


WICHTIG: Ich habe DopeWars nur genommen, weil das Modell dahinter relativ simpel ist. Außerdem kann man das Programm fast komplett auf ein anderes Theme umändern (durch einzelne Änderungen im Options-Menü; man könnte also z.B. Autos handeln). Das Thema mit dem es ausgeliefert wird, finde ich s******

Hallo,

kqb wrote:A. Wie kann ich jeweils die folgenden Lernmodelle anwenden (das war für mich nicht ersichtlich):

1) supervised learning

2) SOM (Implementierung noch nicht ganz verstanden)

Die Beispiele von der Homepage in Verbindung mit der zugehörigen Hilfedatei sollten eigentlich einen ersten Einstieg bieten.

Prinzipiell entscheidet sich die Frage 'überwacht oder unüberwacht' am 'Teacher', den man in MemBrain wählt. Allerdings besitzt MemBrain nur einen einzigen 'Teacher' für unüberwachtes Lernen (nämlich den 'Winner Takes it All') und dieser benötigt eine ganz bestimmte Netzarchitektur (nämlich die einer SOM), um sinnvoll zu funktionieren.

Mit SOMs bin ich selbst bisher in der Anwendung nicht über ein gewisses 'Experimentierstadium' hinausgekommen. Sie scheinen mir nicht wirklich für praktische Anwendungen geeignet. Ich mag mich aber täuschen, vielleicht habe ich hier bisher auch nicht genügend in entsprechende Experimente investiert.

kqb wrote:3) Reinforced Learning (Wie setzt man das hier um? Habe schon gesehen, dass es für KNIFFEL vorgeschlagen wurde!)

RL ist in MemBrain nicht 'eingebaut' und besteht aus wesentlich mehr als einem NN. RL kann lediglich ein NN intern verwenden, um eine sogennante Q-Funktion zu erlernen.
Der Kniffel-Thread ist ein ausgezeichnetes Beispiel, das die Herangehensweise 'von der Pike auf' beschreibt. Also am Besten mal einige Stunden investieren und den Thread durcharbeiten. Dann wird bestimmt bald klar, wie sich das auf andere Probleme anwenden lässt.
Das können wir dann natürlich auch hier gerne gemeinsam erarbeiten.
Von zentraler Bedeutung wird dabei sein, wie sich die Zustände und Aktionen aus DopeWar codieren lassen, um eine Q-Funktion zu bilden.

Eine andere Frage wird sein, in welcher Sprache die Einbindung der NN geschehen soll. Handelt es sich um 'C/C++ oder 'C#' oder Java oder...?

Viele Grüße