Zeitschrift für Computertechnik und Informationstechnologie

Selbstorganisiertes Potenziallernen: Erweiterung des SOM-Wissens zum Trainieren überwachter neuronaler Netzwerke mit verbesserter Interpretations- und Generalisierungsleistung

Ryotaro Kamimura

Selbstorganisiertes Potenziallernen: Erweiterung des SOM-Wissens zum Trainieren überwachter neuronaler Netzwerke mit verbesserter Interpretations- und Generalisierungsleistung

Das vorliegende Dokument schlägt eine neue Art von Lernmethode namens „selbstorganisiertes potentielles Lernen“ vor, um die Generalisierungs- und Interpretationsleistung zu verbessern. Bei dieser Methode wird die selbstorganisierende Karte (SOM) verwendet, um Wissen (SOM-Wissen) über Eingabemuster zu erzeugen. SOM-Wissen ist manchmal redundant und beim Training mehrschichtiger neuronaler Netzwerke nicht unbedingt effektiv . Die vorliegende Methode wird eingeführt, um sich auf den wichtigsten Teil des Wissens zu konzentrieren, der durch Berücksichtigung der Potentialität von Neuronen extrahiert wird. In einer ersten Näherung wird die Potentialität anhand der Varianz der Neuronen definiert. Dann werden Neuronen mit größerer Potentialität als die wichtigen ausgewählt, die beim überwachten Lernen verwendet werden sollen. Die Methode wurde auf drei Probleme angewendet, nämlich künstliche Daten , reale Daten zum Erlernen einer Zweitsprache und Daten zur biologischen Degeneration in der Datenbank des maschinellen Lernens . In allen Fällen zeigte sich, dass die Potentialität hinsichtlich der Varianz effektiv beim Extrahieren einer kleinen Anzahl wichtiger Eingaben und verborgener Neuronen war. Dann wurde die Generalisierungsleistung erheblich verbessert, insbesondere wenn die Potenzialität von Eingaben und verborgenen Neuronen mit leicht interpretierbaren Verbindungsgewichten berücksichtigt wurde.