TransparNet
Vorhersagbare kollektive Dynamik bioinspirierter Reservoir-Netzwerke - transparentere Informationsverarbeitung in neuronalen Netzen
Projektbeschreibung
Das Projekt TransparNet soll das Verständnis, die Vorhersagbarkeit und damit die Transparenz im Bereich des Reservoir Computing, einer hochaktuellen, Anfang der 2000er Jahre erdachten Informationsverarbeitungs-Methodik im Bereich des bio-inspirierten maschinellen Lernens, ermöglichen. Im Allgemeinen sind in künstlichen neuronalen Netzwerken die Informationsverarbeitung und -weitergabe bislang noch ungenügend verstanden. Konsequenz ist die schwierige und oft sehr eingeschränkte Vorhersagbarkeit oder Kontrollierbarkeit von Lernergebnissen und damit eine hochgradige Intransparenz.
Die zentrale Besonderheit des Reservoir Computing ist, dass das Lernen und Anpassungen ausschließlich in einer Ausleseschicht geschieht. Die Ausleseschicht ist eine dem Reservoir nachgeschaltete Einheit. Das Reservoir ist am Lernprozess unbeteiligt und bleibt daher strukturell konstant. Dies ermöglicht einen direkteren Zugang zur kollektiven Dynamik, die zwischen den Eingangssignalen und der Ausgabe des Ergebnisses stattfindet, als es in anderen künstlichen neuronalen Netzen der Fall ist.
Das beantragte Projekt wird Methoden aus der nichtlinearen Dynamik komplexer Systeme, aus der Netzwerkdynamik und aus der Statistischen Physik auf das Reservoir anwenden. Insbesondere planen wir, Einsichten in das Informationsrouting in und der Linearen Antwort-Theorie in Netzwerken zu verknüpfen, um das Entstehen von erlernten Gewichten der Ausleseschicht in Abhängigkeit von den Eingangssignalen, der Verschaltungsstruktur des Netzwerkes, der Informationsverarbeitungsaufgabe und der Nichtlinearität in der Ausleseschicht aufzuklären.
Ein erfolgreiches Projekt würde Informationsverarbeitung und –Weiterleitung in Systemen des Reservoir Computing verständlicher, vorhersagbarer und damit transparenter zu machen. Diese Einsichten tragen potentiell auch dazu bei, zukünftig weitere neuartige Verfahren zu erdenken und zu entwickeln, um andere künstliche neuronale oder anderweitig bio-inspirierte, netzwerkbasierte oder allgemein künstliche Informationsverarbeitungs-Systeme transparenter zu machen.
Projektdaten
Fördermittelgeber | Sächsische Aufbaubank (SAB) Forschungsprojektförderung TG 70 |
Fördersumme | 319.930,00 € |
Laufzeit | 01/21- 09/22 |
Kontakt | Marc Timme, marc.timme@tu-dresden.de |
Beteiligte Partner
Prof. Benjamin Friedrich (https://cfaed.tu-dresden.de/friedrich-home)