Netzwerk schlauer als seine Erfinder

Wenn Computer selbstständig auf Satellitenbildern Gewässer und ihre Umrisse erkennen oder beim fern­östlichen Brett­spiel Go einen der welt­besten professionellen Spieler schlagen, dann arbeiten im Hintergrund lernfähige Algorithmen. Programmierer haben diese zuvor während einer Trainingsphase mit bekannten Beispielen gefüttert: Bilder von Gewässern und von Land beziehungsweise bekannte Go-Spielverläufe, die in Turnieren zum Erfolg oder Miss­erfolg geführt haben. Ähnlich wie sich die Nervenzellen in unserem Gehirn während Lern­prozessen neu vernetzen, sind auch die speziellen Algorithmen in der Lage, sich während der Lernphase anhand der ihnen präsentierten Beispiele anzupassen – bis sie schließlich selbständig auch auf unbekannten Fotos Gewässer von Land unterscheiden können sowie erfolgreiche von erfolglosen Spiel­verläufen.

Solche künstlichen neuronalen Netzwerke kamen beim maschinellen Lernen bisher dann zum Einsatz, wenn das Unterscheidungs­kriterium bekannt ist: Man weiß, was ein Gewässer ist und welches in vergangenen Go-Turnieren die erfolgreichen Spiel­verläufe waren.

Nun haben Wissenschaftler aus der Gruppe von Sebastian Huber, Professor für theoretische Fest­körper­physik und Quanten­optik an der ETH Zürich, die Anwendungen solcher neuronaler Netzwerke erweitert: Sie entwickelten eine Methode, mit der sich beliebige Daten nicht nur kategorisieren lassen, sondern die auch erkennt, ob es in komplexen Datensätzen überhaupt Kategorien gibt.

Solche Fragestellungen gibt es in der Wissenschaft zuhauf: Die Methode könnte für die Auswertung von Messungen an Teilchen­beschleunigern oder von astronomischen Beobachtungen interessant werden. Physiker können damit aus ihren oft unüberschaubaren Mess­daten die viel­versprechendsten Messungen herausfiltern. Pharmakologen könnten aus umfangreichen Molekül­datenbanken jene Moleküle aussieben, die mit einer gewissen Wahrscheinlichkeit eine bestimmte pharmazeutische Wirkung oder Neben­wirkung haben. Und Daten­wissenschaftler könnten damit riesige ungeordnete Daten­wulste ordnen und daraus verwertbare Informationen gewinnen (Data-Mining).

Die ETH-Forscher wandten ihre Methode unter anderem an einem intensiv erforschten Phänomen der theoretischen Physik an: einem Viel-Teilchen-System von wechselwirkenden magnetischen Dipolen, das nie – auch langfristig nicht – in einen Gleich­gewichts­zustand fällt. Solche Systeme wurden jüngst beschrieben. Allerdings ist nicht im Detail bekannt, welche quanten­physikalischen Eigenschaften ein Viel-Teilchen-System davor bewahren, in einen Gleich­gewichts­zustand zu fallen. Insbesondere ist unklar: Wo genau liegt die Grenze zwischen Systemen, die in einen Gleich­gewichts­zustand fallen, und anderen, die das nicht tun?

Um diese Grenze zu finden, entwickelten die Wissenschaftler das „So tun als ob”-Prinzip: Sie nahmen Daten von Quanten­systemen zur Hand. Anhand eines Parameters zogen sie eine beliebige Grenze, mit der sie die Daten in zwei Gruppen einteilten. Dann trainierten sie ein künstliches neuronales Netzwerk, indem sie dem Netzwerk vortäuschten, die eine Gruppe falle in einen Gleich­gewichts­zustand, die andere nicht. Die Forscher tat also so, als ob sie diese Grenze kennen würde.

Insgesamt trainierten sie das Netzwerk unzählige Male, jeweils mit einer anders gewählten Grenze, und sie testeten nach jedem Training, wie gut das Netzwerk Daten zu sortieren vermag. Das Ergebnis: In vielen Fällen bekundete das Netzwerk Mühe, die Daten so einzuteilen, wie von den Wissenschaftlern vorgegeben, in einigen Fällen war die Einteilung in die zwei Gruppen jedoch sehr präzise.

Die Forscher konnten zeigen, dass diese Sortier­leistung vom Ort der gewählten Grenze abhängt. Evert van Nieuwenburg, Doktorand in der Gruppe von ETH-Professor Huber, erklärt das so: „Indem ich für das Training eine Grenze wähle, die stark neben der tatsächlichen Grenze liegt (die ich nicht kenne), leite ich das Netzwerk fehl. Ein auf diese Weise letztlich falsch trainiertes Netzwerk kann Daten nur schlecht einteilen.” Wählt man zufällig jedoch eine Grenze, der nahe der tatsächlichen liegt, erhält man einen leistungs­starken Algorithmus. Indem die Forscher die Leistung des Algorithmus bestimmten, konnten sie die Grenze eruieren zwischen Quanten­systemen, die in ein Gleichgewicht fallen, und solchen, die das nie tun: Die Grenze liegt dort, wo die Sortier­leitung des Netzwerks am größten ist.

Die Tauglichkeit ihrer neuen Methode bewiesen die Forscher außerdem mit zwei weiteren Frage­stellungen der theoretischen Physik: topologischen Phasen­übergängen in ein­dimensionalen Festkörpern sowie dem Ising-Modell, das den Magnetismus im Innern von Festkörpern beschreibt.

Die neue Methode lässt sich vereinfacht auch mit einem Gedanken­experiment veranschaulichen, in dem wir rote, rötliche, bläuliche und blaue Kugeln in zwei Gruppen einteilen möchten. Wir nehmen an, dass wir keine Vorstellung davon haben, wie eine solche Einteilung sinnvollerweise aussehen könnte. Nimmt man nun ein neuronales Netzwerk und trainiert es, indem man ihm sagt, die Trennlinie sei irgendwo im roten Bereich, verwirrt man damit das Netzwerk. „Man versucht dem Netzwerk beizubringen, blaue und rötliche Kugeln seien dasselbe, und verlangt von ihm, rote von roten Kugeln zu unterscheiden, was es schlicht nicht zu leisten vermag”, sagt ETH-Professor Huber.

Setzt man die Grenze hingegen im violetten Farbbereich, lernt das Netzwerk einen tatsächlich existierenden Unterschied und sortiert die Kugeln in eine rote und blaue Gruppe. Dass die Trennlinie im violetten Bereich liegen sollte, muss man dabei nicht im vornherein wissen. Indem man die Sortier­leistung bei verschiedenen gewählten Grenzen vergleicht, findet man diese Grenze auch ohne Vorwissen.

ETHZ / DE