SIGGRAPH 2019: Der Aufstieg der Maschine

Die Anwendung von Machine Learning (ML) in der Kreativwirtschaft nimmt weiter zu, wobei die aktuelle Forschung praktische Anwendung im Bereich der Bilderzeugung und -verbesserung findet. Als Beispiel können neuronale Netze für Aufgaben wie Entrauschen und Auflösung erhöhen verwendet werden.

by  Aurelio Campa |  Mittwoch, 07 August 2019  |  siggraph  |  events  |  ai

SIGGRAPH 2019: Der Aufstieg der Maschine

Das Rauschen entfernen hat einen offensichtlichen Nutzen bei der Restaurierung von Archivmaterial. Die Verwendung von Entrauschen kann Details wiederherstellen und die Qualität des alten Materials verbessern.

Wenn Sie jemals ein Rendering mit Dingen wie weichen Schatten oder Ambient Occlusion durchgeführt haben, werden Sie mit der Idee des stochastischen Samplings vertraut sein. Dies ist eine Methode, bei der zufällige Stichproben über eine Art Parameterraum genommen werden. Weiche Schatten können durch ein Flächenlicht entstehen. Wenn Sie nicht genügend Sample-Punkte über das Flächenlicht generieren, werden Ihre Schatten verrauscht sein. Je mehr Samples Sie nehmen, desto weniger verrauscht werden Ihre Schatten sein. Das Problem mit der Erhöhung der Anzahl der Samples ist, dass Sie auch Ihre Renderzeiten erhöhen.

Anwenden von neuronalen Netzen

Sie könnten die zusätzliche Renderzeit vermeiden, indem Sie Ihr verrauschtes Bild durch ein neuronales Netz leiten, das mit verrauschten und gleichwertigen sauberen Bildern trainiert wurde.

Ein ähnliches neuronales Netz könnte mit Bildern niedriger Auflösung und den entsprechenden hochauflösenden Bildern trainiert werden. Sie könnten Ihr 1K gerendertes Bild durch dieses neutrale Netz leiten und es wird ein 2K-Bild zurückgeben. Das 2K-Bild wird fast so gut sein wie das 2K-Bild, das Sie gerendert hätten, wenn Sie die Zeit dazu hätten.

Die Ergebnisse dieser neuronalen Netze sind nur so gut wie das Material, mit dem sie trainiert werden, und im Allgemeinen gilt: Je mehr Trainingsdaten Sie haben, desto besser.

Der Grund für die Erstellung Ihres eigenen Schulungsmaterials ist, dass Sie die Frage des Eigentums vermeiden. Wenn ich ein neuronales Netz mit Material trainiere, das ich zum Beispiel in einem Disney-Projekt erstellt habe, kann ich dann dieses neuronale Netz in dem Projekt verwenden, an dem ich für Warner Brothers arbeite? Oder verletzt das die Eigentumsrechte?

Neuronale Netze können auch für weniger offensichtliche Aufgaben eingesetzt werden. Das Team am ILM trainierte ein neuronales Netz, um die Gesichtsanimation von Thanos for Avengers Endgame zu verbessern.

Mit so vielfältigen Anwendungen des Machine Learning gibt es ein weites und aufstrebendes Feld, das damit einhergeht. Daher werde ich in den nächsten Wochen auf weitere Einsatzmöglichkeiten von ML und neuronalen Netzen in der Kreativwirtschaft eingehen.