Sony bietet die Lösung für fotorealistische digitale Inhalte in modernen Spielen
Das in Malmö (Schweden) und London (Großbritannien) ansässige Unternehmen Sharkmob nimmt mit einer synchronisierten Anordnung von 144 Kameras von Sony in einem kugelförmigen Rahmen realistische Bilder von Menschen und Objekten auf. Eine Software wandelt die Fotos in eine 3D-Form um, damit die Objekte für die Spieler aus jedem Winkel fotorealistisch aussehen. Dank der Zuverlässigkeit und hohen Auflösung der Kameras von Sony kann Sharkmob problemlos jeden Tag unglaublich hochwertige 3D-Inhalte produzieren.
Wir wollen Spiele entwickeln, die den Spielern viel Spaß machen. Wir wollen Objekte aus der realen Welt einbauen, die wirklich lebensecht wirken. Deshalb setzen wir das photogrammetrische Scannen ein.
Anders Holmquist, CEO and Co-Founder of Sharkmob
Die ganze Leistungsfähigkeit der modernen Spieltechnologie nutzen
In der Computerspieltechnologie hat man schon immer die Grenzen der Technik durchbrochen und ständig nach Möglichkeiten gesucht, die Auflösung, die Detailgenauigkeit und die Bildrate zu verbessern. Spiele-Engines wie Unreal und Unity können fotorealistische Objekte und ganze Welten aus vorgefertigten Modellen in Echtzeit generieren. Das Photogrammetrie-Team von Sharkmob konzentriert sich auf einen Aspekt von Spielen, der definitiv nicht in Echtzeit abläuft: die Erstellung von 3D-Inhalten aus realen Objekten. Dies erfordert eine subtile Mischung aus künstlerischen und technischen Fähigkeiten, wobei die komplexen Formen realer Objekte zunächst mit einer Punktwolke und dann mit Polygonen modelliert werden, die mit Spiel-Engines kompatibel sind. Dies ist mühsam, insbesondere wenn es um die Modellierung echter Menschen (beispielsweise ihrer Gesichter) oder der fast unendlichen Komplexität unserer Realität und von künstlichen Welten geht.
Umwandlung realer Objekte in hochauflösende 3D-Inhalte
Laut Ian Pearce, leitender Photogrammetrie-Künstler bei Sharkmob, braucht ein traditioneller Künstler ein bis zwei Wochen, um einen einzigen Alltagsgegenstand wie einen Feuerlöscher herzustellen. Vertraute, alltägliche Objekte sind für die Glaubwürdigkeit in einer 3D-Welt wohl ebenso wichtig wie exotische Objekte wie Drachen und außerirdische Raumschiffe. Da die Auflösungen und die Detailgenauigkeit dank der GPU- und Display-Technologie ständig höher und besser werden, hat Sharkmob für bestimmte wichtige Inhalte einen alternativen Ansatz gewählt: digitale Fotografie und die Photogrammetrie-Technik.
Standbildkameras können unglaubliche Details aufnehmen, aber immer nur von einer Position aus. Um ein komplexes 3D-Objekt zu modellieren, das aus allen Blickwinkeln betrachtet werden kann, muss es aus vielen Positionen fotografiert werden, am besten gleichzeitig. Zur Lösung dieser technischen Herausforderung können über hundert Kameras erforderlich sein – Sharkmob verwendet 144 α6400-Kameras von Sony – die jeweils genau an der optimalen Stelle angebracht sind. Die Kameras werden zusammen mit der entsprechenden Beleuchtung eingesetzt und aus der Ferne koordiniert.
Kameras von Sony wurden aufgrund ihrer Bildqualität, Kompaktheit und Fernsteuerbarkeit ausgewählt
Sharkmob hat sich dafür entschieden, die Photogrammetrie zu einem großen Teil in die Produktion einfließen zu lassen. Zu diesem Zweck wird ein Esper-Photogrammetrie-Rig eingesetzt, der über hundert Kameras und deren Beleuchtungs- und Stromanschlüsse unterstützt. Durch die Bildung einer ungefähren Kugelform um das zu digitalisierende Objekt (oder die zu digitalisierende Person) wird alles darauf optimiert, die Bilddaten zu erfassen, die zur Erstellung eines präzisen 3D-Inhalts gebraucht werden.
Wir verwenden Kameras von Sony im Esper-Rig, weil sie kompakt sind und weil wir sie über Sony Camera Remote Command steuern können. Die Bilder sind großartig – mit ihnen kann man nichts falsch machen.
Ian Pearce, Lead photogrammetry artist at Sharkmob
Einhaltung des Budgets
Für Sharkmob spielte auch der Preis eine Rolle, da das Unternehmen normalerweise gleich hundertvierundvierzig Kameras auf einmal kauft, wie zuletzt beim Modell α6400. Die Kameras von Sony zeichnen sich durch hohe Auflösung und Farbgenauigkeit aus und sind dennoch kosteneffizient und zuverlässig, insbesondere für besonders anspruchsvolle Anwendungen wie die Photogrammetrie von Sharkmob.
Camera Remote Command von Sony als Kernstück des gesamten Betriebs
Camera Remote Command von Sony spielt eine entscheidende Rolle, da es die Kameras gleichzeitig auslöst und alle Einstellungen und Steuerungen im gesamten Rig koordiniert. Das ist echte Präzisionsarbeit. Für die Aufnahme eines Gesichts sind acht Versionen erforderlich, jede mit einem anderen Ausdruck. Das sind über tausend Bilder pro Gesicht mit hundertvierundvierzig Kameras. Daher ist die Automatisierung für einen effizienten Betrieb unerlässlich, insbesondere angesichts des Branchentrends zu schnelleren Veröffentlichungen und Produktzyklen.
Fünfzigfache Verbesserung
Mit Photogrammetrie können realistische 3D-Inhalte bis zu fünfzig Mal schneller erstellt werden als mit der herkömmlichen Methode. „Sobald der Esper-Rig und die Kameras von Sony eingerichtet sind, funktioniert alles mit Plug & Play“, sagt Pearce. „Es funktioniert einfach perfekt. Man nimmt ein Bild auf und kann einfach so weitermachen!“
Dank der Camera Remote Command von Sony und seiner Fähigkeit, sich eng in Management-Systeme für Inhalte zu integrieren, kann Sharkmob trotz der riesigen Menge an Bilddateien, die bei diesem Prozess erzeugt werden, schnell und effizient arbeiten.
Was geschieht nach der Aufnahme?
Die hochauflösende Aufnahme mit Kameras von Sony ist nur der Anfang eines verarbeitungsintensiven Prozesses. Sobald die Bilder aufgenommen und gespeichert sind, erstellen spezielle Softwareanwendungen den endgültigen 3D-Inhalt. Der erste Schritt besteht darin, eine „Punktwolke“ zu erstellen, bei der die Software im virtuellen Raum eine Wolke aus Punkten aufbaut, die das reale 3D-Objekt markieren, das abgebildet werden soll. Die Wolke wird erzeugt, indem die Software Punkte findet, die über mehrere Kameraansichten hinweg übereinstimmen. Die Punktwolke wird dann verarbeitet, um eine 3D-Version zu erstellen, die aus Polygonen mit Rückstrahlvermögen und Oberflächennormalen besteht – einfache Formen, die leicht zu berechnen sind, die aber zusammengenommen ein einfacher zu renderndes Modell des ursprünglichen Objekts ergeben. Der letzte Schritt besteht darin, die Anzahl der Polygone zu reduzieren, um die Berechnung zu vereinfachen, ohne die wahrgenommene Qualität des endgültigen Inhalts zu beeinträchtigen.
Alles an einem Arbeitstag
Diese Art der Photogrammetrie, die auf dem Esper-Rig basiert und bei der Kameras von Sony und Camera Remote Command von Sony im Mittelpunkt stehen, ist bereits ein stetig wachsender Bereich für Computerspielunternehmen und verwandte Branchen. So können verblüffend realistische 3D-Inhalte zehnmal schneller erstellt werden als mit jeder anderen Methode. Laut Ian Pearce kann „Sharkmob morgens fotografieren und bis zum Abend mit seinem hochmodernen Photogrammetrie-Setup einen hyperrealistischen, spielbaren Charakter erstellen.“
Die Kameras von Sony haben wirklich gute Arbeit geleistet; Sie haben uns noch nie im Stich gelassen – kein einziges Mal! Man würde erwarten, dass bei 144 Kameras einige ausfallen würden, aber das ist uns noch nie passiert. Deswegen bin ich sehr froh, dass wir diese Partnerschaft mit Sony haben. Sharkmob kann morgens fotografieren und bis zum Abend mit seinem hochmodernen Photogrammetrie-Setup einen hyperrealistischen, spielbaren Charakter erstellen.
Ian Pearce, Lead photogrammetry artist at Sharkmob