XAVC – White Paper

Technische Einführung über das neue Aufzeichnungsformat von Sony

Einleitung

Das Advanced Video Coding (AVC) H.264/MPEG-4 Part-10 ist ein hauptsächlich für HDTV-Anwendungen wie Blu-ray, digitale Übertragung (terrestrisch/Kabel/Satellit) und Internetbrowser genutzter Standard zur Videokompression. Nach jahrelanger Entwicklung wurde der Standard im Jahr 2003 verabschiedet. Dank ständiger Erweiterungen bis 2009 eignet er sich jetzt für Anwendungsbereiche, die weit über HDTV hinausgehen. Heute decken die unterschiedlichen Levels ein breites Spektrum an Bildkompression ab – von mehreren Kilobits pro Sekunde bis zu 1,2 Gbit/s. Die höchsten Parameter eignen sich für 4K, 3D, 14-Bit-Abtastung und weitaus höhere Bildwechselfrequenzen als 100 Bilder/s. Als aktives Mitglied des JVT (Joint Video Team) hat Sony den Standard mitentwickelt und maßgeblich zur Etablierung des AVCHD-Formats und der Erweiterung der Levels/Profile von H.264 beigetragen.

Abbildung 1

Fortschritte in der Entwicklung der CMOS-Technologie.

Abbildung 2

Fortschritte in der Entwicklung von SxS-Aufnahmemedien.

MedienSxS ProSxS-1SxS Pro +XQD N-SerieXQD S-Serie
Einführungsjahr20072009201320132013
Datenrate bei der Aufzeichnung400 Mbit/s240 Mbit/s1,3 Gbit/s--
Max. Auslesegeschwindigkeit1,2 Gbit/s1,2 Gbit/s1,6 Gbit/s1,0 Gbit/s1,44 Gbit/s
Speicherkapazität8 GB/16 GB (2007) 32 GB (2008) 64 GB (2011)32 GB (2009) 64 GB (2010)64 GB/128 GB32 GB/64 GB32 GB/64 GB

Die Erweiterung des H.264-Standards fiel mit bedeutenden Entwicklungen in der Sensor- und Display-Technik zusammen, die höhere Auflösung und Bildwechselfrequenzen ermöglichten. Auch die Geschwindigkeit der Speichertechnologie wurde signifikant erhöht. Eine leistungsfähige und doch effiziente Kompressionstechnologie wie H.264 ist zwingend notwendig, um die Unmengen an Bilddaten moderner Sensoren in eine überschaubare Datei zu komprimieren. Nur so können die Bilder auf erschwinglichen Speicherkarten aufgezeichnet und auf gängigen Computern/Schnittsystemen geöffnet/bearbeitet werden. Abbildung 1 zeigt, wie Sony einen CMOS-Sensor entwickelt und kommerzialisiert hat, der Datenübertragungsraten von mehr als 30 Gbit/s erreicht. Man kann davon ausgehen, dass hohe Auflösung, hohe Bildwechselfrequenzen und hohe Bitraten in den nächsten Jahren immer alltäglicher werden. Abbildung 2) zeigt die Fortschritte in der Entwicklung der SxS- und XQD-Speicherkartentechnologie. Die neuesten Karten garantieren Echtzeitaufnahmen mit mehr als 1 Gbit/s. Auch die Aufnahmekapazität wurde im Laufe der Jahre signifikant erhöht, während die Kartengröße reduziert wurde, aber ohne dass die Karten dabei an Kompaktheit einbüßen mussten. In diesem White Paper werden die Eigenschaften und Vorteile des XAVC-Formats vorgestellt. Es wird erklärt, wie sich XAVC in einen modernen Produktionsworkflow einfügt und mit etablierten Formaten wie MPEG2, MPEG4 SStP und RAW-Kameradateien verwendet werden kann. Sony hat einen Bildsensor entwickelt und kommerzialisiert, der Datenübertragungsraten von mehr als 30 Gbit/s erreicht. Man kann davon ausgehen, dass hohe Auflösung, hohe Bildwechselfrequenzen und hohe Bitraten in den nächsten Jahren immer alltäglicher werden. Abbildung 2 zeigt die Fortschritte in der Entwicklung der SxS- und XQD-Speicherkartentechnologie. Die neuesten Karten garantieren Echtzeitaufnahmen mit mehr als 1 Gbit/s. Auch die Aufnahmekapazität wurde im Laufe der Jahre signifikant erhöht, während die Kartengröße reduziert wurde, aber ohne dass die Karten dabei an Kompaktheit einbüßen mussten. In diesem White Paper werden die Eigenschaften und Vorteile des XAVC-Formats vorgestellt. Es wird erklärt, wie sich XAVC in einen modernen Produktionsworkflow einfügt und mit etablierten Formaten wie MPEG2, MPEG4 SStP und RAW-Kameradateien verwendet werden kann.

Das XAVC-Format

Das XAVC-Format von Sony entspricht dem H.264-Level 5.2. Hierbei wird die Videoessenz gemeinsam mit dem Ton und Metadaten in einem MXF-OP-1a-Wrapper verpackt. Das Hauptziel bei der Übernahme des XAVC-Formats ist die Entwicklung einer Familie von professionellen Produktionsprodukten, die effizient mit HFR(High Frame Rate)-, HD- und 4K-Bildgebungsformaten umgehen können. Abbildung 3 zeigt das Spektrum des XAVC-Formats. Bitte beachten Sie, dass diese Tabelle das globale Spektrum des XAVC-Formats beschreibt, das diverse Produkte nur teilweise erreichen. Auch Over- und Undercranking-Funktionen, über die einige Kameras verfügen, sind nicht in dieser Tabelle enthalten. Für den Consumer-Bereich wurde zusätzlich das MP4-Wrapping-Format unter dem Namen XAVC S eingeführt. Diese Erweiterung wird auf dem Consumer-Markt einen Zuwachs von 4K-Content fördern/begünstigen.

XAVC und 4K

Digitale 4K-Bildgebungssysteme werden derzeit nur im Bereich Digitalkino eingesetzt, in dem die DCI (Digital Cinema Initiative) einen Projektionsstandard von 4096 x 2160 bei 24 Bildern/s mit komprimierten JPEG2000-MXF-Dateien vorgibt. Mehrere Consumer-Display-Hersteller bieten jedoch bereits 4K-Flachbildschirme und Projektionssysteme für die Heimunterhaltung an. Die terrestrische Fernsehübertragung in 4K wird wohl noch einige Jahre auf sich warten lassen, Kabel-/Satelliten-/Netzwerk-Sender sowie Content-Anbieter ziehen 4K aber bereits als neue Geschäftsmöglichkeit in Erwägung. Mit einem internen Upkonvertierungsverfahren reduzieren 4K-Displays Linien- und Pixeleffekte, die oft bei großen Bildschirmen auftreten, und werten somit auch momentane HDTV-Inhalte auf. Noch dazu können mehrere HDTV-Streams gleichzeitig bei voller Auflösung gezeigt werden. Heutzutage erreichen die meisten digitalen Fotokameras und selbst Handykameras eine höhere native Auflösung als HDTV. Demnach kann ein 4K-Display zu Hause als hochwertiger digitaler Fotorahmen dienen.

Abbildung 3

Überblick zum XAVC-Format.

BereichAuflösungBildwechselfrequenzFarbeMax. BitrateIntra/Long
4 K4096 x 2160
3840 x 2160
23,98p bis 59,94p4:2:0/8 Bit bis 4:4:4/12 Bit 960 Mbit/sIntra
Long
HD2048 x 1080
1920 x 1080
1440 x 1080
1280 x 720
23,98p bis 59,94p
50i/59,94i
4:2:0/8 Bit bis 4:4:4/12 Bit440 Mbit/sIntra
Long
Proxy23,98p bis 59,94p4:2:0/8 Bit28 Mbit/sLong

Dank der großen Auswahl an Funktionspunkten, die das XAVC-Format bietet, lässt sich die Bandbreite der 4K-Bilder je nach GOP-Struktur, Bildwechselfrequenz und Farbabtastraten auf unter 100 Mbit/s reduzieren. Es wird erwartet, dass eine derart effiziente Auswahl an Funktionspunkten der Heimunterhaltung einen großen Qualitätsschub gibt. Auch bei B2B-Anwendungen, bei denen es auf hohe Auflösung ankommt, liefert diese Technologie beträchtliche Vorteile. Die aktive Pixelanzahl der meisten 4K-Displays für Heimanwendungen beschränkt sich auf 3840 x 2160, das Vierfache von 1920 x 1080 (Quad HD oder QFHD). Dies unterscheidet sich vom Kinoprojektionsstandard, der 4096 Pixel über das gesamte Bild hinweg bietet. Da das XAVC-Format horizontale 4096- und 3840-Abtastformate abdeckt, können die XAVC-Produktionstools sowohl für das Kino als auch das Fernsehen eingesetzt werden. Die Kamera PMW-F55 von Sony zeichnet in 4K XAVC Intra-Frames mit Funktionspunkten zwischen 240 Mbit/s (bei 24p) und 600 Mbit/s (bei 60p) intern auf. Der Server PWS-4400 unterstützt diese Funktionspunkte ebenfalls, um für die 4K-Live-Produktionsplattform geeignet zu sein. Die Bitrate für 4K stellte den wichtigsten Diskussionspunkt während der Entwicklung dar. Eine Rate von 100 Mbit/s für 1080i gilt als angemessene Bitrate, da sie in der Broadcast-Branche weit verbreitet ist. Theoretisch würde zum Erreichen der benötigten Bitrate für 4K 60p mit einer viermal so hohen Auflösung und einer doppelt so hohen Bildwechselfrequenz eine achtmal so hohe Datenmenge benötigt. Diese würde bei 800 Mbit/s liegen, allerdings können 25 % der Datenmenge dank der Codierungseffizienz bei Progressive-Aufzeichnung im Gegensatz zu Interlaced reduziert werden. Um eine derart hohe Datenrate auf kosteneffektiven und doch kompakten Medien aufzeichnen zu können, hat Sony die SxS-Pro+-Speicherkartenreihe entwickelt. SxS Pro+-Karten sind mit allen Geräten kompatibel, die über einen SxS-Kartensteckplatz verfügen, und erreichen bei der Aufzeichnung eine Datenrate von bis zu 1,3 Gbit/s. Mit nur einer einzigen SxS Pro+-Speicherkarte mit 128 GB kann die PMW-F55 bis zu 50 Minuten in 4K/24P oder ca. 20 Minuten in 4K/60P aufzeichnen.

XAVC-, RAW- und ACES-Workflow

Die Digitalfilmproduktionsbranche steht kurz vor der Festlegung gemeinsamer Parameter für Bilder, die auf Film, mit Digitalkameras oder mit Computern erstellt wurden. Mit der Etablierung von ACES (Academy Color Encoding System) sollen ein gemeinsamer Raum für Bilder aus verschiedenen Quellen, ein maximaler Spielraum bei der Bildbearbeitung (Farbkorrektur) und ein einheitlicher Look bei der Verwendung unterschiedlicher Tools und Anbieter erzielt werden. Sony nimmt aktiv an der ACES-Initiative teil und hat mehrere IDTs (Input Device Transforms) entwickelt, mit denen High-End-Kameras in einem ACES-Workflow verwendet werden können. Die Tiefe von 16 Bit der ACES-Dateien holt das Beste aus High-End-Kameras und CGI-Elementen heraus und bietet maximale Flexibilität für Farbkorrekturen beim DI-Prozess (Digital Intermediate). Aus diesem Grund können die neuesten Kameras von Sony (F65+SR-R4, PMW-F55+AXS-R5, PMW-F5+AXS-R5) lineare 16-Bit-RAW-Dateien über kompakte integrierte Recorder aufzeichnen.

Abbildung 4

Dateigrößenvergleich.

Die Kameras PMW-F5/F55 können RAW-Dateien auf den integrierten Recorder AXS-R5 und gleichzeitig XAVC-Dateien in HD-Auflösung auf die Speicherkarten in den integrierten SxS-Kartensteckplätzen aufzeichnen. Dabei entsprechen die XAVC-Dateien genau den RAW-Dateien hinsichtlich Ein-/Aus-Punkte, Ton, Timecode und anderen Metadaten, einschließlich Dateinamen. Da die XAVC-Dateien die RAW-Dateien auf diesem Weg als Bearbeitungsdateien ergänzen, kann der Schnitt beginnen, sobald die SxS-Karten aus der Kamera genommen werden. Um die Farben der Bilder der RAW-Kameradateien zu korrigieren und sie zu schneiden, wird ein zusätzliches Bildbearbeitungsverfahren (Debayering oder Demosaicking) benötigt. Die RAW-Kameradateien liefern zwar ein Maximum an kreativer Freiheit – ein Muss bei komplexer Postproduktion. Leider erlauben jedoch nicht alle Budgets und Zeitpläne einen derartigen Luxus. 4K-XAVC-Dateien bieten eine kosteneffektive Alternative zu RAW-Kameradateien. Wie man in Abbildung 5 sehen kann, erinnert die Größe der 4K-XAVC-Dateien an HD-Aufnahmen, die bereits gang und gäbe sind. Man kann davon ausgehen, dass 4K-XAVC-Dateien eine tragende Rolle bei der Verbreitung der 4K-Produktion spielen werden.

XAVC und HDTV

Von neu entwickelten Kompressionsalgorithmen behauptet man oft, dass sie effizienter sind als ihre Vorgänger. Es ist sicherlich richtig, dass eine bestimmte Bildqualität mit einer geringeren Datenmenge (oder Bitrate) erreicht werden kann. Da moderne Codierungen jedoch immer komplexer werden, sind zunehmend leistungsstärkere Computer erforderlich. Bei der Migration der Produktionsinfrastruktur und der zugehörigen Workflows von einer Generation auf die nächste kann dies eine große Herausforderung darstellen. Wenn beim Schnitt mehrere Dateien gleichzeitig verwendet werden, ist die für die Decodierung des komprimierten Bitstreams benötigte Rechenleistung von zentraler Bedeutung.

Abbildung 5

Vergleich der Decodierungsgeschwindigkeit.

Aufgrund der kleinen Dateigröße, hohen Bildqualität und geringen Ansprüche an die Rechenleistung hat sich MPEG2 HD Long GOP (50 Mbit/s oder 35 Mbit/s) bei Fernsehübertragungen und Reality-TV in HDTV mittlerweile durchgesetzt. Von Nachrichtensendungen bis zu Reality-TV und Sportübertragungen sind Datenraten von 35 bis 50 Mbit/s für eine HDTV-Infrastruktur perfekt. Abbildung 6 zeigt, wie unterschiedliche komprimierte Videostreams auf einer Computerplattform decodiert werden können, ohne dass Anwender auf Hardwarebeschleunigung oder GPUs zurückgreifen müssen. Aus dem Diagramm (Einheit der horizontalen Achse: Bilder/s) geht klar hervor, dass MPEG2 50 Mbit/s die schnellste (und effizienteste) Option ist. Seit Kurzem zeigen mehrere Sendeanstalten Interesse, H.264 als Hauptformat zu übernehmen. Zu den Gründen hierfür gehören:

  • Alle Programmdateien, vom Prime-Time-Programm bis zu den Nachrichten, können mit einem einzigen Codec in einem gemeinsamen branchenüblichen Wrapper verpackt werden
  • 10-Bit-Abtastung im Gegensatz zu 8 Bit bei MPEG-2
  • Die Bildqualität von 50 Mbit/s bei MPEG-2 gilt als nicht ausreichend, um aktuelle Bandformate wie HDCAM zu ersetzen
  • Speicherplatz, Netzwerkbandbreite und Rechenleistung werden beim Verarbeiten mehrerer Streams mit hohen Bitraten weniger problematisch

Bei 50p/60p-HDTV-Anwendungen unterstützt XAVC Intra bis zu 440 Mbit/s und dient als Zwischenformat, das die Lücke zwischen einem Format in Mastering-Qualität (MPEG4 SStP oder HDCAM-SR) und MPEG2 schließt. XAVC ermöglicht tragbaren Camcordern mit extrem hoher Bildwechselfrequenz und in HDTV-Auflösung aufzuzeichnen. Die PMW-F55 zeichnet bei einer vollen Auflösung von 1920 x 1080 10 Bit 4:2:2 bei bis zu 180 Bildern/s auf internen SxS Pro+-Speicherkarten auf. Werden beide Speicherkartensteckplätze mit 128-GB-Karten bestückt, wird die durchgehende Aufnahmezeit auf ca. 40 Minuten bei 180 Bildern/s erhöht. Der Bedarf für kleine Dateigrößen für 35-50 Mbit/s-Anwendungen wird bleiben, ebenso wie für 1.080-50p/60p-Anwendungen. Für diese Anwendungen ist das Long GOP-Format die beste Technik, da bei der Verkleinerung der Dateigröße die Bildqualität nicht beeinträchtigt wird. Abbildung 6 unten zeigt, dass die Decodierleistung bei Long GOP 50 Mbit/s und Intra 100 Mbit/s fast gleich ist, obwohl mehr Rechenleistung erforderlich ist.

Abbildung 6

Übersicht über HDTV-Komprimierungsformate.

Neue technische Möglichkeiten mit XAVC

Weitere Informationen anfordern