Artykuł przeglądowy o formacie XAVC

Artykuł techniczny o nowym formacie zapisu firmy Sony

Wstęp

Standard kodowania H.264/MPEG-4 Part 10 jest technologią stosowaną głównie w systemach dystrybucji HDTV, takich jak Blu-ray, rozgłośnie cyfrowe (naziemne/kablowe/satelitarne) i przeglądarki internetowe. Pierwsze dokumenty standaryzacyjne powstały w 2003 roku. Standard był rozwijany przez kolejne lata aż do roku 2009 i obejmuje o wiele szerszy zakres zagadnień niż standardy dystrybucji HDTV. Obecnie grupa poziomów operacyjnych odnosi się do bardzo szerokiego zakresu danych o obrazach poddanych kompresji. Mają one przepływność od kilku kilobitów na sekundę po 1,2 Gb/s i mogą cechować się tak wysokimi parametrami, jak 4K, 3D, 14-bitowe próbkowanie i ponad 100 klatek na sekundę. Firma Sony była jednym z aktywnych członków grupy JVT (Joint Video Team), która ukończyła standard, oraz podjęła znaczące wysiłki w celu ustanowienia formatu AVCHD i rozbudowania poziomów/profili standardu H.264.

Rysunek 1

Postęp w technologii przetworników CMOS.

Rysunek 2

Postęp w technologii nośników SxS.

NośnikSxS ProSxS-1SxS Pro +Seria XQD NSeria XQD S
Rok wprowadzenia20072009201320132013
Prędkość ciągłego zapisu danych400 Mb/s240 Mb/s1,3 Gb/s--
Maks. prędkość odczytu1,2 Gb/s1,2 Gb/s1,6 Gb/s1,0 Gb/s1,44 Gb/s
Pojemność8 GB / 16 GB (2007) 32 GB (2008) 64 GB (2011)32 GB (2009) 64 GB (2010)64 GB / 128 GB32 GB / 64 GB32 GB / 64 GB

Rozszerzenie standardu H.264 zbiegło się w czasie z szybkim rozwojem technologii przetwarzania obrazów o wysokiej rozdzielczości / o dużej liczbie klatek na sekundę (przetworniki, wyświetlacze) oraz rozwojem technologii pamięci masowych o dużej szybkości. Zaawansowana, a jednocześnie wydajna technologia kompresji, taka jak H.264, odgrywa kluczową rolę w kodowaniu ogromnych ilości danych wizualnych, jakie generowane są przez nowoczesne przetworniki, do postaci plików o niewielkich rozmiarach. Umożliwia to zapis takich danych na niedrogich kartach pamięci, a także ich łatwą edycję/przeglądanie w komputerach/pakietach z programami do edycji. Rysunek 1 przedstawia postęp w rozwoju przetworników CMOS, w ramach którego firma Sony opracowała i wprowadziła na rynek przetwornik obrazu o prędkości transmisji danych przekraczającej 30 Gb/s. Oczekuje się, że w najbliższych latach na popularności zyskają narzędzia do przetwarzania graficznego, obsługujące wysoką rozdzielczość, duże liczby klatek na sekundę oraz dużą przepływność danych. Rysunek 2) przedstawia postęp w rozwoju technologii kart pamięci SxS i XQD. Warto zauważyć, że najnowsze karty zapewniają realną prędkość nagrywania powyżej 1Gb/s, a z biegiem czasu znacznie zwiększyła się dostępna pojemność. Natomiast stale zmniejsza się rozmiar kart. Niniejszy dokument przedstawia cechy formatu XAVC i korzyści, jakie zapewnia. Wyjaśnia także, dlaczego format XAVC sprawdza się w obecnej organizacji pracy, obok takich popularnych standardów jak: MPEG2, MPEG4 SStP i różnych plików RAW kamery. Firma Sony opracowała i wprowadziła na rynek przetwornik obrazu o prędkości transmisji danych przekraczającej 30 Gb/s. Oczekuje się, że w najbliższych latach na popularności zyskają narzędzia do przetwarzania graficznego, obsługujące wysoką rozdzielczość, duże liczby klatek na sekundę oraz dużą przepływność danych. Rysunek 2 przedstawia postęp w rozwoju technologii kart pamięci SxS i XQD. Warto zauważyć, że najnowsze karty zapewniają realną prędkość nagrywania powyżej 1Gb/s, a z biegiem czasu znacznie zwiększyła się dostępna pojemność. Natomiast stale zmniejsza się rozmiar kart. Niniejszy dokument przedstawia cechy formatu XAVC i korzyści, jakie zapewnia. Wyjaśnia także, dlaczego format XAVC sprawdza się w obecnej organizacji pracy, obok takich popularnych standardów jak: MPEG2, MPEG4 SStP i różnych plików RAW kamery.

Format XAVC

Format Sony XAVC jest zgodny ze standardem kodowania H.264 poziom 5.2, którego dane wizyjne są opakowane w standardowy kontener MXF OP-1a, wraz z towarzyszącymi danymi audio i metadanymi. Głównym celem przyjęcia formatu XAVC jest opracowanie rodziny profesjonalnych narzędzi do produkcji wideo, które w ekonomiczny sposób mogą obsługiwać formaty HD i 4K o dużej liczbie klatek/sekundę. Rysunek 3 przedstawia zakres formatu XAVC. Należy zwrócić uwagę, że ta tabela opisuje globalny zakres formatu XAVC, rzeczywisty format zastosowany w konkretnym produkcie może mieć mniejszy zakres. Z drugiej strony tabela nie uwzględnia oferowanej przez niektóre produkty możliwości zapisu z prędkością inną niż standardowa (filmowanie przyspieszone/zwolnione). Pod marką XAVC S wprowadzono też na rynek użytkowników indywidualnych format opakowywania MP4. Ta ekspansja będzie bodźcem do wzrostu popularności materiałów 4K na tym rynku.

Format XAVC i rozdzielczość 4K

Użycie systemów przetwarzania obrazów ruchomych w rozdzielczości 4K ma obecnie zastosowanie wyłącznie w kinie cyfrowym, gdzie standard wyświetlanego obrazu w architekturze DCI (Digital Cinema Initiative) posługuje się aktualnie rozdzielczością 4096 x 2160 przy częstotliwości odświeżania 24 klatki/sekundę i formatem plików JPEG2000 MXF. Wielu producentów wyświetlaczy działających na rynku konsumenckim zaczęło już wprowadzać do sprzedaży płaskie panele i systemy projekcyjne obsługujące rozdzielczość 4K przeznaczone dla domowej rozrywki. Choć może upłynąć jeszcze kilka lat, zanim telewizja naziemna będzie nadawana w rozdzielczości 4K, różni operatorzy usług kablowych/satelitarnych/sieciowych traktują rozdzielczość 4K jako nowy, atrakcyjny pod względem biznesowym sposób dostarczania treści. Obecne treści HDTV mogą zyskać dzięki wyświetlaczom 4K, ponieważ wewnętrzny proces konwersji do wyższego formatu pomoże ograniczyć widoczną na dużych wyświetlaczach strukturę pikseli i linii czy wiele strumieni HDTV może być wyświetlanych jednocześnie przy pełnej rozdzielczości. Obecnie większość cyfrowych aparatów fotograficznych, nawet tych wbudowanych w telefonach komórkowych, oferuje natywną rozdzielczość powyżej rozdzielczości HDTV. Domowy panel o rozdzielczości 4K może też służyć jako najwyższej jakości cyfrowa ramka na zdjęcie.

Rysunek 3

Zarys formatu XAVC.

ZakresRozdzielczośćLiczba klatek na sekundęKolorMaks. przepływnośćIntra / Long
4K4096 x 2160
3840 x 2160
Od 23,98p do 59,94pOd 4:2:0/8 bitów do 4:4:4/12 bitów 960 Mb/sIntra
Long
HD2048 x 1080
1920 x 1080
1440 x 1080
1280 x 720
Od 23,98p do 59,94p
50i/59,94i
Od 4:2:0/8 bitów do 4:4:4/12 bitów440 Mb/sIntra
Long
ProxyOd 23,98p do 59,94p4:2:0/8 bitów28 Mb/sLong

Ze względu na szeroki zakres możliwości działania, jakie oferuje format XAVC, pasmo przenoszenia danych wizyjnych 4K może zostać zawężone do poniżej 100 Mb/s w zależności od struktury GOP, liczby klatek/sekundę i próbkowania kolorów. Oczekuje się, że taki wydajny wybór możliwości działania znacząco poprawi doznania oferowane przez domową rozrywkę, a także znajdzie szerokie zastosowanie w rozwiązaniach B2B, gdzie przetwarzanie obrazów o wysokiej rozdzielczości ma pierwszorzędne znaczenie. Liczba aktywnych pikseli w większości wyświetlaczy domowych o rozdzielczości 4K będzie ograniczona do 3840 x 2160, czterokrotności rozdzielczości 1920 x 1080. Ten standard, określany jako Quad HD lub QFHD, różni się od standardu kinowego, w którym rozdzielczość pozioma wynosi 4096 pikseli. Format XAVC obsługuje oba formaty o rozdzielczości poziomej 4096 i 3840, umożliwiając używanie narzędzi do produkcji XAVC zarówno w zastosowaniach kinematograficznych, jak i telewizyjnych. Kamera Sony PMW-F55 zapisuje obrazy w formacie 4K XAVC z kompresją wewnątrzklatkową z przepływnością od 240 Mb/s (24P) do 600 Mb/s (60P). Serwer PWS-4400 również obsługuje te możliwości i może być wykorzystywany na platformie produkcyjnej 4K Live. Przepływność dla formatu 4K była głównym punktem dyskusji w całym procesie rozwoju. W przypadku formatu 1080i za rozsądną przepływność uważa się 100 Mb/s, ponieważ jest ona szeroko stosowana w branży nadawczej. W teorii, osiągnięcie wymaganej przepływności dla formatu 4K 60p, cztery razy pod względem rozdzielczości i dwa razy szybkości klatkowej, wymagałoby ośmiu razy większej liczby danych. W sumie daje to 800 Mb/s, jednak 25% danych może być zredukowane w oparciu o wydajność kodowania sygnału progresywnego w porównaniu do trybu z przeplotem. W celu zapewnienia zapisu obrazów przy tak wysokich przepływnościach na wydajnych kosztowo, kompaktowych mediach, firma Sony opracowała linię kart pamięci SxS Pro+. Karty pamięci SxS Pro+ są zgodne z wszystkimi urządzeniami wyposażonymi w gniazdo kart SxS i osiągają stabilną szybkość zapisu do 1,3 Gb/s. Na jednej karcie pamięci SxS Pro+ o pojemności 128 GB kamera PMW-F55 zapisuje do 50 minut materiału wideo w trybie 4K/24P lub około 20 minut w trybie 4K/60P.

XAVC, RAW i organizacja pracy ACES

Społeczność zrzeszająca organizacje zajmujące się cyfrową produkcją kinematograficzną dąży do standaryzacji wspólnego zestawu parametrów obrazu, obejmującego obrazy utrwalane na taśmie filmowej, rejestrowane przy pomocy kamer cyfrowych i generowane przez komputery. ACES (Academy Color Encoding System) to inicjatywa, której zadaniem jest stworzenie wspólnej platformy obsługi obrazów pochodzących z różnych źródeł, oferowanie maksymalnego zakresu korzystania z rezerw do operowania obrazem (korekcja koloru) oraz dążenie do osiągania spójności wizualnej, niezależnej zarówno od stosowanych zestawów narzędzi, jak i dostawców usług. Sony jest aktywnym uczestnikiem inicjatywy ACES i rozpowszechnia różne narzędzia konwertujące dane do standardu zgodnego z ACES (IDTs, Input Device Transforms) – zapewniając zgodność najwyższej klasy kamer z organizacją pracy ACES. 16-bitowa głębia plików ACES może być w pełni wykorzystana dzięki obrazom z najwyższej jakości kamer i grafice komputerowej. Zapewnia maksimum elastyczności przy korekcji kolorów w pakiecie DI (Digital Intermediate). Dlatego najnowsze kamery Sony (F65+SR-R4, PMW-F55+AXS-R5, PMW-F5+AXS-R5) mogą zapisywać liniowe pliki RAW poprzez kompaktowe, dołączane do kamery rekordery.

Rysunek 4

Porównanie rozmiarów plików z obrazem.

Gdy kamery PMW-F5/F55 rejestrują pliki RAW poprzez dołączany rekorder AXS-R5, jednocześnie gniazda kart pamięci SxS w kamerze mogą umożliwiać zapis plików XAVC w rozdzielczości HD, która doskonale odpowiada plikom RAW pod względem punktów zapisu In/Out, dźwięku, kodu czasowego i innych metadanych, łącznie z nazwami plików. Pliki XAVC uzupełniają pliki RAW jako pliki edycyjne, co umożliwia rozpoczęcie procesu edycji bezpośrednio po wyjęciu kart SxS z kamery. W celu korekcji kolorów i edycji obrazów uzyskanych z plików RAW kamery wymagany jest dodatkowy etap przetwarzania obrazów (zwykle określany jako debayerowanie lub demozaikowanie). Choć pliki RAW z kamery zapewniają maksimum swobody w tworzeniu kreatywnych obrazów, co ma ogromne znaczenie w zaawansowanej postprodukcji, mogą istnieć ograniczenia czasowe lub budżetowe. Pliki w formacie 4K XAVC mogą być traktowane jako efektywna kosztowo alternatywa dla plików RAW kamery. Jak pokazano na Rysunku 5, pliki w formacie 4K XAVC mają rozmiar zbliżony do plików o rozdzielczości HD, które obecnie są powszechnie używane. Oczekuje się, że pliki w formacie 4K XAVC będą jednym z głównych czynników przyspieszających rozwój produkcji w standardzie 4K.

Formaty XAVC i HDTV

Często mówi się o tym, że nowo opracowane algorytmy kompresji są wydajniejsze od ich poprzedników. Choć jest to prawda w tym sensie, że dana jakość obrazu może być osiągnięta przy mniejszej ilości danych (lub niższej przepływności), większa złożoność nowoczesnych schematów kodowania wymaga większych mocy obliczeniowych, co może być głównym wyzwaniem podczas migracji do infrastruktury produkcji i powiązanej organizacji pracy następnej generacji. Ilość mocy przetwarzania wymaganej do dekodowania określonego skompresowanego strumienia bitowego jest szczególnie ważna podczas używania jednocześnie wielu plików w sesji edycji.

Rysunek 5

Porównanie szybkości dekodowania programowego.

Obecnie w ogromnej większości branża nadawców telewizyjnych i producentów programów reality show obsługuje produkcje HDTV w oparciu o format MPEG2 HD Long GOP (50 Mb/s lub 35 Mb/s) ze względu na mały rozmiar plików, wysoką jakość obrazu i mniejsze wymagania w zakresie mocy obliczeniowych. Od najnowszych wiadomości po programy reality show i najważniejsze wydarzenia sportowe, przepływność danych 35 do 50 Mb/s pozwala w wygodny sposób wykorzystywać infrastrukturę HDTV opartą na plikach. Rysunek 6 pokazuje, jak skompresowane strumienie wizyjne mogą być dekodowane na danej platformie komputerowej, bez korzystania z jakichkolwiek akceleratorów sprzętowych bądź procesorów graficznych. Skala pozioma oznacza liczbę klatek/sekundę i jest oczywiste, że format MPEG2 50 Mb/s jest najszybszy (lub najbardziej wydajny) wśród wszystkich konkurentów. Ostatnio kilku nadawców zaczęło interesować się przyjęciem formatu H.264 jako swojego głównego formatu ze względu na następujące powody:

  • Konsolidacja plików wszystkich programów, od nadawanych w czasie największej oglądalności po wiadomości, przy pomocy jednego kodeka, z wykorzystaniem standardowego, powszechnie używanego w branży kontenera.
  • Próbkowanie 10-bitowe zamiast 8-bitowego, stosowanego w standardzie MPEG-2.
  • Jakość obrazu MPEG-2 50 Mb/s jest postrzegana jako niewystarczająca do zastąpienia obecnych formatów taśmowych, takich jak HDCAM.
  • Pojemność pamięci, przepustowość sieci i moc obliczeniowa stają się mniejszą przeszkodą w obsłudze wielu strumieni o dużych przepływnościach.

W trybie pracy HDTV 50p/60p format XAVC Intra zapewnia przepływność do 440 Mb/s i może być traktowany jako stadium pośrednie, które wypełnia lukę między formatem o jakości masteringowej (MPEG4 SStP lub HDCAM-SR) a MPEG2. Format XAVC odgrywa także kluczową rolę w przenośnym kamkorderze, pozwalając zaoferować tryb zapisu z bardzo wysoką liczbą klatek/sek. przy rozdzielczości HD. Kamera PMW-F55 zapisuje obrazy w pełnej rozdzielczości 1920:1080, z 10-bitową głębią koloru i próbkowaniem 4:2:2 z maks. szybkością zapisu 180 klatek/sekundę na wewnętrznych kartach pamięci SxS Pro+. Po umieszczeniu w gniazdach kart pamięci dwóch kart o pojemności 128 GB czas zapisu wydłuża się do około 40 minut przy 180 kl./s. Dążenie do utrzymania rozmiaru plików na poziomie umożliwiającym ich przetwarzanie przez obecne mechanizmy o przepustowości 35–50 Mb/s pozostanie obecne nawet przy pracy w formatach 1080-50p/60p. Preferowaną techniką osiągnięcia tego celu jest wykorzystanie formatu Long GOP — zmniejszenie plików nie pociąga wówczas za sobą obniżenia jakości obrazu. Jak widać z rys. 6, wydajność dekodowania formatów Long GOP 50 Mb/s i Intra 100 Mb/s jest podobna, mimo wymaganej większej ilości obliczeń.

Rysunek 6

Zarys formatów kompresji HDTV.

XAVC - technologia zapewniająca nowe możliwości

Więcej informacji można uzyskać, kontaktując się z nami