FFmpeg 9.1 erfindet Bilder dazu – wenn eine Nvidia-GPU hilft
Das FFmpeg-Team hat Version 9.1 „Gauss“ veröffentlicht. Das Update überarbeitet den nativen AAC-Encoder, ergänzt die GPU-Verarbeitung und erweitert die Unterstützung für LCEVC sowie HDR-Bilder.
AAC-Encoder verteilt Bits neu
Die Überarbeitung des nativen AAC-Encoders betrifft unter anderem die Bitratensteuerung, die Bitzuweisung für Stereokanäle und psychoakustische Verfahren. Der Encoder verteilt die verfügbaren Bits bei schnellen Signaländerungen und unterschiedlichen Anforderungen beider Kanäle nun gezielter. Eine Änderung betrifft Aufrufe mit niedrigen Bitraten: Unter 80 kbit/s in Stereo weist der Encoder darauf hin, die Abtastrate per -ar 32000 selbst auf 32 kHz zu reduzieren.
Außerdem erhält FFmpeg einen Encoder für xHE-AAC über die externe Bibliothek libfdk-xhe-aac. Sie ist von der bisherigen FDK-AAC-Bibliothek getrennt und muss beim Kompilieren von FFmpeg eingebunden werden – der native aac-Encoder übernimmt diese Aufgabe nicht. xHE-AAC ist eine jüngere Variante der AAC-Familie, die Sprache und Musik auch bei niedrigen Bitraten kodieren kann.
Vulkan-Encoder und berechnete Zwischenbilder
Für den Advanced Professional Video Codec (APV) kommt ein GPU-Encoder auf Vulkan-Basis hinzu. APV richtet sich an professionelle Aufnahme- und Nachbearbeitungs-Workflows. FFmpeg konnte das Format seit Version 9.0 über Vulkan dekodieren, Version 9.1 ergänzt nun die Gegenrichtung.
Der neue Filter fruc_vulkan erhöht die Bildrate durch Zwischenbildberechnung. Anders als beim bloßen Wiederholen vorhandener Frames schätzt er Bewegungen zwischen Bildern und erzeugt daraus zusätzliche Frames. Die Bewegungsanalyse nutzt Nvidias Vulkan-Erweiterung VK_NV_optical_flow, die Interpolation implementiert FFmpeg selbst. Dafür muss die Nvidia-GPU diese Erweiterung unterstützen – eine beliebige Vulkan-fähige Grafikkarte reicht nicht.
Auch beim Nvidia-Transcoding ergänzt FFmpeg einen neuen Verarbeitungspfad. Block-linear gespeicherte CUDA-Oberflächen, sogenannte CUDA-Arrays, lassen sich direkt vom NVDEC-Decoder an den NVENC-Encoder weiterreichen. Damit entfällt die bisher nötige Zwischenkopie in ein anderes GPU-Speicherlayout. Dieser Pfad setzt entsprechende Schnittstellen des Video Codec SDK ab Version 13.1 voraus.
Das ONNX-Runtime-Backend der DNN-Filter erhält außerdem einen D3D12/DirectML-Zero-Copy-Pfad. In passenden Windows-Pipelines können die Bilddaten für die Inferenz auf der GPU bleiben, statt zwischen Grafik- und Hauptspeicher zu wechseln. Auf AMD-Seite bindet der neue Filter vqe_amf die Bildverbesserung des Advanced Media Framework mit einstellbarer Filterstärke ein.
LCEVC mit getrennten Spuren, HDR mit Gain Maps
Das Kommandozeilenwerkzeug ffmpeg kann nun auch LCEVC-Material verarbeiten, bei dem Basisvideo und Erweiterungsdaten in getrennten Spuren liegen. LCEVC ergänzt ein herkömmlich kodiertes Basisvideo um zusätzliche Bildinformationen, statt den Basiscodec zu ersetzen. Ein neuer Bitstream-Filter führt die LCEVC-Nutzdaten mit dem Basisstream zusammen. Außerdem kann der MPEG-TS-Muxer LCEVC-Spuren schreiben.
Für HDR-Fotos ergänzt FFmpeg einen gainmap-Filter und einen JPEG-MPF-Muxer. Der Filter berechnet aus zwei Bildvarianten eine Gain Map; der Muxer speichert das JPEG-Basisbild und die ebenfalls als JPEG kodierte Gain Map gemeinsam in einer Multi-Picture-Format-Datei. Die Gain Map beschreibt, wie sich das Basisbild in eine alternative Darstellung umrechnen lässt – beispielsweise von SDR zu HDR. Hinzu kommt ein Demuxer zum Einlesen solcher JPEG-MPF-Dateien.
Neuer HTTP-Client und experimentelle Filter-API
Mit einem optionalen HTTP/HTTPS-Client auf Basis von libcurl erschließt FFmpeg zusätzliche Netzwerkfunktionen. Dazu zählen HTTP/2, HTTP/3 und SOCKS5-Proxys, abhängig vom eingebundenen libcurl-Build. Der bisherige HTTP-Client bleibt Standard. Anwender wählen den neuen Client ausdrücklich aus, etwa über die Option prefer_libcurl.
Für Entwickler steht eine experimentelle graphbasierte Bitstream-Filter-API bereit. Damit lassen sich Bitstream-Filter als Graph verbinden. Sie arbeiten auf bereits komprimierten Medienpaketen, ohne sie zu dekodieren. Die Schnittstelle ist deshalb von den bestehenden Audio- und Video-Filtergraphen zu unterscheiden, die dekodierte Frames verarbeiten.
Weitere Formate und gezieltere Geräteauswahl
Über libastcenc kann FFmpeg nun ASTC-Bilder kodieren und dekodieren sowie .astc- und KTX-1.0-Dateien lesen und schreiben. ASTC ist ein Format zur Texturkomprimierung, das unter anderem 3D-Anwendungen nutzen. Außerdem ergänzt die Version Decoder für Panasonic-RW2-Rohbilder und DVD-Audio-LPCM sowie einen DSD-Encoder namens dsd_msbf.
Der H.264-Decoder unterstützt jetzt auch Data Partitioning. Dabei verteilen bestimmte Streams die Daten eines Slices auf mehrere NAL-Einheiten. Die Erweiterung verbessert die Kompatibilität mit entsprechend kodiertem Material, wie es beispielsweise einzelne Überwachungskameras erzeugen.
Unter macOS lassen sich AVFoundation-Eingabegeräte zusätzlich über ihre eindeutige ID oder USB-Seriennummer auswählen. Diese halten gleichnamige Kameras oder Capture-Geräte eindeutig auseinander. Entfernt haben die Entwickler dagegen den Demuxer asf_o. Die ASF-Unterstützung insgesamt entfällt damit nicht.
Den Quellcode sowie Links zu den Release Notes und zum Changelog von FFmpeg 9.1 stellt das Projekt auf seiner Downloadseite bereit.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.