RTX Neural Texture Compression: до -85% VRAM, но с ценой в мс

RTX Neural Texture Compression (NTC) в тестах Tom’s Hardware сократила потребление памяти под текстуры до 85% в режиме Inference on Sample. Обратная сторона — дополнительная нагрузка на GPU: в бенчмарках это обычно 0,5-0,85 мс на кадр на «своих» разрешениях, а на 4K местами доходит до ~2 мс на младших картах.

Мы говорим про технологию из набора «нейрорендеринга», который Nvidia показывала вместе с линейкой RTX 50. Идея простая: текстуры хранятся в более сжатом виде, а распаковка идёт через маленькую нейросеть прямо на видеокарте. Это не генерация и не «дорисовка», NTC работает детерминированно.

Как работает RTX NTC и почему она экономит память

RTX Neural Texture Compression — это ML-сжатие и распаковка текстур, где распаковку ускоряют AI-блоки GPU (у Nvidia это Tensor Cores). В DirectX 12 у NTC три режима: Inference on Load, Inference on Sample и Inference on Feedback. В Vulkan режим Feedback не поддерживается, там остаются Load и Sample.

При сжатии исходные текстуры превращают в два компонента: веса маленькой нейросети и «латентные» признаки. Дальше различается способ распаковки.

• Inference on Sample: распаковка идёт «на лету» при семплинге. Каждый texel декодируется через небольшую MLP-сеть. Это даёт максимальную экономию VRAM, но добавляет вычислительную цену.
• Inference on Load: распаковка происходит при загрузке уровня/карты. GPU сразу транскодирует NTC-текстуры в BCn. По скорости рендера это «как BCn», то есть без штрафа в кадре. Но VRAM в итоге как у обычных block-compressed текстур.
• Inference on Feedback (только DX12): использует Sampler Feedback и распаковывает только нужные тайлы текстур под текущий ракурс. Это компромисс по VRAM и скорости, но требует дополнительной heap-памяти.

Ключевое отличие от BCn в том, что NTC может работать с материалами с высоким числом каналов: до 16 каналов за раз. Классический block compression обычно живёт в рамках 1-4 каналов.

Что показали бенчмарки: экономия VRAM до 85% и штраф в миллисекундах

Tom’s Hardware гоняли официальный sample RTX Neural Texture Compression (сцена Intel Sponza и пакет Colorful Curtains). В этом наборе Inference on Sample потребовала на 85% меньше texture memory, чем режим Inference on Load, который транскодирует в BCn для рабочей памяти.

По качеству картинка в Inference on Sample в этих тестах оказалась ближе к референсу, чем BCn-транскодинг. Но есть нюанс: для снижения артефактов NTC использует Stochastic Texture Filtering (STF), и он может давать заметный шум без сглаживания.

В тестах шум полностью убирался с DLSS. TAA чистил почти всё, но не всегда до конца. Важно, что в режиме Inference on Sample STF обязателен и отключить его нельзя.

Производительность Tom’s Hardware измеряли через добавку к времени кадра (frametime). Логика такая: sample — это только базовый forward pass плюс TAA/DLSS, а в реальной игре много проходов вообще не трогают NTC. Поэтому абсолютная прибавка в миллисекундах полезнее, чем «проценты FPS».

• GeForce RTX 5090, 4K: Inference on Sample с TAA добавлял небольшую цену относительно BCn. С DLSS накладные расходы росли, потому что DLSS тоже грузит Tensor Cores.
• GeForce RTX 5070, 1440p: разница около 0,50-0,70 мс в зависимости от сценария. В 4K — около 1,20 мс.
• GeForce RTX 5060, 1080p: примерно 0,60-0,70 мс. В 1440p — больше 1 мс, в 4K — почти 2 мс.
• RTX 4060 Laptop GPU, 1080p: около 0,70-0,85 мс.

Тестовый стенд для десктопных измерений: Ryzen 7 9800X3D, 64 ГБ DDR5-6200 CL30, SSD Crucial T700 Gen5, Windows 11 25H2 (Build 26200.8117), HAGS включён. Для NTC в DX12 использовали DirectX 12 Agility SDK 1.717.x-preview и Nvidia Developer Driver 590.26 ради Shader Model 6.9 и Cooperative Vectors.

Что Nvidia советует разработчикам: режимы на выбор и точечное применение

Инженер Nvidia и разработчик NTC Алексей Пантелеев в обсуждении технологии объяснил позицию компании по режимам. По его словам, «Inference on Sample viable only on the fastest GPUs», поэтому Nvidia и даёт режим Inference on Load — он снижает размер на диске и трафик, но не экономит VRAM.

Пантелеев описал и практический сценарий для On Sample: если игра вынуждает снижать качество текстур из-за нехватки VRAM, но при этом по скорости всё хорошо, то On Sample может дать «честный» выигрыш. И ещё один важный момент: NTC не обязана применяться ко всем текстурам. Разработчик может включать её выборочно, оставляя проблемные карты (например, отдельные displacement map) в обычном формате.

Отдельно он подтвердил роль STF: в Reference и On Load его можно переключать, а в On Sample он всегда включён. Это часть компромисса ради качества фильтрации, особенно на материалах с детальными бликами.

NTC on Feedback пока привязана к DirectX 12, потому что в Vulkan нет аналога DX12 Sampler Feedback.

По тестам Tom’s Hardware, все сценарии прогоняли на Nvidia Developer Driver 590.26, потому что Cooperative Vectors в DX12 завязаны на Agility SDK 1.717.x-preview и Shader Model 6.9.

По бенчмаркам Tom’s Hardware и комментариям Алексея Пантелеева (Nvidia).