Tracked topic
… Looking ahead, the NVIDIA Rubin platform delivers large leaps in NVFP4 capability for training and inference, offering 35 petaFLOPS of NVFP4 training compute, and 50 petaFLOPs of NVFP4 Transformer Engine inference compute. …
… Selective BF16 layers are essential for NVFP4: Ablation studies show that fully NVFP4 models diverge. Stable training requires keeping some layers in BF16, particularly near the end of the network, to mitigate NVFP4 quantization error. …
… To enable it, set the quantization flag in MaxText to switch into the NVFP4 path. Two modes are exposed: quantization=te nvfp4 : NVFP4 with Random Hadamard Transform. Recommended when the convergence under te nvfp4 no rht is not satisfactory. quantization=te nvfp4 no rht : NVFP4 without RHT. …
… BF16 and NVFP4 The model is available today on Hugging Face with BF16 checkpoints, and an NVFP4 quantized checkpoint for DiffusionGemma is also available using NVIDIA Model Optimizer . …
…これにより、パラメーターのオーバーヘッドを最小限に抑えながら、トレーニングの安定性を向上させます。ヘッドは、オフセット固有のショートカットに分裂するのではなく、一貫した継続に合意できるようになります。 同様の重み共有により、独立してトレーニングされたヘッドが通常劣化するような長いドラフト長においても、投機的ドラフトの一貫性が向上します。 ネイティブ NVFP4 事前トレーニング ほとんどの量子化モデルは、全精度で計算を開始し、トレーニング後に圧縮されるため、精度の低下は避けられないものです。 Super では別のアプローチを採用しています。事前トレーニング中の浮動小数点乗算/累積演算の大部分は NVFP4 、すなわち NVIDIA 4 ビット浮動小数点形式で実行されています。 Blackwell 向けに最適化されたこの手法は、精度を維持しながら、FP8 と比較してメモリ要件を大幅に削減しながらも、推論を高速化します。 低精度でネイティブにトレーニングを行うことは…
… NVFP4 양자화 체크포인트가 곧 출시될 Blackwell부터 Jetson 플랫폼까지, 개발자는 속도·보안·비용 요구사항에 맞는 유연성을 갖추고 이 고정밀 멀티모달 모델을 빠르게 배포할 수 있습니다. …
… First, clone the Model Optimizer repository for the quantization example: git clone https://github.com/NVIDIA/TensorRT-Model-Optimizer.git -b 0.37.0 Step 3: Quantize the model Next, execute the Hugging Face example script with the chosen model and quantization format—in this case, Llama 3.1 8B Inst… …
… NVFP4 양자화와 함께 최대 9.2배 실효 시스템 용량을 제공해요. 8 MIN READ 2026년 4월 11일 Gemma 4로 에지·온디바이스 AI 실현 — NVIDIA 전 플랫폼 완전 지원 Google Gemma 4 멀티모달·다국어 모델 패밀리가 출시됐습니다. 데이터센터의 NVIDIA Blackwell부터 에지의 Jetson까지 전 플랫폼을 지원하며, NVFP4 양자화·NIM 마이크로서비스·NeMo 파인튜닝으로 지금 바로 시작해 보세요. …
… From a user’s perspective, comparing backends is a one-flag change: TensorRT LLM aiconfigurator cli default \ --model-path nvidia/Qwen3-32B-NVFP4 \ --total-gpus 64 --system b200 sxm \ --backend trtllm SGLang aiconfigurator cli default \ --model-path nvidia/Qwen3-32B-NVFP4 \ --total-gpus 64 --system… …
… NVFP4 precision The same NVFP4 checkpoint runs on NVIDIA Hopper, NVIDIA Blackwell, and Ampere GPUs. Developers can use one checkpoint across all NVIDIA GPU architectures thanks to specialized NVFP4 quantization kernels. …