Nguồn: johndcook.com Tóm tắt Bài viết giải thích định dạng số thực dấu phẩy động 4-bit (FP4), một bước tiến mới trong xu hướng giảm precision của các mô hình AI/ML. Trong khi FP32 và FP16 đã quen thuộc với cộng đồng lập trình, FP4 đặt ra thách thức thiết kế nghiêm túc: chỉ với 4 bit, không gian biểu diễn cực kỳ hạn chế — phải cân bằng giữa range và precision....
Nguồn: Google Engineering Blog Tóm tắt Google thông báo MaxText, framework training LLM của mình, giờ đây hỗ trợ Supervised Fine-Tuning (SFT) và Reinforcement Learning (RL) trên cấu hình single-host TPU (v5p-8 và v6e-8). Đây là bước tiến quan trọng vì trước đây post-training thường yêu cầu cluster nhiều host, làm tăng chi phí và phức tạp infrastructure đáng kể. SFT trong MaxText tích hợp native với Hugging Face datasets, hỗ trợ load checkpoint từ cả MaxText lẫn Hugging Face (như Gemma 3), và được tối ưu bằng thư viện Tunix — một JAX-based library thiết kế riêng cho post-training efficiency....