[Hacker News] 4-bit floating point FP4
Nguồn: johndcook.com Tóm tắt Bài viết giải thích định dạng số thực dấu phẩy động 4-bit (FP4), một bước tiến mới trong xu hướng giảm precision của các mô hình AI/ML. Trong khi FP32 và FP16 đã quen thuộc với cộng đồng lập trình, FP4 đặt ra thách thức thiết kế nghiêm túc: chỉ với 4 bit, không gian biểu diễn cực kỳ hạn chế — phải cân bằng giữa range và precision....