Nlp

Nguồn: ParlAI / Meta AI Tóm tắt Nghiên cứu từ năm 2021 của Meta AI (qua ParlAI) khảo sát câu hỏi cơ bản trong scaling LLM: tăng số lượng tham số (parameters) hay tăng lượng tính toán (computation) mỗi token có lợi hơn? Hai đại lượng này thường bị gộp chung vì trong Transformer chuẩn, chúng gắn chặt với nhau. Nhóm nghiên cứu đề xuất hai kiến trúc tách biệt hai chiều này: Hash Layers (tăng parameters không tăng FLOP) và Ladder/Staircase (tăng computation không tăng parameter count)....

Nguồn: The Morning Paper Tóm tắt Bài viết phân tích vấn đề thiên kiến (bias) trong các mô hình word embedding, dựa trên nghiên cứu học thuật về cách các biểu diễn từ ngữ trong không gian vector phản ánh và khuếch đại các định kiến xã hội có trong dữ liệu huấn luyện. Các mô hình như Word2Vec và GloVe được huấn luyện trên lượng lớn văn bản từ internet, nơi chứa đựng nhiều thiên kiến về giới tính, chủng tộc và các yếu tố nhân khẩu học khác....