[Hacker News] Talkie: a 13B vintage language model from 1930
Nguồn: Talkie LM Tóm tắt Nhóm nghiên cứu bao gồm Nick Levine, David Duvenaud và Alec Radford giới thiệu Talkie — một mô hình ngôn ngữ 13B tham số được huấn luyện hoàn toàn trên các văn bản trước năm 1931. Đây là ví dụ về “vintage language model” (mô hình ngôn ngữ cổ điển), một khái niệm được đặt ra để chỉ các mô hình LM được huấn luyện trên văn bản lịch sử nhằm mô phỏng tư duy và kiến thức của con người ở thời đại đó....