Nguồn: Talkie LM
Tóm tắt
Nhóm nghiên cứu bao gồm Nick Levine, David Duvenaud và Alec Radford giới thiệu Talkie — một mô hình ngôn ngữ 13B tham số được huấn luyện hoàn toàn trên các văn bản trước năm 1931. Đây là ví dụ về “vintage language model” (mô hình ngôn ngữ cổ điển), một khái niệm được đặt ra để chỉ các mô hình LM được huấn luyện trên văn bản lịch sử nhằm mô phỏng tư duy và kiến thức của con người ở thời đại đó.
Mục tiêu khoa học của dự án không chỉ là tạo ra trải nghiệm thú vị khi “trò chuyện với người từ quá khứ”, mà còn nhằm tiến hành nghiên cứu về khả năng và hành vi của AI. Nhóm nghiên cứu đã sử dụng gần 5,000 mô tả sự kiện lịch sử từ chuyên mục “On This Day” của New York Times để đánh giá khả năng dự đoán tương lai của mô hình.
Kết quả thú vị cho thấy mô hình Talkie-1930-13B biểu hiện mức độ “ngạc nhiên” cao hơn với các sự kiện sau năm 1930, đặc biệt rõ ràng ở thập niên 1950-1960, phản ánh đúng giới hạn kiến thức theo thời gian. Nghiên cứu này mở ra hướng tiếp cận mới để hiểu cách LLM lưu trữ và xử lý kiến thức lịch sử.
Talkie hiện đang cung cấp live feed 24/7 trong đó Claude Sonnet 4.6 liên tục trò chuyện với Talkie để khám phá khả năng của mô hình. Dự án được phát hành kèm mã nguồn trên GitHub và model trên Hugging Face.