Nghiên cứu: Sự cải thiện hiệu suất tiền huấn luyện từ năm 2019 đến 2025 chủ yếu đến từ dữ liệu
Dwarkesh Patel và Jerry Han đã công bố nghiên cứu vào ngày 8 tháng 9 năm 2026, phân tích những đóng góp của dữ liệu và cải tiến mô hình trong tiến trình tiền huấn luyện từ năm 2019 đến 2025. Nghiên cứu được thực hiện trên quy mô nhỏ, tập trung vào tiền huấn luyện, với các công thức mô hình và dữ liệu công khai tương ứng với từng năm, và được huấn luyện trên quy mô tính toán lên tới 1e19 FLOPs.Kết quả cho thấy, dưới ngân sách tính toán 1e19 FLOPs, lợi ích về hiệu suất tính toán từ cải tiến dữ liệu là 12.0 lần, cải tiến mô hình là 3.7 lần, lợi ích từ phía dữ liệu khoảng 3.24 lần so với phía mô hình. Lợi ích từ cải tiến dữ liệu và mô hình chủ yếu độc lập, gần như không tương tác, hiệu ứng cộng tính của cả hai có thể giải thích 88% phương sai của điểm OLMES dưới mô hình tuyến tính.Phía mô hình đã tiến hóa từ GPT-2 đến OLMo-2, bao gồm các bộ tối ưu, mã hóa vị trí, chuẩn hóa, hàm kích hoạt và khởi tạo. Phía dữ liệu đã tiến hóa từ khoảng 9 tỷ token của OpenWebText vào năm 2019, đến các tập dữ liệu lớn hơn và được lọc tinh vi hơn như UltraFineWeb vào năm 2025.
