Trong hơn một thập kỷ qua, nhiều lĩnh vực đã tiến hành các nỗ lực lặp lại có hệ thống các nghiên cứu đã công bố — và phát hiện một tỉ lệ đáng kể không cho ra kết quả tương tự.
Điều quan trọng cần nói ngay: nguyên nhân chủ yếu không phải gian lận. Nó nằm ở các thực hành thông thường mà mọi người đều làm, và ở cách hệ thống khen thưởng.
Phân biệt các khái niệm
- Tái tạo — chạy lại phân tích trên chính dữ liệu gốc và ra cùng kết quả. Nếu điều này thất bại thì có vấn đề trong mã hoặc trong mô tả.
- Tái lập — làm lại nghiên cứu với dữ liệu mới theo cùng phương pháp và ra kết luận tương tự.
- Khái quát hoá — kết quả có đúng trong bối cảnh khác không.
Ba mức này khác nhau, và việc một nghiên cứu không khái quát hoá được không có nghĩa nó sai.
Các nguyên nhân hệ thống
Thiên lệch công bố. Kết quả dương tính dễ được đăng hơn kết quả âm tính. Hệ quả: tài liệu công bố không phản ánh toàn bộ nghiên cứu đã thực hiện, và các kết quả may mắn xuất hiện nhiều hơn thực tế.
Áp lực số lượng. Đánh giá dựa trên số bài khuyến khích công bố nhanh và nhiều, thay vì kỹ và chắc.
Cỡ mẫu nhỏ. Nghiên cứu nhỏ dễ ra kết quả may rủi, và kết quả từ nghiên cứu nhỏ có xác suất đúng thấp hơn nhiều so với người ta tưởng.
Nhiều lựa chọn trong phân tích. Với cùng một bộ dữ liệu, có rất nhiều cách phân tích hợp lý. Nếu thử nhiều cách rồi báo cáo cách cho kết quả đẹp nhất, xác suất tìm ra kết quả giả tăng mạnh — và điều này thường được làm mà không ai cố ý gian lận.
Đặt giả thuyết sau khi thấy kết quả rồi trình bày như thể đã dự đoán từ đầu.
Mô tả phương pháp không đủ chi tiết để người khác làm lại được.
Ít động lực để lặp lại nghiên cứu của người khác — công việc này khó công bố và ít được ghi nhận.
Những gì bạn làm được
Trước khi thu thập dữ liệu:
- Đăng ký trước thiết kế nghiên cứu nếu ngành bạn có cơ chế này — nêu giả thuyết, phương pháp và cách phân tích trước khi nhìn thấy dữ liệu. Đây là biện pháp hiệu quả nhất.
- Tính cỡ mẫu cần thiết thay vì lấy theo khả năng.
- Quyết định cách phân tích trước.
- Nêu rõ tiêu chí loại dữ liệu từ đầu.
Trong quá trình làm:
- Ghi lại mọi quyết định về xử lý dữ liệu và lý do.
- Dùng mã có thể chạy lại thay vì thao tác thủ công.
- Quản lý phiên bản của dữ liệu và mã.
- Không sửa dữ liệu thô.
Khi viết:
- Mô tả phương pháp đủ để làm lại — đây là tiêu chuẩn, không phải mong muốn.
- Nêu rõ phần nào là kiểm định giả thuyết đặt trước và phần nào là khám phá. Cả hai đều hợp lệ; vấn đề chỉ nảy sinh khi trình bày cái sau như cái trước.
- Báo cáo cả kết quả không như mong đợi.
- Nêu giới hạn một cách thẳng thắn — người đọc có kinh nghiệm đánh giá cao điều này.
- Không phóng đại mức độ chắc chắn.
- Chia sẻ dữ liệu và mã ở mức có thể.
Về việc lặp lại nghiên cứu của người khác
- Đây là đóng góp có giá trị, dù hệ thống ghi nhận chưa tương xứng.
- Liên hệ tác giả gốc trước — họ có thể cung cấp chi tiết không có trong bài, và cách tiếp cận hợp tác cho kết quả tốt hơn nhiều so với đối đầu.
- Nếu không tái lập được, đó chưa phải kết luận rằng bài gốc sai — có thể do khác biệt trong điều kiện, mẫu, hoặc chi tiết không được mô tả.
- Trình bày một cách khách quan, không như một sự vạch trần.
- Một số tạp chí nay khuyến khích đăng nghiên cứu lặp lại — tìm hiểu trong ngành bạn.
Nếu công trình của bạn không được tái lập
- Đừng phản ứng phòng thủ ngay.
- Hợp tác — cung cấp dữ liệu, mã, chi tiết phương pháp.
- Tìm hiểu khác biệt giữa hai nghiên cứu.
- Nếu phát hiện lỗi của mình, đính chính — xem bài về xử lý sai sót.
- Nếu không tìm ra nguyên nhân, nói rõ điều đó. Sự không chắc chắn được nêu ra trung thực có giá trị hơn một lời khẳng định.
- Nhớ rằng điều này xảy ra với những người làm việc cẩn thận nhất.
Với người đánh giá và người hướng dẫn
- Coi trọng chất lượng hơn số lượng trong đánh giá.
- Ghi nhận nghiên cứu lặp lại và kết quả âm tính như đóng góp thật.
- Yêu cầu chia sẻ dữ liệu và mã khi phản biện.
- Dạy các thực hành này cho nghiên cứu sinh từ đầu — thói quen hình thành sớm thì bền.
- Không gây áp lực về kết quả — người hướng dẫn kỳ vọng một kết quả cụ thể là nguồn áp lực khiến người học làm những việc họ biết là không đúng.
Cách nhìn cân bằng
Để không rơi vào bi quan quá mức:
- Việc phát hiện ra vấn đề này là dấu hiệu khoa học đang hoạt động đúng — nó tự kiểm tra và tự sửa.
- Nhiều thay đổi tích cực đã diễn ra — đăng ký trước thiết kế, chia sẻ dữ liệu, yêu cầu minh bạch từ tạp chí.
- Không phải mọi kết quả không tái lập được đều sai — khoa học vốn khó và nhiều yếu tố ảnh hưởng.
- Một nghiên cứu đơn lẻ chưa bao giờ là bằng chứng đủ — điều này đúng trước khi có cuộc thảo luận này.
Một điều đáng nhớ
Các thực hành làm tăng khả năng tái lập — đăng ký trước, chia sẻ dữ liệu và mã, báo cáo đầy đủ — đều tốn thêm công sức và không mang lại lợi ích ngắn hạn nào cho người làm.
Nhưng chúng là điều phân biệt giữa một kết quả được công bố và một kết quả đáng tin — và về lâu dài, đó chính là thứ tạo nên uy tín của một nhà nghiên cứu.
Câu hỏi thường gặp
Nguyên nhân chính của vấn đề tái lập là gì?
Chủ yếu không phải gian lận mà là các thực hành thông thường và cách hệ thống khen thưởng — thiên lệch công bố, áp lực số lượng, cỡ mẫu nhỏ, và nhiều lựa chọn trong phân tích.
Vì sao thử nhiều cách phân tích lại là vấn đề?
Vì với cùng một bộ dữ liệu có rất nhiều cách phân tích hợp lý — nếu thử nhiều cách rồi báo cáo cách cho kết quả đẹp nhất thì xác suất tìm ra kết quả giả tăng mạnh, dù không ai cố ý gian lận.
Biện pháp hiệu quả nhất là gì?
Đăng ký trước thiết kế nghiên cứu nếu ngành có cơ chế này — nêu giả thuyết, phương pháp và cách phân tích trước khi nhìn thấy dữ liệu.
Kết quả khám phá có được công bố không?
Có, cả kiểm định giả thuyết đặt trước lẫn khám phá đều hợp lệ. Vấn đề chỉ nảy sinh khi trình bày kết quả khám phá như thể đã dự đoán từ đầu.
Công trình của tôi không được tái lập thì sao?
Đừng phản ứng phòng thủ, hãy hợp tác cung cấp dữ liệu và chi tiết phương pháp, tìm hiểu khác biệt giữa hai nghiên cứu. Điều này xảy ra với cả những người làm việc cẩn thận nhất.
