Phân tích kết quả: ranh giới giữa khám phá và tự lừa mình

Giai đoạn phân tích là lúc bạn cuối cùng cũng thấy dữ liệu nói gì. Nó cũng là lúc dễ tự lừa mình nhất — và điều đó thường xảy ra mà người làm không nhận ra.

Cái bẫy trung tâm

Với cùng một bộ dữ liệu, có nhiều cách phân tích đều hợp lý: loại giá trị bất thường hay giữ, chia nhóm thế nào, dùng phép kiểm định nào, xử lý dữ liệu thiếu ra sao.

Nếu bạn thử nhiều cách rồi báo cáo cách cho kết quả đẹp nhất, xác suất tìm ra kết quả giả tăng mạnh — và phần lớn người làm điều này không cố ý gian lận. Họ chỉ nghĩ rằng cách kia hợp lý hơn, sau khi đã thấy nó cho kết quả tốt hơn.

Cách phòng: quyết định cách phân tích trước khi xem dữ liệu. Ghi lại quyết định đó. Nếu ngành bạn có cơ chế đăng ký trước thiết kế nghiên cứu, hãy dùng.

Chuẩn bị trước khi phân tích

• Viết kế hoạch phân tích khi còn thiết kế nghiên cứu — bạn sẽ dùng phép nào, so sánh gì với gì.
• Xác định tiêu chí loại dữ liệu trước, không phải sau khi xem.
• Hỏi chuyên gia thống kê trước khi thu thập, không phải sau. Đây là lời khuyên được nhắc nhiều nhất và ít được nghe nhất — sau khi thu xong, nhiều vấn đề không sửa được nữa.
• Làm sạch dữ liệu có ghi chép — mọi thao tác được ghi lại và có thể chạy lại.

Làm sạch dữ liệu

• Không sửa dữ liệu thô — mọi xử lý tạo tệp mới.
• Kiểm tra giá trị bất thường và tìm hiểu nguyên nhân trước khi quyết định — lỗi nhập liệu khác với giá trị thật hiếm gặp.
• Ghi lại mọi quyết định — đã loại bao nhiêu, vì sao, theo tiêu chí nào.
• Báo cáo số lượng ở mỗi bước — bắt đầu bao nhiêu, còn lại bao nhiêu sau mỗi lần lọc.
• Xử lý dữ liệu thiếu theo cách đã định trước, và nêu rõ trong luận văn.

Các cái bẫy thường gặp

Thử nhiều phép cho tới khi có kết quả. Nếu bạn thử đủ nhiều, sẽ có phép nào đó cho kết quả — nhưng kết quả đó có thể chỉ là ngẫu nhiên.

Chia nhóm sau khi xem dữ liệu để tìm ra nhóm nào có khác biệt.

Đặt giả thuyết sau khi thấy kết quả rồi trình bày như đã dự đoán từ đầu. Cả kiểm định giả thuyết đặt trước lẫn khám phá đều hợp lệ — vấn đề chỉ nảy sinh khi trình bày cái sau như cái trước.

Bỏ dữ liệu không phù hợp với tiêu chí nghĩ ra sau.

Dừng thu thập khi kết quả đã đẹp hoặc thu thêm cho tới khi nó đẹp.

Nhầm ý nghĩa thống kê với ý nghĩa thực tiễn. Một khác biệt có thể có ý nghĩa thống kê nhưng quá nhỏ để có ý nghĩa thực tế — đặc biệt dễ xảy ra với mẫu lớn.

Nhầm tương quan với nhân quả — lỗi phổ biến nhất trong phần diễn giải.

Không tìm thấy khác biệt không đồng nghĩa với không có khác biệt — có thể nghiên cứu của bạn không đủ khả năng phát hiện.

Diễn giải trung thực

• Kết luận trong phạm vi dữ liệu cho phép. Nếu bạn nghiên cứu một nhóm cụ thể, kết luận áp dụng cho nhóm đó.
• Dùng từ đúng mức — cho thấy, gợi ý, phù hợp với khác với chứng minh.
• Nêu các giải thích thay thế cho kết quả của bạn — nếu bạn không nêu, người phản biện sẽ nêu.
• Nêu giới hạn thẳng thắn. Điều này tăng chứ không giảm độ tin cậy, và nó cho thấy bạn hiểu công trình của mình.
• Đặt kết quả trong bối cảnh các nghiên cứu khác — khớp hay khác, và vì sao.
• Phân biệt rõ kết quả với suy luận của bạn.

Khi kết quả không như mong đợi

Tình huống gây hoang mang nhất, và nó rất phổ biến:

• Kết quả không như giả thuyết vẫn là kết quả. Nó không phải thất bại và cần được báo cáo.
• Kiểm tra kỹ trước khi kết luận — có lỗi trong dữ liệu không, có lỗi trong mã không, phép phân tích có đúng không.
• Nhờ người khác chạy lại nếu có thể.
• Tìm hiểu vì sao — đây thường là phần thú vị nhất của luận văn.
• Nói với người hướng dẫn sớm — có thể cần điều chỉnh câu hỏi hoặc bổ sung phân tích.
• Đừng ép dữ liệu ra kết quả bạn muốn.

Điểm đáng nói: nhiều hội đồng đánh giá cao một luận văn báo cáo trung thực kết quả không như dự đoán, kèm phân tích tốt về vì sao — hơn là một luận văn có kết quả đẹp nhưng phân tích hời hợt.

Trình bày kết quả

• Trình bày kết quả, không diễn giải ở phần kết quả — diễn giải thuộc về phần bàn luận.
• Theo thứ tự logic, không nhất thiết theo thứ tự bạn làm.
• Mỗi hình trả lời một câu hỏi — nếu bạn không nói được câu hỏi đó là gì, hình chưa cần thiết.
• Chú thích hình đứng độc lập được.
• Nêu độ không chắc chắn — sai số, khoảng tin cậy, tuỳ ngành.
• Không cắt trục theo cách phóng đại khác biệt.
• Không dùng chỉ màu để phân biệt — luận văn có thể được in đen trắng.
• Báo cáo cả kết quả không có khác biệt, không chỉ phần có.

Kiểm tra lại trước khi nộp

• Đối chiếu mọi con số trong bài với dữ liệu gốc, không đối chiếu với bản nháp trước — lỗi sao chép giữa các bản là rất phổ biến.
• Kiểm tra tổng cộng lại có đúng không — số lượng ở các bảng có nhất quán không.
• Chạy lại phân tích từ đầu trên máy khác nếu có thể — bước này phát hiện ra nhiều vấn đề.
• Nhờ người khác kiểm tra một phần.
• Kiểm tra hình có khớp với con số trong bài không.

Nếu phát hiện lỗi sau khi nộp

• Báo ngay với người hướng dẫn — che giấu gây hậu quả nặng hơn nhiều.
• Xác định mức ảnh hưởng — lỗi có làm thay đổi kết luận không?
• Sửa và nêu rõ theo quy trình của cơ sở.
• Việc tự phát hiện và báo lỗi được đánh giá tích cực, không phải ngược lại.

Một điều đáng nhớ

Trong giai đoạn phân tích, bạn là người duy nhất biết mình đã thử bao nhiêu cách trước khi chọn cách báo cáo.

Đó chính là lý do các thực hành như quyết định trước, ghi chép lại, và báo cáo đầy đủ quan trọng — chúng không phải để chứng minh với ai, mà để bảo vệ bạn khỏi việc tự thuyết phục mình rằng cách cho kết quả đẹp cũng là cách đúng.

Câu hỏi thường gặp