Một kết quả "có ý nghĩa thống kê" nghĩa là khác biệt bạn thấy khó có thể chỉ do may rủi tạo ra, nếu thật ra không có khác biệt nào. Nó không có nghĩa là khác biệt đó lớn, quan trọng hay đáng để hành động. Giá trị p là con số dùng để đo mức "khó có thể do may rủi" đó: p càng nhỏ, càng khó giải thích kết quả bằng ngẫu nhiên.
Khái niệm này xuất hiện ngày càng nhiều trong báo cáo văn phòng, vì công cụ thử nghiệm quảng cáo, công cụ gửi tin nhắn và trợ lý AI đều có thể tự in ra chữ "có ý nghĩa" hoặc một giá trị p. Bài này giải thích bằng ví dụ cửa hàng, không dùng công thức, và chỉ ra những cách diễn giải sai phổ biến để bạn đọc kết quả cho đúng.
Điểm xuất phát: số liệu luôn dao động
Ví dụ giả định: bạn gửi hai mẫu tin nhắn khuyến mãi cho hai nhóm khách cũ, mỗi nhóm 500 người được chia ngẫu nhiên. Mẫu A có 40 người quay lại mua, mẫu B có 52 người. Tỉ lệ 8% so với 10,4%. Câu hỏi là: mẫu B thật sự tốt hơn, hay chỉ là lần này nhóm B tình cờ có nhiều khách sắp mua sẵn?
Câu hỏi này tồn tại vì ngay cả khi gửi cùng một mẫu tin nhắn cho hai nhóm ngẫu nhiên, số người quay lại cũng sẽ không bằng nhau. Có nhóm 45, có nhóm 48, có nhóm 41, chỉ do ai rơi vào nhóm nào. Phần chênh lệch đó là dao động ngẫu nhiên, và nó luôn có mặt.
Ý nghĩa thống kê là cách trả lời câu hỏi: mức chênh 12 người mình thấy có lớn hơn mức dao động thông thường đó nhiều không. Nếu nhiều, ta nói khác biệt có ý nghĩa thống kê. Nếu không, ta nói chưa đủ bằng chứng, chứ không nói hai mẫu bằng nhau.
Giá trị p nói nôm na
Giá trị p trả lời một câu hỏi rất cụ thể: giả sử thật ra hai mẫu tin nhắn hiệu quả như nhau, thì xác suất thấy một mức chênh lớn như mức mình thấy, hoặc lớn hơn, chỉ do chia nhóm ngẫu nhiên là bao nhiêu. Nếu xác suất đó rất nhỏ, giả sử "hai mẫu như nhau" trở nên khó tin.
Ngưỡng hay dùng là 0,05, tức 5%. Kết quả có p nhỏ hơn 0,05 thường được gọi là có ý nghĩa thống kê. Ngưỡng này là một quy ước lâu đời trong nghiên cứu, không phải một định luật tự nhiên; nhiều nhà thống kê đã phê phán việc dùng nó như ranh giới đúng sai tuyệt đối. Kết quả p bằng 0,049 và 0,051 gần như mang cùng một lượng bằng chứng, dù một cái được gọi là có ý nghĩa và cái kia thì không.
Với ví dụ trên, tính theo các phép kiểm định phổ biến cho hai tỉ lệ, mức chênh 8% so với 10,4% trên hai nhóm 500 người cho giá trị p khoảng 0,19 (ví dụ giả định, bạn nên tự kiểm bằng công cụ). Nghĩa là nếu hai mẫu như nhau, mức chênh cỡ này vẫn xảy ra khá thường xuyên. Kết luận đúng là: chưa đủ bằng chứng nói mẫu B tốt hơn; muốn biết chắc hơn, cần nhóm lớn hơn hoặc chạy thêm.
Những điều giá trị p KHÔNG nói
Đây là phần quan trọng nhất của bài, vì phần lớn diễn giải sai, của người lẫn của trợ lý AI, rơi vào các điểm dưới đây:
- Không phải xác suất giả thuyết của bạn đúng: p bằng 0,03 không có nghĩa là có 97% khả năng mẫu B tốt hơn.
- Không đo độ lớn của khác biệt: với mẫu rất lớn, một chênh lệch nhỏ đến mức vô nghĩa về kinh doanh vẫn có thể có p rất nhỏ.
- Không chứng minh không có khác biệt: p lớn chỉ nói chưa đủ bằng chứng, không nói hai thứ bằng nhau.
- Không sửa được dữ liệu lệch: nếu hai nhóm không được chia ngẫu nhiên, p tính ra không còn mang nghĩa như trên.
- Không đứng vững khi thử quá nhiều lần: thử hai mươi biến thể, rất có thể sẽ có một biến thể đạt p nhỏ hơn 0,05 chỉ do may rủi.
- Không thay cho phán đoán kinh doanh: có ý nghĩa thống kê nhưng chi phí áp dụng lớn hơn lợi ích thì vẫn không nên làm.
Nếu chỉ nhớ một điều, hãy nhớ điểm thứ hai: "có ý nghĩa thống kê" khác "có ý nghĩa kinh doanh". Một báo cáo tốt luôn nêu cả hai: khác biệt có thật không, và nếu thật thì lớn bao nhiêu.
Khoảng tin cậy: con số hữu ích hơn giá trị p
Thay vì chỉ hỏi "có khác biệt không", hỏi "khác biệt khoảng bao nhiêu" thường hữu ích hơn. Khoảng tin cậy trả lời câu đó: nó cho một khoảng giá trị mà khác biệt thật nhiều khả năng nằm trong đó. Ví dụ giả định: chênh lệch tỉ lệ quay lại giữa hai mẫu ước tính là 2,4 điểm phần trăm, khoảng tin cậy từ trừ 1,2 đến cộng 6 điểm phần trăm.
Đọc khoảng này bạn thấy ngay nhiều điều. Khoảng chứa cả số âm, nên không loại được khả năng mẫu B thật ra kém hơn A một chút. Khoảng cũng chứa những giá trị khá lớn, nên mẫu B có thể tốt hơn đáng kể. Và khoảng rất rộng, nghĩa là dữ liệu chưa đủ để ước lượng chính xác. Ba thông tin đó giúp quyết định nhiều hơn là một dòng "không có ý nghĩa thống kê".
Khi nhờ trợ lý AI phân tích kết quả thử nghiệm, yêu cầu nó đưa khoảng tin cậy của mức chênh, không chỉ giá trị p. Cách diễn giải chặt chẽ của khoảng tin cậy có chỗ tinh tế mà sách thống kê bàn kỹ; ở mức ra quyết định hằng ngày, đọc nó như "khoảng hợp lý của khác biệt thật" là đủ dùng.
AI diễn giải ý nghĩa thống kê: câu sai và câu đúng
Bảng dưới đặt cạnh nhau những câu thường gặp trong báo cáo do AI soạn và cách viết chính xác hơn, dùng cùng ví dụ giả định về hai mẫu tin nhắn.
| Câu hay gặp | Vấn đề | Cách viết chính xác hơn |
|---|---|---|
| Mẫu B hiệu quả hơn 30% | Lấy tỉ lệ thay đổi trên một mẫu nhỏ, không nêu độ bất định | Mẫu B có tỉ lệ cao hơn 2,4 điểm phần trăm, khoảng tin cậy rộng, chưa đủ để kết luận |
| Kết quả có 81% khả năng đúng | Hiểu sai giá trị p thành xác suất giả thuyết đúng | Giá trị p khoảng 0,19: mức chênh này hay gặp ngay cả khi hai mẫu như nhau |
| Hai mẫu hiệu quả như nhau | Coi chưa đủ bằng chứng là bằng chứng không có khác biệt | Chưa phát hiện khác biệt rõ với cỡ mẫu này |
| Khác biệt có ý nghĩa nên cần áp dụng ngay | Lẫn ý nghĩa thống kê với ý nghĩa kinh doanh | Khác biệt có thật nhưng nhỏ; cần so với chi phí áp dụng |
Một số chatbot không chạy tính toán thật sẽ tự đặt ra một giá trị p "hợp lý" theo cảm nhận câu chữ. Luôn hỏi nó dùng phép kiểm định nào, với số liệu đầu vào nào, và nếu có thể, kiểm lại bằng một công cụ tính toán thống kê hoặc bảng tính có hàm kiểm định.
Cỡ mẫu quyết định bạn phát hiện được gì
Một phép thử với nhóm nhỏ chỉ phát hiện được khác biệt lớn. Trong ví dụ hai mẫu tin nhắn, mỗi nhóm 500 khách là không đủ để phát hiện chắc chắn một mức chênh khoảng 2 điểm phần trăm trên nền 8%; muốn làm được, mỗi nhóm thường cần cỡ vài nghìn khách. Con số chính xác phụ thuộc vào mức chênh bạn muốn phát hiện và mức chắc chắn bạn đòi hỏi, và có thể tính trước bằng công cụ ước lượng cỡ mẫu.
Hệ quả thực tế cho cửa hàng nhỏ: nếu danh sách khách cũ chỉ có vài trăm người, đừng kỳ vọng một lần thử phân định được hai mẫu tin nhắn gần giống nhau. Hoặc thử những phương án khác nhau rõ rệt, hoặc gộp kết quả qua nhiều đợt, hoặc chấp nhận quyết định dựa trên phán đoán kèm số liệu tham khảo. Biết trước giới hạn này giúp bạn không thất vọng với "không có ý nghĩa thống kê", và không bị cám dỗ cắt ghép số liệu cho tới khi có kết quả.
Chuẩn bị đọc một kết quả thử nghiệm với AI
Trước khi đưa kết quả cho AI, chỉ cần bảng tổng theo nhóm: mỗi nhóm có bao nhiêu người, bao nhiêu người phản hồi hay mua. Không cần danh sách khách, số điện thoại hay nội dung đơn hàng. Sau đó:
- Mô tả thiết kế: "Hai nhóm 500 khách cũ chia ngẫu nhiên theo mã khách, mỗi nhóm nhận một mẫu tin nhắn, đo số người mua trong 14 ngày."
- Nêu tiêu chí đã đặt trước: "Chỉ số chính là tỉ lệ mua lại; mức chênh đủ để đổi mẫu là 2 điểm phần trăm."
- Yêu cầu kết quả đầy đủ: tỉ lệ từng nhóm, mức chênh, khoảng tin cậy của mức chênh, giá trị p, tên phép kiểm định đã dùng.
- Yêu cầu diễn giải hai tầng: "Nói rõ khác biệt có ý nghĩa thống kê không, và có đạt mức chênh đủ để hành động không."
- Hỏi về cỡ mẫu: "Nếu chưa đủ bằng chứng, ước lượng cần khoảng bao nhiêu khách mỗi nhóm để phát hiện mức chênh 2 điểm phần trăm."
Bước hai thường bị bỏ qua, nhưng nếu không đặt tiêu chí trước, bạn sẽ có xu hướng chọn chỉ số nào cho kết quả đẹp nhất. Bước năm giúp lên kế hoạch cho lần thử sau thay vì kết luận vội từ lần này.
Khi nào cần hỏi người có chuyên môn thống kê
Phép so sánh hai tỉ lệ từ hai nhóm chia ngẫu nhiên là trường hợp đơn giản, và trợ lý AI có công cụ tính toán xử lý khá tốt nếu bạn kiểm đầu vào. Mọi thứ phức tạp hơn nhanh chóng: so sánh nhiều nhóm cùng lúc, đo nhiều chỉ số, dữ liệu không chia ngẫu nhiên, khách có thể thuộc cả hai nhóm, kết quả theo dõi qua nhiều tuần. Mỗi tình huống cần phương pháp riêng, và chọn sai phương pháp cho ra một giá trị p sai mà không có dấu hiệu gì.
Khi kết quả sẽ dùng cho quyết định tốn kém, công bố ra bên ngoài, hay khi bạn thấy mình đang thử rất nhiều biến thể để tìm một kết quả "có ý nghĩa", đó là lúc nên nhờ một người có chuyên môn thống kê xem thiết kế và cách tính. Trợ lý AI có thể giúp bạn chuẩn bị câu hỏi cho buổi trao đổi đó.
Câu hỏi thường gặp
Ý nghĩa thống kê là gì, giải thích ngắn?
Một khác biệt có ý nghĩa thống kê là khác biệt khó có thể chỉ do may rủi tạo ra nếu thật ra không có khác biệt. Nó cho biết khác biệt có vẻ thật, nhưng không cho biết khác biệt đó lớn hay nhỏ, quan trọng hay không.
Giá trị p 0,05 có nghĩa là gì?
Nghĩa là nếu thật ra không có khác biệt, xác suất thấy một kết quả chênh lệch bằng hoặc hơn mức đã thấy chỉ do ngẫu nhiên là khoảng 5%. Đây là ngưỡng quy ước, không phải ranh giới tuyệt đối giữa đúng và sai.
Kết quả không có ý nghĩa thống kê thì có nên bỏ ý tưởng không?
Không nhất thiết. Có thể khác biệt thật nhưng cỡ mẫu quá nhỏ để phát hiện. Xem khoảng tin cậy: nếu khoảng rộng và chứa cả những giá trị đáng kể, nên thử lại với nhóm lớn hơn thay vì kết luận ý tưởng vô dụng.
Có ý nghĩa thống kê có phải là đáng áp dụng không?
Chưa chắc. Với mẫu rất lớn, chênh lệch nhỏ đến mức không đáng tiền vẫn có thể có ý nghĩa thống kê. Cần so độ lớn của khác biệt với chi phí và công sức áp dụng trước khi quyết định.
Có tin được giá trị p do chatbot đưa ra không?
Chỉ tin khi chatbot thật sự chạy phép tính bằng công cụ và nêu rõ phép kiểm định, số liệu đầu vào. Chatbot chỉ trả lời bằng chữ có thể đưa ra con số nghe hợp lý nhưng không được tính. Kiểm lại bằng bảng tính hoặc công cụ thống kê khi quyết định quan trọng.
Vì sao thử nhiều biến thể dễ cho kết quả sai?
Vì mỗi lần so sánh đều có một xác suất nhỏ cho kết quả có ý nghĩa chỉ do may rủi. Thử càng nhiều biến thể, khả năng có ít nhất một kết quả như vậy càng cao. Nên giới hạn số biến thể và đặt tiêu chí trước khi chạy.