Nghịch lý Simpson là hiện tượng một xu hướng xuất hiện rõ trong từng nhóm dữ liệu nhưng đảo ngược hoặc biến mất khi gộp các nhóm lại. Nó xảy ra khi các nhóm có quy mô rất khác nhau và có một yếu tố thứ ba vừa ảnh hưởng tới kết quả vừa phân bố không đều giữa các bên đang được so sánh. Trong phân tích kinh doanh, hệ quả là bạn có thể khen nhầm người, cắt nhầm kênh, hoặc kết luận ngược hẳn với thực tế.
AI phân tích thường trả lời đúng câu bạn hỏi: hỏi tỉ lệ chung thì đưa tỉ lệ chung. Nó hiếm khi tự cảnh báo rằng tách theo nhóm sẽ cho kết luận ngược lại. Bài này giải thích nghịch lý bằng ví dụ giả định ở cửa hàng, cách phát hiện, và câu lệnh buộc AI kiểm giúp bạn.
Ví dụ giả định: nhân viên nào chốt đơn giỏi hơn
Một cửa hàng điện máy nhỏ có hai nhân viên tư vấn, gọi là A và B. Mỗi người tư vấn ba trăm khách trong tháng. Khách chia hai nhóm: khách quen quay lại mua thêm và khách mới đến từ quảng cáo. Số liệu dưới đây hoàn toàn là ví dụ giả định.
| Nhóm khách | Nhân viên A | Nhân viên B |
|---|---|---|
| Khách quen | 90 chốt trên 100 khách, tức 90% | 170 chốt trên 200 khách, tức 85% |
| Khách mới từ quảng cáo | 30 chốt trên 200 khách, tức 15% | 10 chốt trên 100 khách, tức 10% |
| Gộp chung | 120 chốt trên 300 khách, tức 40% | 180 chốt trên 300 khách, tức 60% |
Nhìn dòng gộp, B chốt đơn tốt hơn hẳn A, cách nhau hai mươi điểm phần trăm. Nhìn từng nhóm, A tốt hơn B ở cả khách quen lẫn khách mới. Cả hai cách nhìn đều tính đúng. Chỗ khác nhau là A được giao phần lớn khách mới, nhóm vốn rất khó chốt, còn B được giao phần lớn khách quen, nhóm vốn dễ chốt.
Nếu bạn chỉ hỏi AI "nhân viên nào có tỉ lệ chốt đơn cao hơn", câu trả lời đúng về mặt số học là B. Nếu thưởng theo câu trả lời đó, cửa hàng đang thưởng cho việc được chia khách dễ, không phải cho kỹ năng tư vấn.
Vì sao nghịch lý xảy ra
Tỉ lệ gộp là trung bình có trọng số của tỉ lệ từng nhóm, với trọng số là quy mô mỗi nhóm. Tỉ lệ 40% của A là trung bình của 90% và 15%, nhưng nghiêng mạnh về 15% vì A có hai trăm khách mới và chỉ một trăm khách quen. Tỉ lệ 60% của B nghiêng về 85% vì cơ cấu ngược lại. Khi hai bên có cơ cấu nhóm khác nhau nhiều, sự khác biệt về cơ cấu có thể lấn át hoàn toàn sự khác biệt về hiệu quả trong từng nhóm.
Yếu tố quyết định cơ cấu ở đây là loại khách. Trong thống kê, nó được gọi là biến gây nhiễu: một biến vừa ảnh hưởng tới kết quả đang đo, ở đây là khả năng chốt đơn, vừa liên quan tới thứ đang được so sánh, ở đây là ai được giao khách nào. Khi có biến gây nhiễu mà không tách ra, so sánh gộp sẽ trộn lẫn hai câu hỏi khác nhau thành một.
Một ví dụ có thật thường được nhắc là số liệu tuyển sinh sau đại học của Đại học California tại Berkeley năm 1973. Tính chung toàn trường, tỉ lệ nhận hồ sơ nam cao hơn nữ, khiến nhiều người nghi có thiên vị. Phân tích theo từng khoa, công bố trên tạp chí Science năm 1975, cho thấy phần lớn các khoa không thiên vị nam, và chênh lệch chung chủ yếu vì nữ nộp nhiều hơn vào các khoa có tỉ lệ nhận thấp.
Tình huống kinh doanh dễ dính nghịch lý Simpson
Mọi phép so sánh tỉ lệ giữa hai bên có cơ cấu khác nhau đều có nguy cơ. Dưới đây là những tình huống hay gặp ở doanh nghiệp nhỏ.
- So hai chi nhánh khi một chi nhánh nằm ở khu văn phòng, bán chủ yếu giờ trưa, chi nhánh kia ở khu dân cư, bán chủ yếu buổi tối.
- So hai kênh quảng cáo khi một kênh chạy chủ yếu cho sản phẩm rẻ dễ mua, kênh kia cho sản phẩm đắt.
- So tỉ lệ đổi trả hai nhà cung cấp khi một nhà cung cấp chủ yếu giao hàng thời trang, vốn hay đổi cỡ, nhà kia giao đồ gia dụng.
- So hiệu quả trước và sau một thay đổi khi cơ cấu khách giữa hai giai đoạn khác nhau, ví dụ sau thay đổi trùng mùa khách du lịch.
- So tỉ lệ hoàn thành công việc giữa hai nhóm khi một nhóm được giao nhiều việc khó hơn.
- So hai lớp học hay hai ca làm khi thành phần người trong mỗi lớp, mỗi ca không giống nhau.
Điểm chung: có một yếu tố về cơ cấu mà bạn biết là ảnh hưởng tới kết quả, và nó phân bố không đều giữa hai bên. Hễ thấy điều đó, hãy tách nhóm trước khi kết luận.
Phát hiện nghịch lý Simpson trong kết quả AI
Các bước dưới đây áp dụng mỗi khi AI đưa ra một so sánh tỉ lệ giữa hai hay nhiều bên.
- Tự hỏi: có yếu tố nào ảnh hưởng mạnh tới kết quả mà hai bên có thể khác nhau về cơ cấu không? Loại khách, loại sản phẩm, thời điểm, khu vực là những ứng viên hay gặp.
- Yêu cầu AI tách kết quả theo yếu tố đó, kèm số lượng của từng ô, không chỉ tỉ lệ.
- Nhìn cơ cấu: tỉ trọng mỗi nhóm của từng bên có khác nhau nhiều không.
- Nhìn tỉ lệ trong từng nhóm: bên nào tốt hơn ở từng nhóm, có cùng chiều với kết luận gộp không.
- Nếu ngược chiều, kết luận gộp không trả lời đúng câu hỏi về hiệu quả. Dùng so sánh theo từng nhóm, hoặc so sánh sau khi đưa hai bên về cùng một cơ cấu chuẩn.
- Nếu cùng chiều, ghi chú rằng đã kiểm theo yếu tố đó và kết luận vẫn giữ.
Câu lệnh mẫu: "Trước khi kết luận bên nào tốt hơn, hãy tách kết quả theo loại khách, đưa số lượng và tỉ lệ của từng ô. Cho biết cơ cấu loại khách của mỗi bên khác nhau thế nào, và kết luận theo từng nhóm có cùng chiều với kết luận chung không."
Đưa về cùng cơ cấu để so sánh công bằng
Khi đã thấy nghịch lý, câu hỏi tiếp theo thường là: vậy rốt cuộc ai giỏi hơn, bằng một con số? Một cách đơn giản là chuẩn hoá theo cơ cấu: giả định cả hai bên cùng có một cơ cấu khách giống nhau, ví dụ một nửa khách quen một nửa khách mới, rồi tính lại tỉ lệ chung cho từng bên bằng tỉ lệ từng nhóm của họ.
Trong ví dụ giả định ở trên, với cơ cấu chuẩn một nửa mỗi nhóm, A đạt trung bình của 90% và 15%, tức 52,5%. B đạt trung bình của 85% và 10%, tức 47,5%. A dẫn trước, đúng với những gì thấy trong từng nhóm. Con số này không phải là tỉ lệ thật xảy ra, mà là tỉ lệ sẽ xảy ra nếu hai người được chia khách như nhau. Đó mới là câu trả lời cho câu hỏi về kỹ năng.
Chọn cơ cấu chuẩn nào là quyết định của bạn và nên ghi rõ. Thường dùng cơ cấu chung của toàn cửa hàng, hoặc cơ cấu mà bạn muốn hướng tới. Nhờ AI làm phép chuẩn hoá này được, nhưng hãy tính tay lại vì đây chỉ là phép trung bình có trọng số đơn giản. Và nhớ rằng tách theo một yếu tố chưa chắc đã đủ: có thể còn yếu tố khác, như giờ làm hay loại sản phẩm, cũng phân bố không đều.
Những hiểu lầm hay gặp về nghịch lý Simpson
"Cứ tách nhóm là ra sự thật." Tách nhóm chỉ đúng khi yếu tố dùng để tách là yếu tố gây nhiễu thật. Nếu tách theo một yếu tố nằm trên đường tác động, ví dụ tách theo "khách có xem thử sản phẩm hay không" khi chính nhân viên giỏi là người khiến khách xem thử, bạn có thể xoá mất đúng hiệu quả đang muốn đo. Chọn yếu tố để tách cần hiểu quan hệ nhân quả trong nghiệp vụ.
"Nghịch lý chỉ xảy ra với dữ liệu lớn." Ngược lại, ví dụ trong bài chỉ có sáu trăm khách. Nghịch lý phụ thuộc vào cơ cấu nhóm lệch nhau, không phụ thuộc vào cỡ dữ liệu. Cửa hàng càng nhỏ, phân công càng dễ lệch, vì chỉ cần một người luôn trực ca sáng là cơ cấu khách đã khác.
"Số gộp sai, số từng nhóm mới đúng." Cả hai đều đúng, chỉ trả lời hai câu hỏi khác nhau. Với câu hỏi doanh thu thực tế của tháng, số gộp là con số cần dùng. Lỗi nằm ở chỗ dùng nhầm con số cho câu hỏi.
"Đã tách theo một yếu tố mà kết luận không đổi thì yên tâm." Kết luận có thể vẫn đảo chiều khi tách theo yếu tố khác, hoặc khi tách đồng thời hai yếu tố. Ghi rõ đã kiểm theo yếu tố nào để người đọc biết giới hạn của kết luận.
Vì sao AI ít khi tự cảnh báo và cách bù lại
Trợ lý AI trả lời câu hỏi bạn đặt ra. Câu hỏi "ai có tỉ lệ cao hơn" có câu trả lời số học rõ ràng, nên mô hình đưa ra câu trả lời đó. Để cảnh báo nghịch lý Simpson, mô hình phải tự nghĩ ra yếu tố gây nhiễu, mà yếu tố đó nhiều khi không có trong tệp, hoặc có nhưng không được nhắc tới trong câu hỏi. Đây là loại suy luận cần hiểu nghiệp vụ, và bạn biết nghiệp vụ của mình rõ hơn AI.
Cách bù lại là đưa bước tách nhóm vào thói quen. Với mọi so sánh tỉ lệ dùng để ra quyết định, thêm một câu vào câu lệnh: "Liệt kê các cột trong tệp có thể là yếu tố gây nhiễu cho phép so sánh này, tách kết quả theo từng cột đó và báo nếu có kết luận đảo chiều." AI làm khá tốt việc này khi được yêu cầu rõ, vì nó chỉ cần chạy nhiều phép tách và so chiều.
Còn những yếu tố không có trong tệp thì chỉ người làm nghề mới nghĩ ra được. Một chủ quán biết khách ngày mưa khác khách ngày nắng, một trưởng nhóm bán hàng biết ai đang được giao khu vực khó. Kết hợp hiểu biết đó với khả năng tính nhanh của AI là cách dùng hợp lý nhất. Che tên nhân viên bằng mã khi tải tệp lên để phân tích hiệu quả, vì đây là dữ liệu nhạy cảm về con người.
Câu hỏi thường gặp
Nghịch lý Simpson có phải lỗi tính toán không?
Không. Cả tỉ lệ gộp lẫn tỉ lệ từng nhóm đều tính đúng. Vấn đề nằm ở việc dùng con số nào để trả lời câu hỏi nào. Tỉ lệ gộp trả lời câu hỏi kết quả thực tế ra sao, tỉ lệ từng nhóm gần hơn với câu hỏi ai làm hiệu quả hơn.
Khi nào nên tin số gộp, khi nào nên tin số từng nhóm?
Nếu muốn biết kết quả chung đã xảy ra, như tổng số đơn chốt của cửa hàng, dùng số gộp. Nếu muốn so hiệu quả hay quyết định thay đổi cách làm, và có yếu tố cơ cấu khác nhau giữa các bên, dùng số từng nhóm hoặc số đã chuẩn hoá cơ cấu.
Tách nhóm càng nhỏ càng tốt phải không?
Không hẳn. Tách quá nhỏ làm mỗi ô chỉ còn vài trường hợp, tỉ lệ dao động rất mạnh và dễ thấy khác biệt giả. Chỉ tách theo những yếu tố có lý do nghiệp vụ rõ ràng, và luôn xem số lượng trong từng ô trước khi xem tỉ lệ.
Làm sao biết đã tách đủ yếu tố gây nhiễu chưa?
Không bao giờ chắc chắn tuyệt đối với dữ liệu quan sát. Cách thực tế là tách theo các yếu tố mà người trong nghề cho là quan trọng nhất, ghi rõ những gì đã kiểm, và thận trọng với quyết định lớn. Muốn chắc hơn, cần thử nghiệm có phân bổ ngẫu nhiên.
Nghịch lý này có xảy ra với số trung bình không, hay chỉ với tỉ lệ?
Có xảy ra với số trung bình, như giá trị đơn trung bình hay thời gian phục vụ trung bình, theo cùng cơ chế trọng số. Bất kỳ chỉ số nào gộp từ nhiều nhóm có quy mô khác nhau đều có thể bị ảnh hưởng.
Có nên dùng kết quả kiểu này để thưởng phạt nhân viên?
Rất thận trọng. Như ví dụ cho thấy, so sánh gộp có thể phản ánh việc phân công nhiều hơn năng lực. Thiết kế chỉ tiêu và cơ chế thưởng là chủ đề của quản trị hiệu suất, nằm ngoài phạm vi trang này; ở đây chỉ nhắc rằng con số cần được tách nhóm trước khi dùng.