Thiên lệch chọn mẫu xảy ra khi dữ liệu bạn phân tích chỉ chứa một phần đối tượng, và phần đó khác biệt có hệ thống so với phần còn lại. Kết luận rút ra khi ấy có thể đúng với những người có mặt trong dữ liệu nhưng sai với toàn bộ khách hàng, toàn bộ sản phẩm hay toàn bộ thị trường bạn quan tâm. Dạng hay gặp nhất trong kinh doanh là thiên lệch kẻ sống sót: chỉ nhìn những gì còn lại sau một quá trình sàng lọc, rồi quên mất những gì đã bị loại.
AI không thể biết dữ liệu của bạn thiếu ai, vì nó chỉ thấy những dòng có trong tệp. Việc phát hiện thiên lệch chọn mẫu vì thế chủ yếu nằm ở người hỏi. Bài này đưa ra cách nhận ra những nhóm vắng mặt, các tình huống hay gặp ở cửa hàng và văn phòng, và câu lệnh buộc AI nói rõ kết luận đúng trong phạm vi nào.
Dữ liệu được ghi lại bằng cơ chế nào thì lệch theo cơ chế đó
Mỗi dòng trong tệp của bạn tồn tại vì có một cơ chế đã ghi nó lại: khách quét mã thành viên, thu ngân bấm máy tính tiền, khách tự điền phiếu, đơn online tự đổ vào hệ thống. Mỗi cơ chế giống một cái lưới với cỡ mắt riêng. Những người và những giao dịch lọt qua mắt lưới không để lại dấu vết nào, và không phép tính nào trên tệp có thể làm họ hiện ra. Phần khái niệm mẫu và tổng thể, vì sao mẫu lệch nặng hơn mẫu nhỏ, có bài riêng ở danh mục nền tảng; bài này tập trung vào việc kiểm khi AI đã đưa ra kết luận.
Điều nguy hiểm khi làm việc với AI là tệp càng lớn, câu trả lời càng trông chắc chắn. Mười nghìn dòng từ khách thành viên cho ra những con số rất ổn định, AI diễn đạt rất tự tin. Nhưng sự ổn định đó chỉ nói về những người mắc vào lưới. Thêm bao nhiêu dòng cùng cơ chế cũng không làm kết luận đúng hơn cho những người không mắc vào.
Một câu chuyện kinh điển hay được kể là nhóm nghiên cứu thống kê của Abraham Wald trong Thế chiến thứ hai. Khi xem các máy bay trở về với vết đạn, nhiều người đề xuất gia cố những chỗ có nhiều vết đạn. Lập luận được ghi nhận là nên gia cố chỗ ngược lại: những máy bay trúng đạn ở các vị trí kia đã không trở về để được đếm. Dữ liệu chỉ có những chiếc sống sót, nên chỗ ít vết đạn chính là chỗ chí mạng.
Những nhóm hay vắng mặt trong dữ liệu kinh doanh
Trước mỗi kết luận quan trọng, hãy tự hỏi ai không có trong tệp. Danh sách dưới đây là những nhóm hay vắng mặt nhất trong số liệu của cửa hàng, văn phòng nhỏ ở Việt Nam.
- Khách đã rời bỏ. Họ ngừng mua nên không còn dòng nào mới. Phân tích "khách hài lòng với điều gì" trên khách hiện tại bỏ qua đúng những người không hài lòng.
- Khách không có mã thành viên. Dữ liệu chương trình thành viên chỉ có người đăng ký, thường là khách quen và mua nhiều. Khách lẻ, khách vãng lai không xuất hiện.
- Khách hỏi rồi không mua. Phần mềm bán hàng chỉ ghi đơn thành công. Những người vào cửa hàng, nhắn tin hỏi giá rồi bỏ đi không để lại dữ liệu nào.
- Người không trả lời khảo sát hay đánh giá. Người rất vui hoặc rất bực có xu hướng viết đánh giá nhiều hơn người thấy bình thường.
- Sản phẩm đã ngừng bán. Phân tích "đặc điểm của sản phẩm bán chạy" trên danh mục hiện tại không thấy những sản phẩm có cùng đặc điểm đã thất bại và bị gỡ.
- Kênh không được ghi nhận. Đơn đặt qua điện thoại, qua người quen, bán sỉ bằng sổ tay thường không vào hệ thống như đơn online.
- Khoảng thời gian bị thiếu. Tháng đổi phần mềm, tuần mất dữ liệu, chi nhánh mới chưa nhập số.
Không phải lúc nào thiếu nhóm cũng làm sai kết luận. Nó chỉ làm sai khi nhóm vắng mặt khác biệt so với nhóm có mặt ở đúng điều bạn đang đo. Việc của bạn là đánh giá khả năng đó, và ghi rõ trong báo cáo.
Ví dụ giả định: kết luận trông chắc nhưng mẫu bị lệch
Một quán bún chả ở Hà Nội có chương trình tích điểm qua mã thành viên. Chủ quán tải dữ liệu tích điểm sáu tháng, đã thay số điện thoại bằng mã, và nhờ AI phân tích. Bảng dưới là các kết luận AI đưa ra và điều chủ quán phát hiện khi hỏi "ai vắng mặt". Mọi con số là ví dụ giả định.
| Kết luận của AI | Ai vắng mặt trong dữ liệu | Kết luận nên sửa thành |
|---|---|---|
| Khách trung bình đến quán hai lần mỗi tuần | Khách không đăng ký thành viên, chiếm phần lớn lượt khách giờ trưa | Khách thành viên trung bình đến hai lần mỗi tuần; không suy ra cho khách lẻ |
| Món mới ra mắt tháng 8 không làm giảm khách | Khách cũ đã bỏ quán trước tháng 8 vì lý do khác | Trong nhóm khách còn ở lại, chưa thấy giảm; cần dữ liệu khách rời để biết thêm |
| Khách thích combo hơn gọi lẻ | Đơn không quét mã, thường là khách gọi lẻ ăn nhanh | Trong khách thành viên, combo chiếm tỉ trọng lớn; với khách lẻ chưa rõ |
| Giờ cao điểm là 18 giờ | Đơn giao qua ứng dụng không tích điểm | Giờ cao điểm của khách thành viên ăn tại quán là 18 giờ |
Không kết luận nào của AI sai về mặt tính toán. Chúng chỉ đúng trong một phạm vi hẹp hơn nhiều so với cách chúng được diễn đạt. Sửa lại câu chữ cho đúng phạm vi là phần việc nhỏ nhưng tránh được quyết định sai, như bỏ thực đơn gọi lẻ vì tưởng khách không thích.
Kiểm thiên lệch chọn mẫu trong năm câu hỏi
Năm câu hỏi dưới đây nên trở thành thói quen trước khi đưa bất kỳ kết luận nào về khách hàng hay sản phẩm vào báo cáo.
- Tệp này ghi lại ai, và bằng cơ chế nào? Đơn thanh toán, quét mã thành viên, điền phiếu, đặt hàng online. Mỗi cơ chế lọc người theo một kiểu.
- Ai không đi qua cơ chế đó? Liệt kê cụ thể, như khách trả tiền mặt không lấy hoá đơn, khách đặt qua người quen.
- Nhóm vắng mặt chiếm bao nhiêu? Ước lượng thô cũng được, ví dụ so số lượt khách đếm tay một ngày với số đơn trong hệ thống.
- Nhóm vắng mặt có khác ở điều đang đo không? Nếu đang đo mức chi tiêu, khách lẻ có chi khác khách thành viên không.
- Kết luận cần sửa phạm vi thế nào? Viết lại câu kết luận với chủ ngữ chính xác: "khách thành viên", "đơn online", "sản phẩm còn bán".
Câu lệnh mẫu giúp AI tham gia: "Dữ liệu này chỉ gồm các đơn có quét mã thành viên. Viết lại các kết luận ở trên sao cho phạm vi đúng với nhóm có trong dữ liệu, và nêu những kết luận nào có khả năng khác đi nếu tính cả khách không có mã."
Bù lại phần vắng mặt khi không có dữ liệu
Thường bạn không thể có ngay dữ liệu của nhóm vắng mặt. Nhưng có vài cách rẻ để ước lượng. Đếm tay trong một vài ngày: số lượt khách vào cửa, số người hỏi giá, số đơn không quét mã. Hỏi trực tiếp một số khách lẻ một câu hỏi ngắn. Gọi lại vài khách cũ lâu không quay lại, hỏi lý do. Những dữ liệu nhỏ này không đủ để phân tích sâu, nhưng đủ để biết nhóm vắng mặt có khác nhóm có mặt hay không.
Một cách khác là đối chiếu với nguồn độc lập. Tổng doanh thu trong sổ quỹ so với tổng doanh thu trong hệ thống thành viên cho biết hệ thống thành viên chiếm bao nhiêu phần. Nếu chỉ chiếm một phần nhỏ, mọi phân tích trên dữ liệu thành viên cần được trình bày rất thận trọng.
Khi thu thêm dữ liệu từ khách, dù là vài câu hỏi miệng, nhớ rằng đó là thông tin cá nhân. Ghi theo mã, không ghi tên và số điện thoại vào bảng sẽ đưa cho AI. Việc thiết kế bảng hỏi khảo sát bài bản là chủ đề của trang AI Đánh Giá; ở đây chỉ cần vài câu đủ để kiểm giả định.
Thiên lệch chọn mẫu trong thông tin từ bên ngoài
Không chỉ dữ liệu nội bộ mới bị lệch. Những câu chuyện thành công đọc trên mạng, những mô hình kinh doanh được kể lại trong hội nhóm, những lời khuyên "quán nào làm thế này cũng đông" đều là dữ liệu đã qua sàng lọc: người thành công kể chuyện, người thất bại thường im lặng. Một quán cà phê mở ở góc phố theo một phong cách nào đó và đông khách được nhắc đến nhiều lần, trong khi mười quán cùng phong cách đã đóng cửa không ai nhắc.
Khi bạn hỏi AI "những cửa hàng thành công thường làm gì", câu trả lời được tổng hợp từ chính loại văn bản đã sàng lọc đó. Nó hữu ích để lấy ý tưởng, nhưng không phải bằng chứng rằng làm theo sẽ thành công. Câu hỏi nên đặt thêm là: có bao nhiêu nơi làm giống vậy mà không thành, và điều gì khác biệt giữa hai nhóm.
Vì sao AI dễ làm thiên lệch nặng thêm
Trợ lý AI có xu hướng trả lời bằng ngôn ngữ khái quát: "khách hàng của bạn thích", "người mua thường", "sản phẩm thành công có đặc điểm". Câu chữ khái quát đó làm phạm vi kết luận trông rộng hơn dữ liệu cho phép. Nếu bạn không sửa câu chữ, báo cáo sẽ mang theo sự khái quát đó tới người ra quyết định.
AI cũng hay đề xuất làm sạch dữ liệu bằng cách loại các dòng thiếu thông tin, như bỏ đơn không có mã khách. Về kỹ thuật thì gọn, nhưng nếu dòng thiếu mã chính là khách lẻ, bước làm sạch này vừa tạo ra một mẫu lệch mới. Mỗi lần AI đề xuất loại dòng, hỏi lại: những dòng bị loại là ai, và họ có khác những dòng còn lại không.
Ngược lại, AI là trợ thủ tốt khi bạn đã nghi có thiên lệch. Yêu cầu nó so sánh đặc điểm của nhóm có mã và nhóm không có mã trên những cột cả hai cùng có, như giờ mua, giá trị đơn, phương thức thanh toán. Nếu hai nhóm khác nhau rõ, bạn có bằng chứng cụ thể để ghi vào báo cáo, thay vì chỉ một cảnh báo chung chung.
Câu hỏi thường gặp
Thiên lệch chọn mẫu và thiên lệch kẻ sống sót khác nhau thế nào?
Thiên lệch kẻ sống sót là một dạng của thiên lệch chọn mẫu, khi cơ chế lọc là sự tồn tại: chỉ những khách còn mua, sản phẩm còn bán, cửa hàng còn mở mới có mặt trong dữ liệu. Thiên lệch chọn mẫu rộng hơn, gồm mọi cơ chế khiến một nhóm có mặt nhiều hơn nhóm khác.
Dữ liệu càng nhiều thì thiên lệch càng giảm phải không?
Không. Thêm dữ liệu cùng cơ chế thu thập chỉ giảm sai số ngẫu nhiên, không sửa được thiên lệch. Một triệu dòng từ khách thành viên vẫn chỉ nói về khách thành viên. Để giảm thiên lệch, cần thay đổi cách thu thập hoặc bổ sung nhóm vắng mặt.
AI có tự phát hiện được dữ liệu bị thiếu nhóm không?
Chỉ phát hiện được khi có dấu hiệu trong chính tệp, như cột mã khách trống nhiều hay khoảng ngày bị thiếu. Còn những nhóm không bao giờ vào hệ thống thì AI không có cách nào biết. Bạn phải mô tả cơ chế thu thập cho AI.
Đánh giá trên mạng của khách có dùng được để phân tích không?
Dùng được để tìm vấn đề cụ thể khách nêu, nhưng thận trọng khi suy ra tỉ lệ hài lòng chung, vì người viết đánh giá thường là người có cảm xúc mạnh. Tỉ lệ đánh giá tốt hay xấu không phải tỉ lệ khách hài lòng.
Có cách nào sửa thiên lệch bằng tính toán không?
Có những kỹ thuật như đặt trọng số lại theo cơ cấu đã biết, nhưng chúng cần biết cơ cấu thật của tổng thể và có giả định riêng. Với doanh nghiệp nhỏ, cách thực tế hơn là thu thêm một ít dữ liệu từ nhóm vắng mặt và thu hẹp câu chữ kết luận.