Nên nhờ người có chuyên môn thống kê duyệt kết quả AI phân tích khi quyết định dựa trên kết quả đó tốn kém hoặc khó đảo ngược, khi kết luận dựa vào thử nghiệm hay mẫu nhỏ, khi có mô hình dự báo được đưa vào dùng tự động, khi số liệu sẽ công bố ra ngoài, và khi bạn không tự giải thích được cách tính. Ngoài các trường hợp đó, các phép kiểm tự làm như đối chiếu tổng, tính tay mẫu nhỏ và phản biện kết luận thường đã đủ cho báo cáo vận hành hằng ngày.
Bài này không nhằm khiến bạn ngại dùng AI. Ngược lại, biết rõ ranh giới giúp bạn tự tin xử lý phần lớn công việc, và chỉ tốn thời gian của chuyên gia cho những chỗ thật sự cần. Phần sau mô tả tám tình huống, cách chuẩn bị tài liệu và những câu nên hỏi.
Phân biệt kiểm tự làm và kiểm cần chuyên môn
Các phép kiểm tự làm trả lời câu hỏi "con số có được tính đúng không". Đối chiếu tổng kiểm việc đọc dữ liệu, tính tay mẫu nhỏ kiểm công thức, đọc cách tính kiểm các bước lọc. Những việc này cần cẩn thận và hiểu nghiệp vụ, không cần kiến thức thống kê sâu. Người làm báo cáo nào cũng nên tự làm được.
Kiểm cần chuyên môn trả lời câu hỏi khác: "phương pháp có phù hợp với câu hỏi không, và kết luận có vượt quá những gì dữ liệu cho phép không". Ví dụ: một chênh lệch giữa hai nhóm có lớn hơn dao động ngẫu nhiên không, mô hình dự báo có bị khớp quá mức với dữ liệu cũ không, thiết kế thử nghiệm có lỗ hổng nào không. Những câu hỏi này cần hiểu về phân phối, sai số, giả định của từng phương pháp.
AI có thể trả lời cả loại câu hỏi thứ hai bằng giọng rất chắc chắn, kèm thuật ngữ chính xác. Nhưng nếu bạn không có nền tảng để đánh giá câu trả lời, bạn không biết nó đúng hay sai. Đó chính là dấu hiệu cần người thứ hai có chuyên môn.
Tám tình huống nên dừng lại và hỏi người có chuyên môn
Quyết định tốn kém hoặc khó đảo ngược. Mở chi nhánh mới, ký hợp đồng nhập hàng dài hạn, cắt bỏ một dòng sản phẩm chủ lực, thay đổi chính sách giá toàn hệ thống. Chi phí nhờ người xem lại nhỏ so với chi phí sai.
Kết luận dựa trên thử nghiệm. Thử hai mẫu quảng cáo, hai cách bày hàng, hai mức giá. Câu hỏi "khác biệt có thật hay do ngẫu nhiên" và "thử bao lâu là đủ" cần người hiểu thống kê, tốt nhất là trước khi bắt đầu thử.
Mẫu nhỏ nhưng kết luận lớn. Vài chục khách, vài tuần dữ liệu, một hai cửa hàng, nhưng kết luận được dùng cho cả hệ thống hay cả năm.
Mô hình dự báo được dùng tự động. Khi kết quả dự báo trực tiếp quyết định số lượng nhập hàng, xếp ca nhân viên mà không có người xem từng lần, sai số của mô hình trở thành sai số vận hành.
Dữ liệu nhạy cảm về con người. Phân tích liên quan tới nhân viên, học sinh, bệnh nhân, khách vay. Ngoài thống kê, còn có câu hỏi về công bằng, quyền riêng tư và quy định pháp luật, cần cả người hiểu luật.
Số liệu công bố ra ngoài. Báo cáo gửi đối tác, nhà đầu tư, cơ quan quản lý, hoặc đăng công khai. Sai sót ở đây ảnh hưởng tới uy tín và có thể tới trách nhiệm pháp lý.
Kết quả ngược hẳn với kinh nghiệm. Khi AI đưa ra kết luận trái với điều mọi người trong nghề vẫn thấy, có thể là phát hiện thật, cũng có thể là lỗi phương pháp. Cả hai trường hợp đều đáng được người có chuyên môn xem.
Bạn không giải thích được cách tính. Nếu sau khi yêu cầu AI trình bày, bạn vẫn không hiểu vì sao phương pháp đó được dùng và nó giả định điều gì, bạn không nên ký tên dưới kết quả.
Mức độ kiểm theo loại việc
Bảng gợi ý dưới đây giúp phân loại nhanh. Ranh giới không cứng; cùng một loại việc có thể chuyển lên mức cao hơn khi số tiền liên quan lớn hơn.
| Loại việc | Kiểm tự làm đủ chưa | Nên có người chuyên môn khi |
|---|---|---|
| Báo cáo doanh thu tuần, tháng | Thường đủ | Có thay đổi định nghĩa hoặc nguồn dữ liệu lớn |
| So sánh chi nhánh, nhân viên | Đủ cho theo dõi | Dùng để thưởng phạt, điều chuyển |
| Đánh giá khuyến mãi, quảng cáo | Đủ cho nhận xét sơ bộ | Quyết định ngân sách lớn hoặc chương trình dài hạn |
| Thử nghiệm hai phương án | Chưa đủ | Luôn nên có, tốt nhất từ khâu thiết kế |
| Dự báo nhập hàng | Đủ khi có người duyệt từng lần | Dự báo đưa thẳng vào đặt hàng tự động |
| Phân tích dữ liệu nhân sự, học sinh | Chưa đủ | Luôn nên có, kèm người hiểu quy định về dữ liệu cá nhân |
| Số liệu gửi bên ngoài | Chưa đủ | Luôn nên có người thứ hai xem độc lập |
"Người có chuyên môn" không nhất thiết là nhà thống kê chuyên nghiệp. Với doanh nghiệp nhỏ, đó có thể là kế toán quản trị có kinh nghiệm, chuyên viên phân tích ở công ty đối tác, giảng viên thống kê ở trường gần, hoặc người quen làm nghề phân tích. Điều quan trọng là họ hiểu phương pháp và độc lập với người làm báo cáo.
Dấu hiệu câu trả lời của AI đã vượt khỏi phạm vi bạn tự kiểm được
Có một cách đơn giản để biết mình đang ở ranh giới: đọc lại câu trả lời và đánh dấu những thuật ngữ bạn không giải thích lại được cho đồng nghiệp bằng lời thường. Khoảng tin cậy, giá trị p, hồi quy nhiều biến, mô hình chuỗi thời gian, kiểm định phi tham số, khớp quá mức. Một hai thuật ngữ bạn có thể tra và hiểu được. Khi kết luận chính của báo cáo đứng trên những khái niệm bạn chưa nắm, đó là lúc cần người thứ hai.
Dấu hiệu khác là AI đổi phương pháp giữa các lần hỏi. Lần đầu dùng trung bình đơn giản, lần sau dùng một mô hình có tên phức tạp, lần sau nữa đề xuất một kỹ thuật khác, mỗi lần cho một con số hơi khác. Bạn không có căn cứ để chọn cách nào đúng, và chọn theo con số mình thích nhất là cách chọn tệ nhất.
Dấu hiệu thứ ba là kết quả quá nhạy: bỏ đi vài dòng, đổi khoảng thời gian thêm một tuần, kết luận đã đổi chiều. Độ nhạy này thường cho thấy dữ liệu chưa đủ để trả lời câu hỏi. Người có chuyên môn sẽ giúp bạn biết cần bao nhiêu dữ liệu nữa, hoặc nên đổi câu hỏi thành câu nhỏ hơn mà dữ liệu hiện có trả lời được.
Chuẩn bị hồ sơ trước khi nhờ người xem
Thời gian của chuyên gia đắt và có hạn. Chuẩn bị tốt giúp buổi làm việc ngắn và trúng. Một bộ hồ sơ gọn nên có:
- Câu hỏi kinh doanh, viết bằng một hai câu, kèm quyết định sẽ dựa trên câu trả lời.
- Mô tả dữ liệu: nguồn, khoảng thời gian, số dòng, đơn vị phân tích, cách thu thập, ai có thể vắng mặt trong dữ liệu.
- Phần trình bày cách tính mà AI đã đưa, theo khuôn dữ liệu đầu vào, bước lọc, nhóm, công thức, bảng trung gian.
- Các phép kiểm đã làm và kết quả: đối chiếu tổng, tính tay mẫu nhỏ, tách nhóm.
- Kết luận dự kiến và những chỗ bạn còn nghi ngờ.
- Dữ liệu đã che: thay tên người bằng mã, bỏ cột không cần, giữ nguyên cấu trúc. Nếu cần chia sẻ dữ liệu cho người ngoài công ty, thống nhất về bảo mật trước.
Chỉ riêng việc chuẩn bị bộ hồ sơ này đôi khi đã giúp bạn tự phát hiện vấn đề, vì phải viết rõ câu hỏi và cách thu thập dữ liệu ra giấy.
Những câu nên hỏi chuyên gia
Thay vì hỏi chung "kết quả này đúng không", hỏi những câu cụ thể giúp bạn hiểu và tự làm tốt hơn lần sau.
- Phương pháp đang dùng có phù hợp với câu hỏi và kiểu dữ liệu này không? Nếu không, nên dùng gì?
- Khác biệt quan sát được có vượt quá dao động ngẫu nhiên không? Cần thêm bao nhiêu dữ liệu để chắc hơn?
- Có yếu tố gây nhiễu hay thiên lệch nào mà phân tích chưa xử lý?
- Kết luận nên được viết lại thế nào cho đúng mức chắc chắn?
- Lần sau, nên thu thập dữ liệu hay thiết kế thử nghiệm khác đi thế nào?
- Có phép kiểm nào mình có thể tự làm thêm cho những trường hợp tương tự?
Câu hỏi cuối giúp bạn tích luỹ dần kỹ năng. Sau vài lần, những tình huống từng phải hỏi sẽ chuyển sang nhóm tự kiểm được.
Ghi câu trả lời vào cùng tệp ghi chú của báo cáo, để người làm tiếp sau bạn cũng biết vì sao phương pháp được chọn và những giới hạn nào đã được chấp nhận.
Dùng AI để chuẩn bị, không để thay người duyệt
AI hữu ích trong việc chuẩn bị cho buổi làm việc với chuyên gia: tóm tắt phân tích thành một trang, liệt kê các giả định của phương pháp đang dùng, gợi ý những câu hỏi nên hỏi, giải thích thuật ngữ bạn chưa quen. Bạn đến buổi làm việc hiểu bài toán của mình rõ hơn, và chuyên gia không phải giải thích lại từ đầu.
Điều không nên làm là dùng một AI khác để "duyệt" kết quả của AI đầu tiên rồi coi như đã có người thứ hai. Hai mô hình có thể mắc cùng một kiểu sai, và cả hai đều không chịu trách nhiệm với kết luận. Người duyệt độc lập cần là một người có thể giải thích lý do đồng ý hay phản đối, và có thể bị hỏi lại.
Với cá nhân đang học nghề phân tích, mỗi lần được người có kinh nghiệm xem lại là một bài học giá trị hơn nhiều bài giảng. Ghi lại những gì họ chỉ ra, đặc biệt là những lỗi bạn và AI đều không thấy. Danh sách đó dần thành bộ kiểm riêng của bạn.
Câu hỏi thường gặp
Doanh nghiệp nhỏ không có chuyên gia thống kê thì tìm ở đâu?
Có thể hỏi kế toán quản trị có kinh nghiệm, chuyên viên phân tích quen biết, giảng viên các môn thống kê, kinh tế lượng ở trường đại học gần, hoặc người làm phân tích tự do. Không cần thuê lâu dài; một buổi xem lại cho quyết định lớn thường đã đủ.
AI đã báo kết quả có ý nghĩa thống kê thì còn cần người xem không?
Cần, nếu quyết định quan trọng. Kết luận có ý nghĩa thống kê phụ thuộc vào việc chọn đúng kiểm định, thoả các giả định của nó, và không thử quá nhiều so sánh. AI có thể làm sai bất kỳ khâu nào mà câu trả lời vẫn trông chuẩn.
Nhờ người xem lại có làm chậm công việc không?
Có thêm thời gian, nhưng chỉ cho số ít quyết định lớn. Nếu chuẩn bị hồ sơ gọn, buổi làm việc thường ngắn. So với chi phí của một quyết định sai, thời gian này là nhỏ.
Chia sẻ dữ liệu công ty cho người bên ngoài xem có an toàn không?
Chỉ chia sẻ phần cần thiết, đã che thông tin cá nhân và bí mật kinh doanh. Thống nhất bằng văn bản về việc bảo mật và xoá dữ liệu sau khi xong. Nhiều khi chỉ cần chia sẻ bảng tổng hợp và cách tính, không cần dữ liệu gốc.
Mình tự học thống kê thì đến mức nào là đủ để tự duyệt?
Không có mốc cố định. Khi bạn giải thích được giả định của phương pháp, tự nhận ra khi nào nó không phù hợp, và kết quả tự duyệt của bạn nhiều lần khớp với nhận xét của người có kinh nghiệm, bạn có thể tự duyệt những loại việc tương tự.
Kết quả dự báo do AI làm có cần người xem mỗi tháng không?
Nếu dự báo chỉ để tham khảo và có người quyết định cuối cùng, theo dõi sai số dự báo hằng tháng là đủ. Nếu dự báo được dùng tự động, nên có người chuyên môn xem lại mô hình định kỳ và khi sai số tăng bất thường.