Một khẳng định kiểu "doanh thu tăng nhờ chương trình tích điểm" hay "khách bỏ đi vì đổi thực đơn" chỉ nên được tin sau khi đã loại các cách giải thích khác: một yếu tố chung tác động cả hai, quan hệ ngược chiều, hồi quy về mức trung bình, sự trùng hợp về thời điểm. Khi không loại được, kết luận đúng mực là "hai việc xảy ra cùng lúc", không phải "việc này gây ra việc kia". Cách chắc nhất để biết nhân quả trong kinh doanh nhỏ là làm một thử nghiệm có nhóm đối chứng.
AI phân tích rất giỏi viết những câu giải thích nguyên nhân trôi chảy, và chính sự trôi chảy đó khiến người đọc dễ tin. Bài này đưa ra sáu câu hỏi để kiểm một khẳng định nhân quả, ví dụ giả định cho từng câu, và cách thiết kế thử nghiệm nhỏ ở cửa hàng. Phần khái niệm cơ bản về tương quan và nhân quả có bài riêng ở danh mục nền tảng; ở đây tập trung vào việc kiểm.
Vì sao AI hay viết câu nhân quả
Khi bạn hỏi "vì sao doanh thu tháng này giảm", câu hỏi đã đòi một nguyên nhân. Mô hình ngôn ngữ được huấn luyện để đưa ra câu trả lời thoả mãn câu hỏi, nên nó sẽ tìm trong dữ liệu một thứ thay đổi cùng lúc và gán làm nguyên nhân. Nếu trong tháng có đổi giá, đổi nhân viên, đổi thực đơn, thứ nào được nhắc trong câu lệnh hoặc nổi bật trong dữ liệu sẽ dễ được chọn làm thủ phạm.
Ngôn ngữ báo cáo kinh doanh mà mô hình đã học cũng đầy những chữ "nhờ", "do", "kéo theo", "thúc đẩy". Vì vậy ngay cả khi phép tính chỉ cho thấy hai chuỗi số chạy cùng chiều, phần diễn giải thường viết như thể đã chứng minh được quan hệ nhân quả.
Điều này không có nghĩa AI luôn sai. Nhiều giả thuyết nó đưa ra là hợp lý và đáng kiểm. Vấn đề là ranh giới giữa giả thuyết và kết luận bị xoá mờ trong câu chữ. Việc của bạn là kéo ranh giới đó trở lại: coi mọi câu "vì A nên B" là giả thuyết, cho tới khi nó qua được các câu hỏi ở mục dưới.
Sáu câu hỏi kiểm một khẳng định nhân quả
Có yếu tố nào tác động cả A lẫn B không? Ví dụ giả định: AI nói "các ngày có chạy quảng cáo, doanh thu cao hơn". Nhưng quảng cáo thường được chạy vào cuối tuần và dịp lễ, vốn là những ngày doanh thu đã cao. Thời điểm là yếu tố chung. So sánh công bằng là so ngày cuối tuần có quảng cáo với ngày cuối tuần không có.
Có thể là B gây ra A không? AI nói "nhân viên được đào tạo nhiều thì bán tốt hơn". Có thể ngược lại: người bán tốt được quản lý chọn đi đào tạo nhiều hơn. Hỏi xem cái nào xảy ra trước, và việc chọn người đi đào tạo dựa trên tiêu chí gì.
Có phải chỉ là hồi quy về trung bình không? Tháng tệ nhất năm thường được theo sau bởi một tháng khá hơn, dù bạn làm gì hay không làm gì, vì tháng tệ nhất thường có phần xui rủi khó lặp lại. Mọi hành động bắt đầu ngay sau một kỳ đặc biệt tệ đều dễ trông như hiệu quả.
Có thay đổi nào khác xảy ra cùng lúc không? Chương trình khuyến mãi bắt đầu đúng tuần lương về, đúng tuần đối thủ gần đó đóng cửa sửa chữa, đúng tuần thời tiết đẹp lên. Liệt kê mọi thứ thay đổi trong khoảng thời gian đó, không chỉ thứ bạn đang muốn đánh giá.
Đã thử bao nhiêu giả thuyết trước khi thấy cái này? Nếu bạn hoặc AI đã thử tách dữ liệu theo hai mươi cách khác nhau rồi mới thấy một cách cho kết quả nổi bật, khả năng cao đó là ngẫu nhiên. Tìm đủ lâu thì luôn thấy một mẫu hình nào đó.
Cơ chế có hợp lý theo hiểu biết nghề không? Một quan hệ nhân quả thật thường có cơ chế giải thích được: khách thấy gì, nghĩ gì, làm gì. Nếu không ai trong nghề giải thích được vì sao A dẫn tới B, cần nhiều bằng chứng hơn trước khi tin.
Ví dụ giả định: một kết luận đi qua sáu câu hỏi
Một cửa hàng giày ở Đồng Tháp đổi cách bày trưng từ đầu tháng 4. AI phân tích doanh thu và kết luận: "Cách bày mới giúp doanh thu tăng 15%." Bảng dưới là kết quả khi chủ cửa hàng chạy qua sáu câu hỏi. Mọi con số là ví dụ giả định.
| Câu hỏi | Phát hiện | Ảnh hưởng tới kết luận |
|---|---|---|
| Yếu tố chung | Tháng 4 có mùa cưới và học sinh nghỉ lễ | Một phần mức tăng do mùa |
| Nhân quả ngược | Không áp dụng: cách bày đổi trước, doanh thu đổi sau | Không ảnh hưởng |
| Hồi quy về trung bình | Tháng 3 là tháng thấp nhất năm do mưa nhiều | Tháng 4 vốn dễ cao hơn tháng 3 |
| Thay đổi cùng lúc | Cùng tháng nhập thêm một dòng sản phẩm mới | Không tách được phần của cách bày và phần của sản phẩm mới |
| Số giả thuyết đã thử | Chỉ một giả thuyết được đặt từ trước | Không ảnh hưởng |
| Cơ chế | Khách dễ thấy giày mùa hè hơn ở lối vào | Cơ chế hợp lý, đáng thử nghiệm tiếp |
Kết luận sửa lại: "Doanh thu tháng 4 cao hơn tháng 3 khoảng 15%; một phần do mùa vụ và do tháng 3 thấp bất thường, một phần chưa tách được giữa cách bày mới và dòng sản phẩm mới. Cách bày mới có cơ chế hợp lý, đề xuất thử nghiệm để đo riêng." Câu này kém ấn tượng hơn câu ban đầu nhưng không dẫn tới quyết định sai, như đổi cách bày ở mọi cửa hàng rồi chờ một mức tăng sẽ không xảy ra.
Hồi quy về trung bình khi đánh giá một việc vừa làm
Trong sáu câu hỏi, hồi quy về trung bình là thứ người làm kinh doanh hay bỏ qua nhất khi đánh giá hiệu quả, vì nó đi ngược trực giác. Khái niệm này có bài giải thích riêng ở danh mục nền tảng; ở đây chỉ bàn cách nó làm sai kết luận nhân quả. Một kỳ kết quả cực đoan, dù cực tốt hay cực xấu, thường có phần may rủi, và kỳ sau có xu hướng quay về gần mức thường, bất kể bạn làm gì.
Hệ quả thực tế: nếu bạn chỉ hành động khi kết quả rất tệ, như khi doanh số chi nhánh rơi xuống thấp nhất, rồi đo lại tháng sau, hành động nào cũng trông có hiệu quả. AI nhìn chuỗi số "thấp rồi tăng" ngay sau ngày bạn thay đổi và viết rằng thay đổi đã có tác dụng. Ngược lại, khen thưởng sau một tháng xuất sắc thường được theo sau bởi tháng kém hơn, dễ dẫn tới kết luận sai rằng khen thưởng làm người ta chủ quan. Daniel Kahneman kể một câu chuyện tương tự về các huấn luyện viên bay tin rằng chê trách hiệu quả hơn khen ngợi, trong cuốn Tư duy nhanh và chậm.
Cách kiểm là hỏi: kỳ trước khi thay đổi có phải là kỳ thấp hoặc cao bất thường không, và vì sao lại chọn hành động đúng lúc đó. Nếu câu trả lời là "vì số đang tệ", đừng so kỳ đó với kỳ ngay sau. So với mức trung bình dài hơn, hoặc tốt hơn, so với một nhóm tương tự không được thay đổi trong cùng thời gian.
Thử nghiệm nhỏ có đối chứng ở cửa hàng
Khi một giả thuyết nhân quả quan trọng đủ để thay đổi cách làm, cách chắc nhất là thử. Không cần phòng thí nghiệm, chỉ cần một vài nguyên tắc.
- Viết giả thuyết và chỉ số đo trước. Ví dụ: cách bày mới làm tăng số đôi giày bán mỗi ngày. Đo bằng số đôi, không đổi chỉ số giữa chừng.
- Chọn nhóm đối chứng. Nếu có nhiều cửa hàng, áp dụng ở một số và giữ nguyên ở số còn lại. Nếu chỉ có một cửa hàng, xen kẽ theo tuần: tuần áp dụng, tuần không.
- Phân bổ không theo cảm tính. Bốc thăm cửa hàng hoặc tuần nào áp dụng, để bạn không vô tình chọn cửa hàng đang có đà tốt.
- Chạy đủ lâu. Ít nhất vài chu kỳ tuần, để ngày thường và cuối tuần đều có ở cả hai nhóm.
- Không đổi thêm gì khác trong thời gian thử. Nếu bắt buộc phải đổi, đổi ở cả hai nhóm.
- So hai nhóm trong cùng thời gian. Đây là điểm mấu chốt: đối chứng cùng thời gian loại được mùa vụ, thời tiết, ngày lương.
Có thể nhờ AI giúp thiết kế lịch thử và phân tích kết quả. Khi tải dữ liệu thử nghiệm lên, vẫn che mã khách, tên nhân viên. Với thử nghiệm quy mô lớn hoặc quyết định tốn kém, nên nhờ người có chuyên môn thống kê xem thiết kế trước khi chạy.
Câu lệnh mẫu buộc AI tự phản biện giả thuyết nhân quả
AI làm vai người phản biện khá tốt khi được giao vai rõ ràng. Thay vì hỏi "vì sao doanh thu tăng", hãy dùng các câu lệnh dưới đây sau khi đã có kết quả tính toán. Nhớ thay tên khách, tên nhân viên bằng mã trước khi tải dữ liệu.
- "Liệt kê ít nhất bốn cách giải thích khác cho mức tăng này ngoài chương trình khuyến mãi. Với mỗi cách, nêu dữ liệu nào trong tệp có thể dùng để kiểm, và kết quả kiểm."
- "Tách doanh thu theo ngày trong tuần và theo tuần trong tháng, so giữa thời gian có và không có chương trình. Có yếu tố thời điểm nào lẫn vào không?"
- "Tháng trước có phải là tháng thấp bất thường so với trung bình mười hai tháng không? Nếu có, mức tăng tháng này còn bao nhiêu khi so với trung bình đó?"
- "Trong quá trình phân tích, đã thử bao nhiêu cách tách dữ liệu? Liệt kê tất cả, kể cả những cách không cho kết quả nổi bật."
- "Viết lại kết luận theo đúng mức bằng chứng hiện có, không dùng các chữ chỉ quan hệ nhân quả."
Câu lệnh thứ tư đặc biệt hữu ích khi bạn đã trò chuyện lâu với AI về cùng một bộ dữ liệu: nó buộc cả bạn và AI nhìn lại tổng số lần đã đi tìm, thay vì chỉ nhớ lần tìm thấy.
Viết kết luận đúng mức chắc chắn
Không phải lúc nào cũng có thời gian thử nghiệm. Khi đó, điều quan trọng là câu chữ trong báo cáo phản ánh đúng mức chắc chắn. Có thể dùng ba mức. Mức một, "xảy ra cùng lúc": hai thay đổi trùng thời điểm, chưa kiểm gì thêm. Mức hai, "có dấu hiệu liên quan": đã loại một số cách giải thích khác như mùa vụ, yếu tố chung. Mức ba, "có bằng chứng tác động": đã có thử nghiệm có đối chứng.
Khi nhờ AI viết phần nhận xét, thêm vào câu lệnh: "Không dùng các chữ nhờ, do, vì, giúp, khiến khi nói về quan hệ giữa hai chỉ số, trừ khi có thử nghiệm có đối chứng. Dùng các cụm xảy ra cùng lúc, có liên quan, đi kèm, và nêu các cách giải thích khác chưa loại trừ." Câu lệnh này làm báo cáo bớt hào hứng, nhưng sát sự thật hơn.
Người ra quyết định đôi khi vẫn cần hành động khi chưa chắc chắn, và điều đó hoàn toàn hợp lý. Báo cáo tốt không né tránh việc đưa ra đề xuất; nó chỉ nói rõ đề xuất dựa trên mức bằng chứng nào, để người quyết định biết mình đang đặt cược bao nhiêu.
Câu hỏi thường gặp
Tương quan rất mạnh thì có đủ để kết luận nhân quả không?
Không. Tương quan mạnh chỉ cho biết hai thứ đi cùng nhau rất đều. Nó vẫn có thể do yếu tố chung, do quan hệ ngược chiều hoặc do trùng hợp về xu hướng thời gian. Độ mạnh của tương quan không thay được việc loại các cách giải thích khác.
Cửa hàng chỉ có một chi nhánh thì thử nghiệm thế nào?
Xen kẽ theo thời gian, như tuần áp dụng, tuần không, bốc thăm thứ tự các tuần. Hoặc áp dụng cho một phần sản phẩm, một khung giờ. Cách này kém chắc hơn có nhiều chi nhánh nhưng tốt hơn nhiều so với so trước và sau.
AI có thể tự kiểm nhân quả giúp không?
AI có thể chạy các phép tách theo mùa, theo nhóm, và liệt kê các cách giải thích khác khi được yêu cầu. Nhưng nó không biết những thay đổi không có trong dữ liệu như đối thủ đóng cửa, thời tiết, sự kiện địa phương. Phần đó cần người trong nghề bổ sung.
So sánh trước và sau một thay đổi có dùng được không?
Dùng được làm dấu hiệu ban đầu, nhưng là bằng chứng yếu vì mọi thứ khác cũng thay đổi theo thời gian. Củng cố bằng cách so với cùng kỳ năm trước và so với một nhóm không thay đổi trong cùng thời gian, nếu có.
Kết quả thử nghiệm chênh lệch nhỏ thì có ý nghĩa không?
Chênh lệch nhỏ có thể chỉ là dao động ngẫu nhiên, nhất là khi thử ngắn hoặc số đơn ít. Xem mức dao động thường ngày của chỉ số trước khi kết luận. Với quyết định quan trọng, nhờ người có chuyên môn thống kê đánh giá.
Có nên công bố kết quả kiểu “nhờ AI, doanh thu tăng” ra ngoài?
Chỉ khi có bằng chứng đủ chắc, và ghi rõ cách đo. Công bố một quan hệ nhân quả chưa kiểm vừa dễ sai vừa có thể gây hiểu lầm cho khách hàng, đối tác. Nội bộ thì ghi đúng mức chắc chắn như đã nêu.