Giá trị ngoại lệ là những điểm số liệu nằm xa hẳn phần còn lại, như một ngày doanh thu gấp năm lần bình thường hay một đơn giao mất ba ngày giữa hàng trăm đơn giao trong vài giờ. Ngoại lệ có thể là lỗi ghi chép, cũng có thể là sự kiện thật và quan trọng nhất trong cả tập số liệu. Phân biệt hai trường hợp này là việc của người hiểu hoạt động kinh doanh, không phải việc của công thức.
Bài này giải thích cách nhận ra ngoại lệ, cách quyết định giữ, tách riêng hay loại khỏi một phép phân tích, và vì sao bạn không nên để trợ lý AI tự động bỏ những điểm "trông bất thường". Phần sửa lỗi nhập liệu và làm sạch bảng thuộc khâu chuẩn bị dữ liệu; trang chị em AI Dữ Liệu viết riêng về khâu đó. Ở đây chỉ bàn ngoại lệ ảnh hưởng tới kết luận phân tích ra sao.
Ngoại lệ ảnh hưởng tới kết luận như thế nào
Một ngoại lệ có thể kéo lệch hầu hết các con số tóm tắt. Trung bình bị kéo về phía nó; độ lệch chuẩn phình ra; đường xu hướng bị bẻ cong; tỉ lệ tăng trưởng của một tháng có thể đổi dấu chỉ vì một ngày. Ví dụ giả định: một quán ăn ở Hải Phòng nhận một tiệc cưới đặt trọn quán vào tháng 5. Doanh thu tháng 5 tăng vọt so với tháng 4, và nếu ai đó dùng con số này để dự báo tháng 6, kết quả sẽ quá cao.
Ngược lại, ngoại lệ cũng có thể là thông tin bạn cần nhất. Ngày doanh thu tăng vọt vì một bài đăng của khách được chia sẻ rộng có thể là gợi ý cho cách làm truyền thông. Đơn hàng giao chậm ba ngày có thể là dấu hiệu của một tuyến giao hoặc một đối tác vận chuyển đang có vấn đề. Xoá những điểm này để số liệu "sạch đẹp" là xoá luôn bài học.
Vì vậy câu hỏi đúng không phải "có nên bỏ ngoại lệ không" mà là "ngoại lệ này là gì, và câu hỏi phân tích của mình có cần tính nó vào không". Cùng một tiệc cưới, khi tính tổng doanh thu năm thì phải giữ, khi ước lượng doanh thu khách lẻ bình thường thì nên tách riêng.
Cách nhận ra ngoại lệ mà không cần công thức phức tạp
Có nhiều cách phát hiện ngoại lệ trong thống kê, nhưng với số liệu kinh doanh nhỏ, vài cách sau là đủ dùng và dễ giải thích cho người khác:
- Sắp xếp và nhìn hai đầu: xếp cột từ nhỏ tới lớn, đọc mười dòng đầu và mười dòng cuối. Mắt người bắt ngoại lệ rất nhanh khi chúng đứng cạnh các giá trị bình thường.
- Quy tắc khoảng tứ phân vị: tính khoảng giữa mốc 25% và mốc 75%; giá trị nào nằm xa hơn khoảng 1,5 lần độ rộng đó tính từ hai mốc thường được coi là ngoại lệ. Đây là quy ước phổ biến, không phải định luật.
- So với chính lịch sử: một ngày có doanh thu gấp ba trung vị của cùng thứ trong tuần ở các tuần trước đáng được xem lại. So cùng thứ quan trọng vì cuối tuần vốn khác ngày thường.
- So trong nhóm: một đơn 5 triệu là bình thường với khách sỉ nhưng bất thường với khách lẻ. Ngoại lệ phải xét trong đúng nhóm của nó.
- Nhìn biểu đồ theo thời gian: một cột đứng vọt lên hay một điểm rơi xuống sát đáy trên biểu đồ ngày thường lộ ra ngay mà không cần tính gì.
Quy tắc khoảng tứ phân vị và quy tắc độ lệch chuẩn chỉ là ngưỡng gợi ý để biết nên xem dòng nào. Vượt ngưỡng không có nghĩa là sai, chỉ có nghĩa là cần một người hiểu chuyện nhìn vào.
Giữ, tách riêng hay loại: quyết định theo nguồn gốc của ngoại lệ
Sau khi phát hiện, việc tiếp theo là tìm hiểu ngoại lệ đến từ đâu. Bảng dưới gợi ý cách xử lý theo từng loại nguồn gốc khi phân tích.
| Nguồn gốc | Ví dụ giả định | Xử lý khi phân tích |
|---|---|---|
| Lỗi ghi chép | Đơn 15 triệu thật ra là 150 nghìn, gõ thừa số 0 | Sửa ở nguồn nếu xác minh được; không xác minh được thì loại và ghi chú |
| Sự kiện thật, một lần | Tiệc cưới đặt trọn quán, đơn sỉ cho một văn phòng | Giữ trong tổng; tách riêng khi phân tích hoạt động bình thường hoặc dự báo |
| Sự kiện thật, có thể lặp lại | Ngày doanh thu tăng vì bài đăng được chia sẻ, ngày mất điện cả khu | Giữ và đánh dấu; xem có đáng thành biến riêng trong phân tích không |
| Nhóm khác bị gộp nhầm | Đơn nội bộ, đơn thử nghiệm, đơn của nhân viên | Loại khỏi phân tích khách hàng, ghi rõ tiêu chí loại |
| Chưa rõ nguồn gốc | Một ngày bán rất thấp không ai nhớ lý do | Giữ, chạy phân tích cả hai cách có và không có nó, báo cáo nếu kết luận thay đổi |
Dòng cuối là nguyên tắc an toàn nhất khi không chắc: làm cả hai phiên bản. Nếu kết luận giống nhau, ngoại lệ không quan trọng với câu hỏi này. Nếu kết luận khác nhau, đó là thông tin mà người đọc báo cáo cần biết.
Vì sao không để AI tự xoá ngoại lệ
Khi được giao "phân tích số liệu này", một số trợ lý AI có công cụ chạy mã sẽ tự áp dụng một quy tắc phát hiện ngoại lệ rồi lặng lẽ loại các dòng vượt ngưỡng, với ý tốt là làm kết quả ổn định hơn. Có khi nó ghi chú lại, có khi chỉ nhắc một dòng ở cuối câu trả lời mà người đọc dễ bỏ qua. Kết quả là con số bạn nhận được tính trên một tập dữ liệu khác với tập bạn đưa vào.
Nguy cơ còn lớn hơn khi các điểm bị loại lại chính là chuyện quan trọng. Một chuỗi cửa hàng có vài ngày doanh thu sụt mạnh vì hệ thống thanh toán lỗi; nếu AI coi đó là ngoại lệ và bỏ đi, báo cáo sẽ không cho thấy thiệt hại, và không ai đặt câu hỏi về hệ thống thanh toán.
Cách dặn đơn giản: "Không loại bất kỳ dòng nào. Nếu thấy giá trị bất thường, liệt kê chúng riêng kèm lý do cho là bất thường, rồi tính kết quả theo hai cách: giữ nguyên và không có các giá trị đó." Đồng thời yêu cầu AI nêu số dòng đã dùng trong mỗi phép tính. Nếu bảng bạn đưa có các cột nhận diện khách hay nhân viên, hãy thay bằng mã ngẫu nhiên trước, vì liệt kê ngoại lệ thường làm lộ đúng những trường hợp cá biệt dễ đoán ra là ai.
Quy trình xử lý ngoại lệ khi chuẩn bị một báo cáo
Một quy trình gọn cho người làm báo cáo định kỳ ở văn phòng hoặc cửa hàng:
- Chạy phát hiện: sắp xếp hoặc dùng quy tắc khoảng tứ phân vị để có danh sách các dòng đáng xem.
- Tra nguồn gốc từng dòng: hỏi người phụ trách ca, xem lại chứng từ, đối chiếu với lịch sự kiện.
- Phân loại theo bảng ở trên: lỗi, sự kiện một lần, sự kiện có thể lặp, nhóm khác, chưa rõ.
- Quyết định xử lý cho câu hỏi cụ thể của báo cáo, không phải cho mọi phân tích về sau.
- Ghi chú ngắn trong báo cáo: bao nhiêu dòng bị tách hay loại, vì sao, kết luận có đổi không.
- Lưu danh sách ngoại lệ đã xác minh vào một bảng riêng để lần sau không phải tra lại từ đầu.
Bước sáu biến công việc lặp lại thành tài sản. Sau vài tháng, bảng ngoại lệ đã xác minh trở thành lịch sử sự kiện của doanh nghiệp: ngày nào mất điện, tuần nào có hội chợ, tháng nào có đơn lớn. Đây cũng là bảng rất có ích khi bạn so sánh cùng kỳ hay dự báo.
Ngoại lệ ở phía thấp: những ngày, những đơn bị bỏ quên
Khi nói tới ngoại lệ, người ta thường nghĩ tới các giá trị quá lớn. Nhưng trong số liệu vận hành, ngoại lệ ở phía thấp thường khó thấy hơn và đáng lo hơn. Một ngày doanh thu chỉ bằng một phần ba bình thường, một chi nhánh có số đơn gần bằng không trong vài giờ, một nhân viên ghi nhận số giao dịch thấp bất thường trong một ca: đây có thể là dấu hiệu máy thanh toán lỗi, mất kết nối, hàng hết mà không ai báo, hoặc dữ liệu không được ghi vào hệ thống.
Lý do khó thấy là biểu đồ và báo cáo tổng thường làm mờ chúng. Một ngày thấp bất thường giữa một tháng bình thường chỉ làm tổng tháng giảm nhẹ, không ai để ý. Nhưng nếu đó là do hệ thống ghi đơn bị lỗi, phần doanh thu đó có thể vẫn đã bán, chỉ là không được ghi nhận, và câu chuyện lúc ấy chuyển sang đối soát tiền mặt.
Khi nhờ AI rà soát, hãy hỏi rõ cả hai phía: "liệt kê những ngày và những chi nhánh có giá trị cao hoặc thấp bất thường so với cùng thứ trong tuần của bốn tuần trước". Nếu không nói, nhiều công cụ chỉ chú ý tới các đỉnh nhọn vì chúng nổi bật hơn trên bảng số.
Hiểu lầm thường gặp về ngoại lệ
Ngoại lệ luôn là lỗi. Trong số liệu kinh doanh, phần lớn ngoại lệ là sự kiện thật. Coi chúng là lỗi dẫn tới bỏ sót thông tin quan trọng.
Bỏ ngoại lệ thì phân tích khách quan hơn. Bỏ hay giữ đều là một lựa chọn có ảnh hưởng tới kết quả. Khách quan là ghi rõ lựa chọn đó và cho thấy kết quả có đổi hay không.
Ngưỡng ba độ lệch chuẩn là chuẩn cho mọi loại số liệu. Ngưỡng này hợp với số liệu gần cân đối. Với số liệu lệch như giá trị đơn hàng, nó sẽ gắn cờ quá nhiều điểm ở phía lớn và gần như không bao giờ ở phía nhỏ.
Số liệu càng nhiều thì càng ít ngoại lệ. Ngược lại, tập số liệu lớn hơn thường chứa nhiều ngoại lệ hơn về số lượng, chỉ là chúng chiếm tỉ lệ nhỏ hơn và ảnh hưởng tới trung bình ít hơn.
Câu hỏi thường gặp
Giá trị ngoại lệ là gì?
Giá trị ngoại lệ là điểm số liệu nằm xa hẳn phần lớn các điểm còn lại trong cùng tập số liệu. Nó có thể là lỗi ghi chép, sự kiện bất thường có thật, hoặc dấu hiệu của một nhóm khác bị gộp chung. Cần tìm hiểu nguồn gốc trước khi quyết định xử lý.
Có nên xoá ngoại lệ khỏi dữ liệu gốc không?
Không nên xoá khỏi dữ liệu gốc, trừ khi đã xác minh đó là lỗi và sửa được về giá trị đúng. Khi phân tích, có thể tách hoặc loại ngoại lệ cho một câu hỏi cụ thể, nhưng dữ liệu gốc vẫn giữ nguyên để kiểm lại về sau.
Quy tắc 1,5 lần khoảng tứ phân vị là gì?
Đó là quy ước phổ biến: tính khoảng giữa mốc 25% và mốc 75%, nhân 1,5, rồi cộng vào mốc 75% và trừ khỏi mốc 25% để có hai ngưỡng. Giá trị nằm ngoài hai ngưỡng được đánh dấu để xem xét, không tự động bị coi là sai.
Một tháng có đơn hàng lớn bất thường thì so cùng kỳ thế nào?
Tính tăng trưởng theo hai cách: có và không có đơn đó, rồi ghi chú rõ trong báo cáo. Cách tách này cho thấy hoạt động bình thường đang tăng hay giảm, đồng thời không giấu đi đóng góp thật của đơn lớn vào doanh thu.
Làm sao biết AI đã tự loại dòng dữ liệu nào?
Yêu cầu AI nêu số dòng đã dùng trong từng phép tính và so với số dòng bạn đưa vào. Thêm câu lệnh cấm loại dòng và yêu cầu liệt kê riêng các giá trị bất thường, để mọi quyết định giữ bỏ đều do bạn đưa ra.