Chatbot bịa số khi nó trả lời câu hỏi về dữ liệu bằng cách đoán theo ngôn ngữ thay vì tính trên tệp, hoặc khi nó không đọc được phần dữ liệu cần thiết nhưng vẫn cố đưa ra một con số trọn vẹn. Cách chống hiệu quả nhất là yêu cầu mỗi con số trong câu trả lời đi kèm nguồn: lấy từ những dòng nào, cột nào, bằng phép tính gì. Con số không chỉ ra được nguồn thì coi như chưa có.
Bài này giải thích cơ chế ở mức người dùng cần biết, liệt kê dấu hiệu nhận ra số bịa trong bối cảnh báo cáo bán hàng, chi phí, tồn kho, và đưa ra bộ câu lệnh giúp bạn ép mọi con số trở về dữ liệu gốc. Ví dụ trong bài đều là ví dụ giả định.
Vì sao một mô hình ngôn ngữ lại "nghĩ ra" con số
Mô hình ngôn ngữ được huấn luyện để viết tiếp văn bản sao cho hợp lý nhất. Với câu hỏi "doanh thu tháng 9 tăng bao nhiêu so với tháng 8", câu trả lời hợp lý nhất về mặt ngôn ngữ là một câu có một con số phần trăm. Nếu mô hình không thật sự tính, nó vẫn có thể sinh ra một con số nghe hợp lý, vì những câu trả lời kiểu đó xuất hiện rất nhiều trong dữ liệu nó học. Hiện tượng này thường được gọi là ảo giác, và nó không có ác ý gì: mô hình không biết là nó không biết.
Các công cụ có tính năng phân tích tệp thường giảm rủi ro này bằng cách viết và chạy mã thật trên dữ liệu. Nhưng không phải lúc nào chúng cũng chạy mã. Với câu hỏi ngắn, với bảng dán thẳng vào khung chat thay vì tải tệp, hoặc khi tệp lớn hơn giới hạn đọc, công cụ có thể trả lời bằng cách đọc lướt. Bạn cũng không luôn thấy rõ lần trả lời nào có chạy mã, vì giao diện mỗi công cụ hiển thị khác nhau và thay đổi theo phiên bản.
Một nguồn bịa số khác ít người để ý: cuộc trò chuyện dài. Sau hàng chục lượt hỏi, mô hình có thể nhớ lẫn con số của bảng trước với bảng sau, hoặc trộn số liệu ví dụ bạn đưa vào câu lệnh với số liệu thật trong tệp. Đây là lý do nên mở cuộc trò chuyện mới cho mỗi bộ dữ liệu quan trọng.
Sáu dấu hiệu một con số có thể bị bịa
Không có dấu hiệu nào là bằng chứng chắc chắn, nhưng gặp từ hai dấu hiệu trở lên thì nên coi con số đó là chưa kiểm và truy lại từ đầu.
- Số đẹp bất thường. Dữ liệu bán lẻ hiếm khi cho ra tăng trưởng đúng 25,0% hay doanh thu trung bình đúng 1,5 triệu đồng mỗi đơn. Số tròn không sai, nhưng nên hỏi lại.
- Không nêu số dòng. Câu trả lời có kết quả nhưng không nói đã dùng bao nhiêu dòng, bao nhiêu đơn. Hỏi thêm mà AI trả lời chung chung là dấu hiệu nó không có phép tính thật để dựa vào.
- Có thứ không tồn tại trong tệp. Tên sản phẩm, tên chi nhánh, tên cột hay khoảng thời gian không có trong dữ liệu của bạn xuất hiện trong câu trả lời.
- Các con số không khớp nhau. Tổng theo nhóm cộng lại không bằng tổng chung, hoặc phần trăm các phần cộng lại vượt xa 100%.
- Đổi khi hỏi lại. Cùng câu hỏi, cùng tệp, cuộc trò chuyện mới, ra con số khác. Phép tính thật trên cùng dữ liệu phải cho cùng kết quả.
- Giải thích đi trước con số. Câu trả lời có một đoạn phân tích nguyên nhân dài, sinh động, nhưng phần số thì mỏng. Văn hay thường che đi việc chưa tính.
Dấu hiệu thứ năm đặc biệt hữu ích vì dễ thử: mở cửa sổ mới, tải lại đúng tệp, hỏi lại đúng câu. Mất hai phút mà cho bạn biết ngay kết quả có ổn định hay không.
Những chỗ số bịa hay chen vào báo cáo kinh doanh
Số so sánh với kỳ không có trong tệp. Bạn chỉ tải dữ liệu tháng 9 nhưng câu trả lời lại nói "tăng 12% so với tháng 8". Không có tháng 8 trong tệp thì con số so sánh đó chỉ có thể là đoán. Lỗi này rất hay gặp khi câu hỏi có chữ "tăng" hay "giảm".
Chỉ số cần dữ liệu bạn chưa đưa. Biên lợi nhuận cần giá vốn, tỉ lệ chuyển đổi cần số lượt truy cập, tỉ lệ khách quay lại cần mã khách nhất quán. Khi thiếu một trong các thành phần đó mà câu trả lời vẫn có số, gần như chắc chắn có phần được ước đoán.
Mức trung bình ngành để so sánh. Câu kiểu "tỉ lệ này cao hơn mức trung bình ngành bán lẻ" thường không có nguồn đi kèm. Mô hình có thể nhớ lẫn một con số từng thấy ở thị trường khác, năm khác, định nghĩa khác.
Dự báo kèm độ tin cậy nghe rất chính xác. Một câu như "doanh thu tháng tới dự kiến 412 triệu, độ tin cậy 95%" cần hỏi ngay: dùng mô hình gì, trên bao nhiêu tháng dữ liệu. Nhiều khi phía sau chỉ là một phép nhân đơn giản được trình bày bằng ngôn ngữ thống kê.
Bắt AI chỉ ra nguồn của từng con số
Yêu cầu cột "nguồn" cho mọi bảng kết quả. Thêm vào câu lệnh: "Với mỗi con số trong câu trả lời, ghi rõ nó được tính từ cột nào, lọc theo điều kiện gì, trên bao nhiêu dòng." Câu trả lời sẽ dài hơn nhưng mỗi con số đều có đường lần lại.
Yêu cầu in vài dòng gốc làm bằng chứng. Với các kết luận như "sản phẩm X bán chạy nhất tuần", yêu cầu in ra năm dòng giao dịch đầu tiên của sản phẩm đó cùng tổng số dòng. Nếu những dòng in ra không có trong tệp của bạn, bạn biết ngay có vấn đề.
Tách bước tính khỏi bước diễn giải. Hỏi theo hai lượt. Lượt một chỉ yêu cầu bảng số, không bình luận. Lượt hai mới hỏi ý nghĩa. Khi bị buộc đưa bảng trước, mô hình khó dựng một câu chuyện rồi lắp số vào sau.
Cho phép AI nói "không biết". Viết rõ trong câu lệnh: "Nếu không đọc được dữ liệu cần thiết hoặc không chắc chắn, hãy nói rõ là không tính được và lý do, không được ước đoán." Câu này nghe hiển nhiên nhưng làm thay đổi đáng kể cách nhiều mô hình trả lời.
Yêu cầu xem mã hoặc công thức. Với công cụ có chạy mã, yêu cầu hiển thị đoạn mã đã chạy. Bạn không cần đọc hiểu hết, chỉ cần thấy tên cột và điều kiện lọc trong đó có khớp với câu hỏi không.
Ví dụ giả định: một câu trả lời có số bịa và cách lần ra
Một chủ quán cà phê ở Huế tải tệp đơn hàng tháng 9 lên chatbot, hỏi món nào có biên lợi nhuận cao nhất. Câu trả lời liệt kê ba món với biên lợi nhuận từng món. Bảng dưới là các bước chủ quán đã làm để kiểm, tất cả số liệu là ví dụ giả định.
| Bước kiểm | Phát hiện | Kết luận |
|---|---|---|
| Hỏi: biên lợi nhuận tính từ cột nào? | AI nói dùng cột "giá vốn" | Tệp không có cột giá vốn nào |
| Hỏi: in năm dòng có giá vốn của món đứng đầu | AI xin lỗi, nói đã ước tính giá vốn theo mức phổ biến của ngành | Ba con số biên lợi nhuận là ước đoán, không phải tính toán |
| Tải thêm bảng giá vốn đã che tên nhà cung cấp, hỏi lại | AI tính ra thứ tự khác hẳn: món đứng đầu lúc trước rơi xuống thứ năm | Kết quả mới có nguồn, kiểm tiếp bằng tính tay hai món |
| Tự tính tay hai món bằng bảng tính | Khớp với kết quả mới | Dùng được trong báo cáo, ghi rõ nguồn giá vốn và tháng áp dụng |
Điểm đáng chú ý là câu trả lời đầu tiên không hề nói "ước tính". Nó trình bày ba con số như kết quả tính toán, kèm nhận xét hợp lý về món nào nên đẩy mạnh. Chỉ khi hỏi "từ cột nào" thì phần bịa mới lộ ra.
Giảm khả năng bị bịa số ngay từ cách đưa dữ liệu
Phần lớn tình huống bịa số bắt đầu từ việc AI thiếu dữ liệu nhưng không nói ra. Bạn giảm được rủi ro đáng kể bằng cách đưa dữ liệu đúng cách. Tải tệp thay vì dán bảng dài vào khung chat, vì dán vào khung chat dễ bị cắt hoặc vỡ cột. Đặt tên cột rõ ràng bằng tiếng Việt có dấu hoặc không dấu nhưng nhất quán, tránh tên kiểu "Cột1", "Unnamed". Bỏ các dòng tổng phụ, dòng ghi chú, ô gộp ở đầu bảng trước khi tải lên.
Mô tả tệp bằng vài câu ở đầu câu lệnh: tệp gồm những gì, mỗi dòng là một đơn hàng hay một sản phẩm trong đơn, đơn vị tiền là đồng hay nghìn đồng, cột trạng thái có những giá trị nào. Câu mô tả này giúp AI không phải đoán, và giúp bạn phát hiện ngay khi AI hiểu khác.
Trước khi tải lên, che các thông tin không cần cho câu hỏi: tên và số điện thoại khách, địa chỉ giao hàng, mã số thuế, giá nhập riêng của từng nhà cung cấp. Thay bằng mã như KH001 hay NCC-A là đủ cho hầu hết phân tích. Che dữ liệu vừa bảo vệ khách vừa giảm kích thước tệp, khiến AI đọc trọn vẹn hơn.
Khi nào nên thôi hỏi AI và tự tính
Có những câu hỏi mà tự tính bằng bảng tính nhanh hơn cả việc soạn câu lệnh rồi kiểm lại. Tổng một cột, đếm số đơn theo ngày, lọc ra mười sản phẩm bán nhiều nhất là những việc bảng tính làm chính xác tuyệt đối trong vài giây. Dùng AI cho những việc này chỉ thêm một lớp có thể sai.
AI phát huy tác dụng ở những chỗ khác: gợi ý nên nhìn dữ liệu theo góc nào, viết công thức phức tạp mà bạn chưa nhớ cú pháp, tóm tắt kết quả thành câu dễ hiểu cho sếp, liệt kê những câu hỏi tiếp theo nên đặt ra. Ở những việc này, nếu AI sai, bạn thấy ngay khi áp dụng.
Một nguyên tắc thực tế: con số nào sẽ xuất hiện trong báo cáo, trong tin nhắn gửi đối tác hay dùng để quyết định tiền bạc thì phải có một phép tính bạn kiểm được đứng sau nó. Con số chỉ dùng để gợi ý hướng suy nghĩ thì có thể chấp nhận mức chắc chắn thấp hơn, miễn là bạn nhớ nó chưa được kiểm.
Câu hỏi thường gặp
Chatbot có biết là nó đang bịa số không?
Thường là không theo nghĩa con người hiểu. Mô hình sinh ra câu trả lời có xác suất cao nhất, và một con số hợp lý có thể có xác suất cao dù không được tính. Vì vậy hỏi "bạn có chắc không" ít tác dụng hơn hỏi "con số này tính từ dòng nào".
Bản có chạy mã thì có hết bịa số không?
Giảm nhiều nhưng không hết. Mã có thể chạy đúng trên một cách hiểu sai về cột, và phần diễn giải sau khi chạy mã vẫn do mô hình viết, nên vẫn có thể thêm thắt những nhận định không có trong kết quả tính.
Dán bảng vào khung chat hay tải tệp thì tốt hơn?
Với bảng trên vài chục dòng, tải tệp thường tốt hơn vì công cụ có thể đọc bằng mã. Dán bảng dài dễ bị cắt, vỡ cột, mất định dạng số. Bảng nhỏ vài dòng thì dán cũng được, nhưng vẫn nên kiểm lại.
Có cách nào phát hiện số bịa mà không cần tính lại không?
Kiểm tính nhất quán nội bộ: tổng các phần có bằng tổng chung không, phần trăm có hợp lý không, tên sản phẩm và chi nhánh có đúng là của bạn không. Cách này không bắt được mọi lỗi nhưng bắt được nhiều lỗi rất nhanh.
Nếu AI thừa nhận đã ước tính, có dùng kết quả đó được không?
Chỉ dùng như một giả thuyết để kiểm, không đưa vào báo cáo như số liệu. Nếu cần con số đó, bổ sung dữ liệu còn thiếu rồi yêu cầu tính lại, hoặc ghi rõ trong báo cáo đây là ước tính kèm cơ sở ước tính.
Có nên dùng số liệu ngành mà chatbot đưa ra để so sánh với cửa hàng mình không?
Cẩn thận. Số liệu thị trường, tỉ lệ trung bình ngành mà chatbot nêu có thể không có nguồn hoặc đã cũ. Nếu cần so sánh, hỏi nguồn cụ thể rồi tự tìm và đọc nguồn đó; không tìm thấy thì không dùng.