Đo hiệu quả dự án AI bằng chỉ số nào
Không có số liệu thì mọi tranh luận về hiệu quả đều dựa trên cảm tính. Đây là bộ chỉ số nên theo dõi ngay từ đầu.
Sau vài tháng chạy, câu hỏi luôn quay lại: dự án này có hiệu quả không, có nên mở rộng không. Nếu không thiết lập chỉ số từ đầu, câu trả lời sẽ phụ thuộc vào việc hôm đó ai lên tiếng to hơn.
Bài viết này trình bày bộ chỉ số chúng tôi thiết lập cho mọi dự án, chia làm bốn nhóm.
Nhóm 1: Chỉ số kinh doanh
Đây là nhóm quan trọng nhất và cũng là nhóm hay bị bỏ qua nhất, vì nó đòi hỏi phải đo trạng thái trước khi triển khai.
- Thời gian xử lý trung bình một yêu cầu, một đơn hàng, một hồ sơ.
- Khối lượng xử lý thủ công còn lại mỗi ngày.
- Tỉ lệ tồn đọng — số việc chưa xử lý cuối ngày.
Hãy đo các con số này trong ít nhất hai tuần trước khi triển khai. Không có mốc so sánh thì sau này không cách nào chứng minh được hiệu quả.
Nhóm 2: Chất lượng đầu ra
Tỉ lệ chấp nhận
Trong mô hình con người xem lại kết quả AI, đây là chỉ số trực tiếp nhất: bao nhiêu phần trăm đề xuất của AI được chấp nhận mà không cần sửa. Chỉ số này thu thập được tự động, không tốn công đánh giá thủ công.
Tỉ lệ sai nghiêm trọng
Không phải mọi lỗi đều như nhau. Hãy định nghĩa rõ thế nào là lỗi nghiêm trọng trong ngữ cảnh của bạn — sai số tiền, sai thông tin chính sách, trả lời về vấn đề pháp lý — và theo dõi riêng nhóm này. Một tỉ lệ chính xác tổng thể 95% nghe có vẻ tốt, nhưng nếu 5% còn lại toàn lỗi nghiêm trọng thì hệ thống chưa dùng được.
Tỉ lệ từ chối trả lời
Một hệ thống được thiết kế tốt sẽ nói "tôi không có thông tin này" thay vì đoán. Tỉ lệ từ chối quá thấp có thể là dấu hiệu hệ thống đang bịa; quá cao thì phạm vi dữ liệu chưa đủ.
Nhóm 3: Chi phí vận hành
- Chi phí mỗi lượt xử lý.
- Tổng chi phí hằng tháng so với ngân sách dự kiến.
- Chi phí trên mỗi đơn vị giá trị tạo ra — ví dụ chi phí để xử lý tự động một đơn hàng, so với chi phí giờ công làm thủ công.
Chỉ số thứ ba là chỉ số để ra quyết định mở rộng hay dừng.
Nhóm 4: Mức độ chấp nhận của người dùng
Hệ thống tốt mà không ai dùng thì giá trị bằng không. Nhóm chỉ số này thường bị coi nhẹ:
- Tỉ lệ nhân viên thực sự sử dụng tính năng, trên tổng số được cấp quyền.
- Tần suất sử dụng theo tuần.
- Phản hồi định tính: hỏi trực tiếp năm người dùng thường xuyên nhất mỗi tháng.
Khi tỉ lệ sử dụng thấp, nguyên nhân hiếm khi là chất lượng AI. Thường là do quy trình chưa được điều chỉnh, hoặc nhân viên chưa được giải thích rõ khi nào nên tin kết quả.
Nhịp báo cáo
Chúng tôi khuyến nghị ba nhịp:
| Nhịp | Nội dung | Người xem |
|---|---|---|
| Hằng tuần | Chất lượng, sự cố, chi phí | Đội kỹ thuật |
| Hằng tháng | Đủ bốn nhóm chỉ số, đề xuất điều chỉnh | Quản lý bộ phận |
| Hằng quý | Hiệu quả tổng thể, quyết định mở rộng | Ban lãnh đạo |
Một lưu ý về việc chọn chỉ số
Chỉ số nào được theo dõi thì hành vi sẽ hướng theo chỉ số đó. Nếu chỉ đo "số lượt AI xử lý", hệ thống sẽ được điều chỉnh để xử lý nhiều nhất có thể, kể cả những ca lẽ ra nên chuyển cho người.
Vì vậy hãy luôn ghép một chỉ số số lượng với một chỉ số chất lượng, và đọc chúng cùng nhau.