Tại sao accuracy không đủ?
Khi đánh giá một hệ thống Computer Vision trong môi trường sản xuất, câu hỏi đầu tiên hầu như luôn là "Accuracy bao nhiêu phần trăm?". Con số này dễ hiểu, dễ so sánh và có vẻ nói lên mọi thứ. Nhưng thực tế, accuracy chỉ là một phép đo trung bình trên toàn bộ tập dữ liệu — nó che giấu rất nhiều vấn đề nghiêm trọng mà chỉ bộc lộ khi hệ thống chạy thực tế.
Một model đạt 96% accuracy trên tập test sạch có thể hoàn toàn thất bại trong nhà máy khi gặp ánh sáng thay đổi, sản phẩm dính bụi hoặc camera bị rung. Accuracy cao trên benchmark không đồng nghĩa với hệ thống ổn định trong vận hành.
Latency — Tốc độ xử lý từng frame
Trong dây chuyền sản xuất, mỗi sản phẩm di chuyển trên băng chuyền với tốc độ cố định. Nếu model mất 800ms để xử lý một frame nhưng sản phẩm chỉ nằm trong vùng camera 400ms, hệ thống sẽ bỏ sót một nửa sản phẩm. Latency cần được đo ở P95 (percentile 95) chứ không phải trung bình, vì những lần xử lý chậm nhất mới là lúc hệ thống gây ra lỗi.
Chúng tôi thường thiết kế latency budget ngay từ đầu: xác định tốc độ băng chuyền, khoảng cách giữa các sản phẩm, và từ đó tính ra model phải trả kết quả trong bao nhiêu millisecond. Mọi quyết định kiến trúc model đều bị ràng buộc bởi con số này.
False Negative Cost — Chi phí bỏ sót lỗi
Trong kiểm định chất lượng, false negative (bỏ sót sản phẩm lỗi) thường gây hậu quả nghiêm trọng hơn false positive (báo nhầm sản phẩm tốt là lỗi) rất nhiều. Một sản phẩm lỗi lọt ra thị trường có thể gây thu hồi hàng loạt, thiệt hại thương hiệu hoặc thậm chí nguy hiểm cho người dùng.
Vì vậy, thay vì tối ưu accuracy tổng thể, chúng tôi tối ưu recall cho class lỗi trước. Điều này có nghĩa chấp nhận false positive rate cao hơn — hệ thống sẽ dừng băng chuyền nhiều hơn để kiểm tra thủ công, nhưng đảm bảo không bỏ sót lỗi nghiêm trọng. Trade-off này cần được thống nhất rõ ràng với đội vận hành trước khi triển khai.
Model Drift — Hiệu năng suy giảm theo thời gian
Một model Computer Vision chạy tốt trong tháng đầu có thể suy giảm dần khi điều kiện môi trường thay đổi: đèn chiếu sáng thay bóng mới, nguyên liệu đổi nhà cung cấp, camera bị bám bụi, hoặc đơn giản là mùa thay đổi ánh sáng tự nhiên. Hiện tượng này gọi là data drift.
Cách phát hiện drift hiệu quả nhất là thiết lập dashboard theo dõi phân phối confidence score theo thời gian. Khi confidence trung bình giảm dần hoặc phân phối thay đổi hình dạng, đó là dấu hiệu model cần được đánh giá lại hoặc fine-tune với dữ liệu mới.
Khả năng review — Con người vẫn cần kiểm tra
Không có hệ thống CV nào nên chạy hoàn toàn tự động mà không có cơ chế human review. Chúng tôi thiết kế mọi hệ thống với ít nhất ba mức confidence:
- Confidence cao (trên 0.95): Hệ thống tự động hành động, ghi log để audit sau.
- Confidence trung bình (0.7 — 0.95): Gửi vào hàng đợi review để con người xác nhận trong vòng 30 giây.
- Confidence thấp (dưới 0.7): Dừng xử lý, cảnh báo ngay cho operator.
Ba ngưỡng này cần được hiệu chỉnh cho từng dự án cụ thể, dựa trên chi phí sai lầm và tốc độ vận hành yêu cầu.
Cách đo lường tại Base Coding AI
Mỗi dự án Computer Vision tại Base Coding AI đều có một bảng đo lường riêng, bao gồm:
- Latency P95 với ngưỡng cảnh báo tự động khi vượt budget.
- Recall/Precision cho từng class, không chỉ accuracy trung bình.
- Drift score theo dõi hàng tuần qua phân phối confidence.
- Review rate — tỷ lệ case cần con người kiểm tra, mục tiêu giảm dần qua các vòng fine-tune.
- Uptime và throughput — hệ thống xử lý được bao nhiêu sản phẩm/giờ với tỷ lệ lỗi dưới ngưỡng cho phép.
Tất cả metric này được hiển thị trên dashboard thời gian thực và gửi báo cáo tự động hàng ngày cho đội vận hành.
Kết luận
Accuracy là điểm khởi đầu, không phải đích đến. Một hệ thống Computer Vision sẵn sàng cho production cần được đánh giá trên nhiều chiều: tốc độ xử lý, chi phí sai lầm, khả năng phát hiện suy giảm và cơ chế để con người can thiệp khi cần. Nếu bạn đang triển khai hoặc đánh giá một dự án CV, hãy yêu cầu nhà cung cấp trả lời tất cả những câu hỏi này — không chỉ một con số accuracy.
Liên hệ Base Coding AI để được tư vấn thiết kế hệ thống đo lường phù hợp cho dự án Computer Vision của bạn.