Vấn đề không nằm ở model
Trong ba năm triển khai AI cho doanh nghiệp, chúng tôi nhận ra một pattern lặp đi lặp lại: khách hàng dành 80% ngân sách và thời gian để chọn model tốt nhất, nhưng chỉ dành 20% cho việc xây dựng pipeline dữ liệu. Kết quả là model hoạt động tốt trong tuần đầu tiên, sau đó suy giảm dần vì không có cơ chế thu thập feedback và cải thiện dữ liệu.
Ba dự án thất bại mà chúng tôi từng chứng kiến đều có một điểm chung: không xây data loop trước khi đưa model vào production.
Dự án 1 — Phân loại email hỗ trợ khách hàng
Một công ty dịch vụ tài chính muốn tự động phân loại email hỗ trợ vào 12 danh mục. Họ thuê một team ML xây model NLP đạt 91% accuracy trên tập dữ liệu lịch sử. Model được deploy và ban đầu hoạt động khá tốt.
Sau ba tháng, accuracy giảm xuống 74%. Nguyên nhân: công ty ra mắt hai sản phẩm mới, tạo ra các loại yêu cầu hoàn toàn mới mà model chưa từng thấy. Không có cơ chế nào để nhân viên báo lại khi model phân loại sai, nên không có dữ liệu mới để retrain.
Bài học: Cần xây sẵn nút "Phân loại sai" ngay trong giao diện nhân viên, và pipeline tự động thu thập các case sai vào tập retrain.
Dự án 2 — Kiểm tra chất lượng bao bì
Một nhà máy sản xuất muốn dùng Computer Vision để phát hiện lỗi in trên bao bì. Model được train trên 5.000 ảnh mẫu và đạt 97% accuracy trong phòng lab. Khi triển khai trên dây chuyền thực tế, accuracy chỉ còn 82% do ánh sáng nhà máy khác biệt lớn so với lab.
Team ML retrain model một lần với dữ liệu nhà máy, đẩy accuracy lên 93%. Nhưng sau đó, nhà máy thay đèn LED mới, thay đổi nhà cung cấp mực in, và mùa mưa khiến độ ẩm tăng — tất cả đều ảnh hưởng đến hình ảnh. Model lại suy giảm, và không ai biết khi nào nên retrain.
Bài học: Cần monitor confidence distribution liên tục và thiết lập ngưỡng tự động trigger retrain khi phát hiện drift.
Dự án 3 — Chatbot tư vấn sản phẩm
Một công ty e-commerce triển khai chatbot AI để tư vấn sản phẩm. Model ban đầu được fine-tune trên 10.000 cuộc hội thoại lịch sử. Chatbot trả lời khá tốt cho các câu hỏi phổ biến, nhưng gặp khó khăn với sản phẩm mới ra mắt hoặc câu hỏi ngoài phạm vi training data.
Vấn đề lớn nhất: không có cơ chế để chatbot "thú nhận" khi nó không chắc chắn. Chatbot luôn trả lời tự tin, kể cả khi câu trả lời sai, và khách hàng mất niềm tin vào hệ thống.
Bài học: Cần xây confidence threshold và fallback mechanism — khi model không chắc chắn, chuyển sang nhân viên tư vấn thật thay vì đoán bừa.
Data loop đúng cách trông như thế nào?
Một data loop hiệu quả bao gồm năm thành phần:
-
Thu thập dữ liệu liên tục — Không phải thu thập một lần rồi dừng. Mỗi lần model xử lý một input mới, kết quả và input đó đều được lưu lại.
-
Cơ chế feedback từ người dùng — Nhân viên vận hành cần có cách dễ dàng để báo lại khi model sai. Nút "Sai" trên giao diện, hoặc workflow review cho các case confidence thấp.
-
Pipeline tự động gắn nhãn — Dữ liệu feedback cần được chuyển thành training data. Điều này có thể là semi-automated: model đề xuất nhãn, con người xác nhận.
-
Trigger retrain tự động — Khi đủ dữ liệu mới hoặc khi phát hiện drift, pipeline tự động trigger quy trình retrain, đánh giá model mới so với model cũ trên tập test chuẩn.
-
A/B testing trước khi deploy — Model mới không nên thay thế model cũ ngay lập tức. Chạy song song trên một phần traffic, so sánh metric, rồi mới rollout hoàn toàn.
Kết luận
Model là thành phần dễ thay thế nhất trong một hệ thống AI. Data loop mới là thứ tạo ra lợi thế cạnh tranh bền vững. Nếu bạn đang bắt đầu một dự án AI, hãy dành ít nhất 40% effort cho việc thiết kế data loop trước khi chọn model.
Base Coding AI giúp doanh nghiệp xây dựng data loop ngay từ giai đoạn thiết kế hệ thống — liên hệ để được tư vấn.