AI Agent
Hệ thống dùng mô hình ngôn ngữ để tự chọn công cụ và chạy nhiều bước tới một mục tiêu, thay vì chỉ trả lời một câu hỏi. Đổi lại, nó cần hạn mức, log đầy đủ và điểm dừng cho người duyệt.
Định nghĩa
Chatbot chờ bạn hỏi rồi trả lời. Agent nhận một mục tiêu rồi tự đi làm: gọi API này, đọc kết quả, quyết định bước tiếp theo, gọi tiếp API kia, tới khi xong hoặc bí. Cùng một mô hình ngôn ngữ bên dưới, khác nhau ở chỗ nó được cầm công cụ và được chạy vòng lặp.
Điểm khác biệt về mặt nghiệp vụ nằm ở một chữ: agent hành động, và hành động thì tạo ra hậu quả không rút lại được.
So sánh AI Agent và Chatbot
| Chatbot | AI Agent | |
|---|---|---|
| Đầu ra | Câu trả lời | Hành động trong hệ thống thật |
| Số bước mỗi lượt | Một | Nhiều, do nó tự quyết |
| Công cụ | Thường chỉ tra cứu | Gọi API, ghi dữ liệu, tạo phiếu, gửi mail |
| Hậu quả khi sai | Người dùng đọc thông tin sai | Đơn bị huỷ, tiền bị hoàn, mail đã gửi đi |
| Kiểm thử | Bộ câu hỏi và đáp án mẫu | Phải mô phỏng cả chuỗi hành động và trạng thái hệ thống |
| Điều BA phải chốt | Nội dung, ngưỡng từ chối, chuyển người | Thêm: quyền, hạn mức, log, điểm dừng, cách rollback |
Ví dụ thực tế
Khiếu nại "giao thiếu hàng" ở một sàn thời trang. Khách gửi ảnh cái hộp đã mở, nhân viên mở ticket, tra đơn trong hệ thống quản lý đơn, xem ảnh, kiểm tồn kho lúc đóng gói, xem lịch sử khiếu nại của khách, rồi mới quyết hoàn tiền hay đòi thêm chứng cứ. Trung bình bảy phút một ca, khoảng 290 ca mỗi ngày trên nền 9.400 đơn.
Agent được giao đúng chuỗi đó, với bốn công cụ: tra đơn, tra tồn kho, đọc lịch sử khiếu nại, tạo phiếu hoàn tiền. Và bốn ràng buộc do BA viết ra:
- Hoàn tiền tự động chỉ áp dụng khi giá trị dưới 500.000 đồng, khách có dưới hai khiếu nại trong 90 ngày, và tồn kho có ghi nhận sai lệch cùng ngày. Ba điều kiện, thiếu một là chuyển người.
- Mọi lời gọi công cụ đều ghi log: gọi cái gì, tham số gì, trả về gì, ở bước thứ mấy. Log giữ 12 tháng.
- Agent tối đa 8 bước cho một ca. Vượt thì dừng, chuyển người kèm toàn bộ tóm tắt những gì đã làm.
- Có nút tắt khẩn cấp, một người trực vận hành bấm được, không cần deploy.
Sau khi chạy, 58% ca đủ điều kiện tự xử lý trọn vẹn. Số còn lại vẫn về tay người, nhưng phần tra cứu đã nằm sẵn đó nên chỉ mất khoảng hai phút một ca. Quy ra thì đội khiếu nại tiết kiệm cỡ 640 giờ người mỗi tháng, đủ để bỏ kế hoạch tuyển thêm ba bạn.
Viết yêu cầu cho một agent
Tài liệu cho agent khác tài liệu tính năng thường ở bốn mục sau, mình hay bắt buộc phải có:
- Danh mục công cụ. Mỗi công cụ: tên, việc nó làm, tham số, ai đang sở hữu API đó, có ghi dữ liệu hay chỉ đọc. Công cụ ghi dữ liệu phải đánh dấu riêng.
- Ranh giới quyền. Agent chạy dưới tài khoản nào, thấy được dữ liệu của ai. Cho nó mượn tài khoản admin cho nhanh là chỗ dễ nhất để mất kiểm soát.
- Điểm dừng bắt buộc. Liệt kê thẳng: chạm tới tiền, gửi thông tin ra ngoài công ty, thay đổi trạng thái không đảo ngược được. Ba nhóm này mặc định phải có người bấm duyệt.
- Cách hồi phục. Agent làm sai ở bước 5 trên 8 thì phần đã làm xử lý ra sao. Có phiếu bù trừ không, ai phát hiện, phát hiện bằng cách nào.
Mức chín hiện nay, đo bằng số bước
Agent chạy tốt trên chuỗi ngắn, ba tới sáu bước, công cụ định nghĩa rõ, dữ liệu sạch. Chuỗi càng dài xác suất lệch càng dồn lại, và nó lệch theo kiểu rất khó đoán. Hiếm khi là một exception ném ra màn hình. Thường là một quyết định trông hợp lý mà sai ngữ cảnh.
Nên nếu ai đó trình bày một agent tự chạy 30 bước xuyên bốn hệ thống, không có người duyệt ở giữa, và bảo sẽ thay được cả một phòng ban, bạn cứ hỏi xin log của 100 lần chạy gần nhất. Hỏi xong câu đó, phần lớn buổi demo tự chuyển sang bàn chuyện pilot một luồng nhỏ.
