Large Language Model(LLM)

Bỏ qua phần toán, cơ chế của một LLM đơn giản tới mức hơi khó tin: nó đoán mảnh chữ tiếp theo, dựa trên toàn bộ những gì đã có trước đó, rồi lặp lại hàng nghìn lần. Huấn luyện trên lượng văn bản đủ lớn thì cái trò đoán chữ ấy sinh ra khả năng tóm tắt, dịch, viết code, trả lời câu hỏi. Không có bảng tra cứu sự thật nào bên trong cả.

Hiểu được câu trên là bạn hiểu luôn vì sao nó bịa: bịa và nói đúng là cùng một cơ chế, chỉ khác ở chỗ chuỗi chữ hợp lý có trùng với thực tế hay không.

Vài thông số BA nên nói cho đúng

Không cần biết sâu, nhưng ngồi họp với team mà gọi sai tên thì mất uy tín.

• Token — mảnh của từ. Tiền và giới hạn đều đếm theo nó.
• Context window — số token tối đa cho một lượt, gồm cả chỉ dẫn, tài liệu bạn dán vào, lịch sử hội thoại lẫn phần câu trả lời sắp sinh ra.
• Temperature — độ "phiêu". Thấp cho trích xuất và phân loại, cao hơn khi cần nhiều phương án viết.
• Latency — độ trễ.

Latency đáng nói thêm một câu: sinh một câu trả lời dài mất vài giây tới vài chục giây. Nếu tính năng nằm trong luồng thanh toán, con số đó là ràng buộc thật và phải viết vào NFR.

Còn một thứ nữa không nằm trong danh sách trên, vì nó thuộc về bạn chứ không thuộc về mô hình: chi phí. Token vào và token ra tính riêng, đơn giá khác nhau. Ước lượng cho một tính năng chatbot là phép nhân đơn giá với lượt dùng dự kiến — làm trước khi tính năng vào backlog, không phải lúc hoá đơn tháng đầu về.

Ví dụ thực tế

Chốt luồng duyệt hạn mức cho một công ty cho vay tiêu dùng: bảy người ngồi từ 2 giờ tới gần 4 giờ chiều, transcript ra khoảng 13.400 từ. BA nhờ mô hình tóm tắt thành ba phần — quyết định đã chốt, câu hỏi còn treo, việc cần làm kèm người phụ trách.

Bản tóm tắt về trong hai phút, nhìn rất gọn. Rồi BA làm bước tự kiểm, mất thêm 25 phút:

1. Mỗi quyết định trong bản tóm tắt, tìm ngược lại đoạn tương ứng trong transcript bằng Ctrl+F.
2. Chỗ nào không tìm được nguồn thì đánh dấu và hỏi lại người trong buổi họp.

Kết quả: 9 trên 11 quyết định khớp. Một quyết định bị gộp sai — trong buổi họp, hạn mức 50 triệu áp cho khách hàng cũ còn 30 triệu áp cho khách mới, bản tóm tắt viết thành "hạn mức 50 triệu" chung. Một việc cần làm bị gán nhầm người phụ trách vì hai người trùng tên gọi trong buổi họp.

Nếu bản tóm tắt đó đi thẳng vào Confluence rồi dev đọc để code, lỗi hạn mức kia sẽ tới tận UAT mới lộ. 25 phút đối chiếu là rẻ.

Nó làm tốt và làm dở việc gì

Làm tốt: tóm tắt, viết lại cho gọn, dịch, đổi định dạng, trích xuất trường thông tin từ văn bản lộn xộn, phân loại theo bộ nhãn bạn định nghĩa, sinh nháp.

Làm dở: tính toán nhiều bước, đếm chính xác, nhớ chuyện xảy ra ở giữa một tài liệu rất dài, biết những gì mới xảy ra sau ngày dữ liệu huấn luyện dừng lại, và nói "tôi không biết". Cái cuối là chỗ đau nhất.

Muốn nó bám dữ liệu công ty thì phải đưa dữ liệu vào, thường bằng RAG. Bản thân mô hình không tự biết quy trình nội bộ của bạn.

Câu hay bị hỏi phỏng vấn

"Là BA, bạn dùng LLM thế nào trong dự án gần nhất?" Đừng trả lời chung chung kiểu "để tăng năng suất". Kể một việc cụ thể, kèm cách bạn kiểm lại kết quả. Phần kiểm lại mới là thứ người phỏng vấn muốn nghe.

"Khách yêu cầu chatbot trả lời chính xác 100% về chính sách bảo hành. Bạn nói gì?" Trả lời được rằng không hứa 100% với đầu ra sinh tự do, và đề xuất hai hướng — hoặc dựng RAG có trích dẫn nguồn kèm ngưỡng từ chối, hoặc phần nào cần chắc chắn tuyệt đối thì trả về nội dung tĩnh đã duyệt — là đã hơn phần lớn ứng viên.