Cẩm nang Tailieu.ai.vn
Bộ câu hỏi kiểm thử AI đọc tài liệu: biết câu nào phải trả lời, câu nào phải dừng
Mẫu bộ kiểm thử trợ lý tài liệu với đáp án có nguồn, câu thiếu dữ liệu và tiêu chí đánh giá; kiểm tra trước khi giao việc thật cho AI.
Xuất bản:
Trong buổi thử, AI trả lời trôi chảy câu “quy trình nhận hàng gồm những bước nào?”. Cả nhóm thấy ổn và bắt đầu dùng. Đến khi hỏi một trường hợp thiếu thông tin, AI tự thêm cách xử lý mà tài liệu chưa hề quy định.
Một bộ kiểm thử hữu ích cần có câu trả lời được từ nguồn, câu phải đối chiếu nhiều đoạn và câu buộc AI thừa nhận chưa đủ dữ liệu. Chuẩn bị đáp án trước khi chạy giúp đánh giá bằng bằng chứng thay vì cảm giác câu văn có vẻ đúng.
Chọn một công việc nhỏ để thử
Bắt đầu với một quy trình vận hành ít nhạy cảm, chẳng hạn hướng dẫn tiếp nhận yêu cầu hỗ trợ nội bộ. Xác định người dùng sẽ hỏi gì và được phép xem tài liệu nào. Tránh dùng ngay hồ sơ pháp lý, nhân sự hoặc tài chính quan trọng để kiểm chứng một hệ thống chưa quen.
Chốt bộ nguồn gồm tên tài liệu, phiên bản và thời điểm kiểm thử. Khi nguồn thay đổi, đáp án cũng có thể phải đổi. Cách thử AI trong một quy trình nhỏ giúp giữ phạm vi đủ hẹp để tìm được nguyên nhân khi kết quả sai.
Mẫu bảng kiểm thử dùng ngay
| Trường | Nội dung |
|---|---|
| Mã ca thử | KT-001 |
| Câu hỏi của người dùng | Viết như cách nhân viên thật sẽ hỏi |
| Bộ nguồn được phép | Tên, phiên bản, phần được sử dụng |
| Đáp án mong đợi | Các ý bắt buộc; không cần trùng từng chữ |
| Bằng chứng | Trang, đề mục hoặc đoạn chứa đáp án |
| Điều không được suy diễn | Nội dung nguồn chưa xác nhận |
| Cách xử lý khi thiếu dữ liệu | Hỏi lại hoặc nói rõ chưa tìm thấy |
| Kết quả thực tế | Lưu nguyên câu trả lời và trích dẫn |
| Đánh giá | Đạt, cần sửa, không đạt; kèm lý do |
Mẫu này là cách tự tổ chức thử nghiệm, không phải chứng nhận chất lượng AI. Không chọn một ngưỡng điểm chung cho mọi công việc. Sai người phụ trách và sai dấu câu có hậu quả khác nhau, nên nhóm phải định nghĩa lỗi nào khiến một ca thử không đạt.
Sáu loại câu hỏi nên có
- Tra cứu trực tiếp: một chi tiết nằm rõ trong một đoạn.
- Có điều kiện: câu trả lời chỉ đúng khi thỏa một điều kiện cụ thể.
- Đối chiếu nhiều phần: cần nối định nghĩa ở đầu với ngoại lệ ở cuối.
- Dễ nhầm phiên bản: có bản cũ và bản đang áp dụng, đã ghi rõ trạng thái.
- Không có đáp án: câu hỏi vượt ngoài bộ nguồn được cấp.
- Câu hỏi mơ hồ: thiếu đối tượng, ngày hoặc phạm vi, cần hỏi lại.
Có thể bắt đầu bằng hai câu mỗi loại như một đợt thử nhỏ do nhóm tự chọn. Số lượng này không phải chuẩn đảm bảo độ chính xác. Thêm các ca mới từ lỗi thực tế và những tình huống có hậu quả đáng kể.
Ví dụ giả lập và đáp án mong đợi
Giả sử hướng dẫn nội bộ ghi: “Yêu cầu thông thường chuyển cho điều phối viên; yêu cầu thiếu mã thiết bị phải bổ sung trước khi phân công”. Không có nội dung về phục vụ cuối tuần.
| Câu hỏi | Đáp án cần đạt |
|---|---|
| Yêu cầu thông thường gửi ai? | Điều phối viên, dẫn đúng đoạn |
| Thiếu mã thiết bị có phân công ngay không? | Nêu điều kiện phải bổ sung, không bỏ chữ “trước” |
| Chủ nhật có được xử lý không? | Chưa đủ thông tin trong nguồn; cần xác nhận lịch hỗ trợ |
| Yêu cầu này ai phụ trách? | Hỏi rõ yêu cầu nào hoặc cần mã để tra |
Đáp án “chủ nhật chuyển cho người trực” nghe hợp lý nhưng vẫn không đạt vì quy trình giả lập chưa nêu người trực. Ngược lại, AI nói “không tìm thấy” cho câu đầu là bỏ sót nguồn, không được tính là đạt chỉ vì thận trọng.
Chấm nội dung và nguồn riêng nhau
Kiểm tra ít nhất bốn điểm: trả lời đúng các ý bắt buộc; giữ điều kiện và ngoại lệ; trích dẫn thực sự hỗ trợ kết luận; biết dừng khi thiếu thông tin. Một liên kết mở được chưa đủ: đoạn được trích phải chứa căn cứ cho lời trả lời.
Microsoft Learn phân biệt việc đánh giá cách tìm thông tin và cách câu trả lời bám vào ngữ cảnh trong hệ thống hỏi đáp có truy xuất tài liệu. Tài liệu về đánh giá RAG là nguồn tham khảo kỹ thuật; bảng trong bài là phiên bản quản trị đơn giản do nhóm tự áp dụng, không phải công cụ chấm điểm của Microsoft.
Chạy lại khi sửa nguồn hoặc hướng dẫn
Lưu câu hỏi, đáp án mong đợi, nguồn và kết quả mỗi lượt. Khi thay đổi tài liệu hoặc cách hướng dẫn AI, chạy lại các ca cũ trước khi thêm ca mới. Nếu chỉ thử câu từng bị sai, nhóm có thể bỏ qua việc một sửa đổi đã làm hỏng câu từng trả lời đúng.
Không sửa đáp án chỉ để khớp kết quả AI. Nếu người kiểm phát hiện đáp án ban đầu sai, ghi rõ lý do và nguồn điều chỉnh. Cũng nên thử vài cách diễn đạt tương đương để biết hệ thống có phụ thuộc quá nhiều vào một câu chữ mẫu hay không.
Quyết định có thể giao việc gì
Sau thử nghiệm, ghi phạm vi được dùng, điểm còn cần người kiểm và các loại câu hỏi phải chuyển cho người phụ trách. Ví dụ: “Được hỗ trợ tra cứu bước tiếp nhận từ bộ nguồn đã duyệt; chưa dùng để quyết định ngoại lệ”. Đây là kết luận theo bài thử cụ thể, không phải lời hứa AI luôn đúng.
Khi thử khả năng tra cứu có nguồn được giới thiệu trên TailieuAI, dùng cùng bộ câu hỏi và tự kiểm kết quả thay vì dựa vào mô tả sản phẩm. Có thể đọc thêm cách hỏi AI về file PDF và kiểm tra bản tóm tắt AI. Chỉ dùng tài liệu được phép xử lý, và giữ người chịu trách nhiệm cho quyết định nghiệp vụ cuối cùng.