Nhiệt Thành

BÀI VIẾT · AI Native 4 ALL

Xây FAQ cho chatbot AI để trả lời theo dữ liệu thật

Cách xây FAQ cho chatbot AI từ câu hỏi thật của sales và chăm sóc khách hàng: gắn nguồn, người duyệt, hạn dùng và bộ kiểm thử trước khi mở cho khách.

Muốn xây FAQ cho chatbot AI trả lời theo dữ liệu thật, việc nên làm trước không phải là nạp thêm tài liệu, mà là gom những câu khách đã thật sự hỏi, gắn mỗi câu trả lời với một nguồn chuẩn, một người duyệt và một ngày hết hiệu lực, rồi kiểm thử trước khi mở cho khách nguồn.

Nghe thì giống việc của bộ phận kỹ thuật, nhưng phần quyết định chất lượng lại nằm ở người hiểu khách nhất. Cách để chatbot trả lời theo dữ liệu riêng được Microsoft Learn gọi là RAG. RAG (retrieval augmented generation) là cách kết hợp tìm kiếm với mô hình ngôn ngữ lớn: hệ thống tìm đoạn nội dung liên quan trong dữ liệu của doanh nghiệp, đưa đoạn đó vào lời nhắc, rồi mô hình mới viết câu trả lời dựa trên đoạn vừa tìm nguồn. Tài liệu của Amazon Bedrock mô tả RAG theo cùng hướng: lấy thông tin từ nguồn dữ liệu để câu trả lời liên quan và chính xác hơn nguồn. Nói gọn, chatbot chỉ trả lời tốt khi kho câu hỏi và tài liệu phía sau được sắp xếp tốt. Bài này đi vào phần hay bị bỏ ngỏ: một mục FAQ cần những trường nào, lấy câu hỏi từ đâu, và kiểm tra chatbot có bịa hay không bằng cách nào.

Vì sao chatbot vẫn trả lời sai dù đã nạp tài liệu?

Đây thường là câu hỏi đầu tiên khi một chatbot vừa chạy thử. Microsoft Learn nói khá thẳng: chất lượng câu trả lời phụ thuộc vào cách chuẩn bị nội dung, cấu hình tìm kiếm và cách viết lời nhắc. Khi bước tìm kiếm trả về đoạn không liên quan hoặc thiếu, mô hình vẫn có thể trả lời thiếu hoặc sai, dù đã có dữ liệu nền nguồn.

Nhìn từ phía dữ liệu, FlowNexa chỉ ra bốn lỗi hay gặp nguồn:

  • Nhiều nguồn mà không có nguồn chuẩn. Trang web ghi một kiểu, file PDF cũ ghi kiểu khác, đội bán hàng lại dùng bảng riêng. Hệ thống cần biết bản nào được ưu tiên.
  • Tài liệu soạn cho người trong công ty, chưa soạn cho khách. Mã nội bộ, chữ viết tắt và ngoại lệ ngầm khiến chatbot hiểu thiếu ngữ cảnh.
  • Không có thông tin vòng đời. Tài liệu không ghi ai phụ trách, phiên bản nào, còn hiệu lực hay không.
  • Không có bộ kiểm thử lấy từ câu hỏi thật. Một danh sách tài liệu không chứng minh được chatbot trả lời đúng.

Cả bốn lỗi đều nằm ở khâu tổ chức nội dung, trước cả khi chọn công cụ. Vì vậy, thay vì coi FAQ là một trang hỏi đáp viết một lần, nên coi nó là một kho dữ liệu nhỏ có người trông. Ai đang đi những bước đầu với AI trong công việc có thể đọc thêm các bài viết khác ở chuyên mục AI Native 4 ALL để thấy cùng một tinh thần: làm vừa đủ, nhưng làm có thứ tự.

Lấy câu hỏi thật từ đâu và chuẩn hoá thế nào?

Câu hỏi tốt nhất cho bộ FAQ là câu khách đã hỏi. FlowNexa khuyên lấy từ đội bán hàng, chăm sóc khách hàng và nhật ký tìm kiếm, rồi bổ sung các trường hợp mơ hồ, thiếu dữ liệu, câu hỏi nhạy cảm và yêu cầu gặp người thật nguồn. Hướng dẫn đánh giá của OpenAI cũng cùng ý: nên ghi log ngay từ khi phát triển để có chỗ lọc ra ca kiểm thử tốt, và xem việc dựng bộ dữ liệu kiểm thử không phản ánh đúng lưu lượng thật là một lỗi thiết kế nguồn.

Từ đó, một quy trình gọn có thể đi theo bảy bước FlowNexa đề xuất nguồn:

  1. Chốt phạm vi: viết rõ chatbot được trả lời gì và không được trả lời gì.
  2. Lập danh mục nguồn: liệt kê đường dẫn, file, người phụ trách, ngôn ngữ, mức nhạy cảm và thời hạn hiệu lực.
  3. Chọn nguồn chuẩn: xử lý chỗ trùng và chỗ mâu thuẫn trước khi nạp.
  4. Chuẩn hoá nội dung: sửa tiêu đề, bảng, thuật ngữ, liên kết và những đoạn thiếu ngữ cảnh.
  5. Phê duyệt: chỉ bản đã duyệt mới vào chỉ mục dùng thật.
  6. Kiểm thử: chạy bộ câu hỏi chuẩn, câu thiếu dữ liệu và câu cố tình chèn lệnh.
  7. Vận hành: theo dõi câu chưa trả lời được, thay đổi ở nguồn và nạp lại có kiểm soát.

Ở bước gom câu hỏi, có một thói quen đáng giữ: ghi nguyên cách khách gõ, kể cả viết tắt hay sai chính tả, làm "cách hỏi khác" cho cùng một câu chuẩn. Bộ kiểm thử lấy từ chính những câu này sẽ gần thực tế hơn câu do người soạn tự nghĩ ra, đúng với lời khuyên của OpenAI về việc dữ liệu kiểm thử nên giống lưu lượng thật nguồn.

Mẫu một mục FAQ có nguồn, người duyệt và hạn dùng

Phần hay thiếu nhất là hình dạng cụ thể của một mục FAQ. Bảng dưới gom các trường FlowNexa đề xuất cho mỗi nguồn nguồn, sắp lại thành một mẫu có thể mở bảng tính ra điền ngay:

TrườngGhi gìVì sao cần
Câu hỏi chuẩnMột câu ngắn, đúng ý kháchLàm câu gốc để đo và cập nhật
Cách hỏi khácCác biến thể khách thật đã dùngLàm đầu vào cho bộ kiểm thử
Câu trả lờiNội dung đã duyệt, viết cho kháchTránh mã nội bộ, viết tắt
Nguồn chuẩnĐường dẫn hoặc tên file gốcTruy ngược khi câu trả lời thay đổi
Người chịu trách nhiệmVai trò phụ trách nội dungBiết ai sửa khi có thay đổi
Phiên bản và trạng tháiNháp, đã duyệt, ngừng dùngChỉ bản đã duyệt được dùng thật
Ngày hiệu lực, hết hiệu lựcMốc bắt đầu và kết thúcCần cho chính sách, khuyến mại, lịch
Ngôn ngữ áp dụngTiếng Việt hay tiếng AnhKhông mặc định hai bản dịch tương đương
Mức nhạy cảmCông khai hay hạn chếLoại dữ liệu không nên đưa vào
Khi không đủ căn cứHỏi lại, từ chối hay chuyển ngườiKhông để chatbot tự đoán

Về phân vai, FlowNexa gợi ý người làm nghiệp vụ duyệt tính đúng của nội dung, còn bộ phận kỹ thuật lo quyền truy cập và việc nạp dữ liệu nguồn. Nếu dùng công cụ tìm trong file của OpenAI, các trường này còn có thể gắn làm thuộc tính của file để lọc kết quả tìm kiếm, chẳng hạn chỉ lấy file thuộc một nhóm nhất định nguồn. Còn cột "nguồn chuẩn" chính là thứ giúp chatbot dẫn được nguồn: Amazon Bedrock cho biết câu trả lời có thể kèm trích dẫn để người xem lần về dữ liệu gốc và tự kiểm độ chính xác nguồn.

Một vài khung mẫu dạng bảng và phiếu kiểm nguồn đã được chia sẻ ở trang quà tặng, có thể dùng làm điểm khởi đầu trước khi tự dựng bảng riêng.

Làm sao kiểm thử chatbot FAQ trước khi mở cho khách?

Phần này nên làm chậm một chút. Hướng dẫn đánh giá của OpenAI khuyên dữ liệu kiểm thử có đủ ca thông thường, ca biên và ca đối kháng, và cảnh báo lối kiểm theo cảm giác "có vẻ chạy được" nguồn. FlowNexa chia gần giống vậy thành bốn loại: câu nằm trong phạm vi, câu nằm ngoài phạm vi, câu hỏi chưa rõ ý và câu cố tình gây nhiễu nguồn. Mỗi câu kèm câu trả lời mong đợi và nguồn tương ứng trong bảng FAQ ở trên.

Để chấm, trang về bộ đánh giá RAG trên Microsoft Learn tách mấy góc nhìn hữu ích nguồn:

  • Groundedness đo độ chính xác: câu trả lời có thêm thông tin nằm ngoài ngữ cảnh đã tìm được không. Đây là thước đo trực tiếp cho chuyện "bịa".
  • Response completeness đo độ đầy đủ: câu trả lời có bỏ sót ý quan trọng so với đáp án mẫu không.
  • Relevance đo câu trả lời có đúng trọng tâm câu hỏi không, và Retrieval đo các đoạn tìm được có liên quan tới câu hỏi không.

Cũng theo trang này, các bộ chấm cho điểm từ 1 đến 5, ngưỡng đạt mặc định là 3, và dữ liệu kiểm thử là các dòng gồm câu hỏi, ngữ cảnh và câu trả lời nguồn. Bảng FAQ đã có cột "cách hỏi khác" và "nguồn chuẩn" nên chuyển thành bộ dữ liệu này khá thuận.

Nếu dùng công cụ tìm trong file của OpenAI, mặc định lời gọi tìm kiếm không trả về các kết quả tìm được; muốn xem chatbot đã đọc đoạn nào thì phải bật tham số include khi tạo câu trả lời nguồn. Trang này cũng lưu ý giảm số kết quả lấy về giúp bớt token và độ trễ, đổi lại câu trả lời có thể kém đi nguồn. Khi kiểm thử, ghi lại cả đoạn được tìm sẽ giúp biết lỗi nằm ở khâu tìm hay khâu viết. Và vì OpenAI coi đánh giá là việc liên tục, chạy lại mỗi khi có thay đổi và nới rộng bộ kiểm thử theo thời gian nguồn, bộ câu hỏi này nên được giữ lại và bồi thêm, không phải dùng một lần rồi bỏ.

Khi không biết thì chatbot nên làm gì, và cập nhật FAQ ra sao?

Một chatbot đáng tin là chatbot biết nói "chưa có thông tin". FlowNexa đề xuất khi thiếu căn cứ thì chatbot hỏi lại, từ chối hoặc chuyển cho người thật, thay vì tự đoán nguồn. OWASP, trong mục về prompt injection, cũng khuyên giới hạn chatbot vào đúng vai trò và chủ đề, yêu cầu dẫn nguồn, và để con người duyệt các thao tác rủi ro cao nguồn. Microsoft Learn bổ sung ở phía dữ liệu: coi nội dung tìm được là đầu vào chưa đáng tin, và kiểm soát quyền truy cập ngay lúc tìm để tránh lộ thông tin nhạy cảm nguồn. OWASP giải thích lý do: nội dung lấy từ website hay file bên ngoài có thể chứa chỉ dẫn làm mô hình hành xử lệch đi, gọi là prompt injection gián tiếp nguồn.

Khi chính sách đổi, FlowNexa đề xuất trình tự: sửa nguồn chuẩn, duyệt phiên bản mới, nạp lại chỉ mục, chạy lại bộ kiểm thử, rồi mới cho bản cũ ngừng dùng nguồn. Nhờ có cột ngày hết hiệu lực và người chịu trách nhiệm, việc rà soát định kỳ chỉ cần lọc những mục sắp hết hạn, không phải đọc lại cả kho.

Với doanh nghiệp nhỏ, tất cả có thể bắt đầu từ một bảng tính và một nhóm câu hỏi hẹp, đúng như gợi ý khởi động nhỏ ở trên. Không cần một dự án lớn; cần một người chịu ngồi gom câu hỏi thật và giữ bảng sạch. Ai muốn có người đi cùng qua từng bước đó có thể xem chương trình huấn luyện AI 1-1.

Nguồn

Nếu doanh nghiệp của anh chị đã thử xây FAQ cho chatbot và gặp tình huống khác với các bước trên, hãy để lại bình luận để bài được bổ sung.

HỎI NHANH

Muốn chatbot AI trả lời đúng thì doanh nghiệp cần chuẩn bị những tài liệu nào?
FlowNexa gợi ý sáu nhóm: trang web đã được duyệt, các câu hỏi khách hay hỏi, thông tin sản phẩm hoặc dịch vụ, chính sách kèm số phiên bản, đầu mối để chuyển tiếp, cùng một bộ câu hỏi dùng để kiểm thử nguồn.
Có nên đưa toàn bộ tài liệu nội bộ vào chatbot ngay từ đầu không?
Không cần. Nạp nhiều file chưa phân loại dễ sinh mâu thuẫn, chatbot khó biết bản nào đáng tin. FlowNexa khuyên bắt đầu với một nhóm câu hỏi hẹp, đo chất lượng rồi mới mở rộng nguồn.
Làm sao kiểm tra chatbot có bịa câu trả lời ngoài tài liệu?
Chuẩn bị bộ câu hỏi có cả câu ngoài phạm vi và câu thiếu dữ liệu, rồi chấm tiêu chí groundedness mà Microsoft Learn mô tả: câu trả lời có chứa nội dung nằm ngoài đoạn ngữ cảnh đã tìm được hay không nguồn.
FAQ cần có những trường nào để dễ cập nhật khi chính sách thay đổi?
Theo FlowNexa, tối thiểu nên có người chịu trách nhiệm, phiên bản, ngày hiệu lực, ngôn ngữ áp dụng và trạng thái nháp, đã duyệt hay đã ngừng dùng nguồn.

ĐỒNG HÀNH CÙNG NHIỆT THÀNH

Bắt đầu từ câu hỏi và bài toán thật của anh chị.

Dù là quyết định mua bán bất động sản tại Đà Nẵng hay tìm cách ứng dụng AI vào công việc kinh doanh, Thành tin một buổi trao đổi thẳng thắn sẽ giúp anh chị nhìn rõ bước đi tiếp theo.