RAG (retrieval-augmented generation) là cách cho mô hình ngôn ngữ đọc đúng đoạn tài liệu của doanh nghiệp trước khi trả lời; fine-tuning là huấn luyện thêm mô hình trên dữ liệu của doanh nghiệp để thay đổi cách nó trả lời. Với phần lớn việc ở doanh nghiệp nhỏ và vừa (trả lời khách từ chính sách, tra cứu quy trình, tóm tắt hồ sơ), RAG là lựa chọn đúng vì rẻ hơn, nhanh hơn, cập nhật bằng cách sửa tài liệu và luôn dẫn được nguồn. Fine-tuning chỉ đáng khi cần mô hình nói theo giọng hoặc định dạng rất riêng, hoặc xử lý một loại dữ liệu chuyên biệt mà chỉ dẫn không đủ.

Vấn đề chung: mô hình không biết gì về doanh nghiệp của bạn

Mô hình ngôn ngữ lớn được huấn luyện trên chữ công khai. Nó không biết chính sách đổi trả của cửa hàng bạn, bảng giá tháng này, hay quy trình bảo hành nội bộ. Hỏi nó những điều đó, nó sẽ trả lời chung chung hoặc bịa rất tự tin.

Có hai cách đưa kiến thức doanh nghiệp vào, và chúng khác nhau về bản chất.

RAG: đọc tài liệu rồi trả lời

Cách hoạt động, nói đơn giản:

  1. Tài liệu của doanh nghiệp (chính sách, bảng giá, hướng dẫn, hồ sơ) được cắt thành đoạn và lập chỉ mục.
  2. Khi có câu hỏi, hệ thống tìm những đoạn liên quan nhất.
  3. Mô hình nhận câu hỏi kèm các đoạn đó và trả lời dựa trên tài liệu, có thể dẫn nguồn.

Giống một nhân viên mới giỏi ngôn ngữ nhưng chưa biết công ty: mỗi lần khách hỏi, họ mở đúng trang sổ tay rồi trả lời.

Ưu điểm: triển khai trong vài tuần; cập nhật bằng cách sửa tài liệu, không huấn luyện lại; dẫn được nguồn để người kiểm tra; dùng mô hình thương mại tốt nhất mà không cần dữ liệu huấn luyện.

Giới hạn: chất lượng phụ thuộc tài liệu (tài liệu mâu thuẫn thì trả lời mâu thuẫn); tốn công tổ chức tài liệu ban đầu; câu hỏi cần tổng hợp từ nhiều tài liệu dài vẫn khó.

Fine-tuning: dạy mô hình cách trả lời

Cách hoạt động: chuẩn bị hàng nghìn cặp "câu hỏi, câu trả lời mẫu" đúng ý doanh nghiệp, rồi huấn luyện thêm mô hình trên đó. Mô hình sau huấn luyện trả lời theo giọng, định dạng và thói quen đã học.

Giống đào tạo nhân viên nhiều tháng để họ nói đúng phong cách công ty, không cần mở sổ tay.

Ưu điểm: giọng và định dạng ổn định; xử lý tốt loại dữ liệu đặc thù (mã sản phẩm, thuật ngữ ngành, cấu trúc văn bản riêng); có thể chạy mô hình nhỏ hơn, rẻ hơn mỗi lần gọi.

Giới hạn: cần dữ liệu huấn luyện chất lượng, thường hàng nghìn ví dụ; mỗi lần thay đổi kiến thức phải huấn luyện lại, tốn tiền và thời gian; mô hình vẫn có thể bịa vì fine-tuning dạy cách nói, không đảm bảo sự thật mới; khó dẫn nguồn.

Điểm hiểu lầm phổ biến nhất: fine-tuning không phải cách nhồi kiến thức mới vào mô hình. Muốn mô hình biết bảng giá tháng này, dùng RAG.

So sánh trực tiếp

  • Thời gian tới bản đầu dùng được: RAG 2 đến 4 tuần; fine-tuning 6 đến 12 tuần (phần lớn là chuẩn bị dữ liệu).
  • Chi phí ban đầu: RAG thấp (tổ chức tài liệu, xây phần tìm kiếm); fine-tuning cao hơn (dữ liệu, huấn luyện, đánh giá).
  • Khi kiến thức đổi: RAG sửa tài liệu là xong; fine-tuning huấn luyện lại.
  • Dẫn nguồn: RAG có; fine-tuning không.
  • Rủi ro bịa: RAG thấp hơn khi tài liệu đủ; fine-tuning vẫn có.
  • Giọng, định dạng riêng: RAG đạt mức khá qua chỉ dẫn; fine-tuning đạt mức tốt.
  • Chi phí mỗi lần gọi: RAG cao hơn một chút vì gửi kèm tài liệu; fine-tuning có thể thấp hơn nếu dùng mô hình nhỏ.

Bảng quyết định cho 6 tình huống thường gặp

  1. Trả lời khách từ chính sách, bảng giá, hướng dẫn: RAG. Kiến thức đổi thường xuyên, cần dẫn nguồn.
  2. Tra cứu quy trình nội bộ cho nhân viên: RAG. Tài liệu có sẵn, cần chính xác hơn cần hay.
  3. Tóm tắt hồ sơ, hợp đồng, ticket: RAG hoặc chỉ dùng mô hình với chỉ dẫn tốt; không cần fine-tuning.
  4. Phân loại hàng nghìn yêu cầu mỗi ngày theo bộ nhãn riêng: chỉ dẫn kèm ví dụ trước; nếu chưa đủ chính xác và có dữ liệu gắn nhãn lớn, cân nhắc fine-tuning mô hình nhỏ để rẻ hơn.
  5. Viết nội dung theo giọng thương hiệu rất riêng: chỉ dẫn kèm mẫu trước; fine-tuning khi cần ổn định cao ở khối lượng lớn.
  6. Xử lý dữ liệu chuyên biệt (mã kỹ thuật, thuật ngữ ngành hẹp) mà mô hình thương mại hay hiểu sai: fine-tuning, thường kết hợp RAG để có kiến thức mới.

Quy tắc ngắn: bắt đầu bằng chỉ dẫn tốt, thêm RAG khi cần kiến thức riêng, chỉ fine-tuning khi hai cách trên đã thử và không đủ.

Thứ quyết định thành công không phải phương pháp

Dù chọn RAG hay fine-tuning, ba thứ sau quyết định hệ thống có dùng được sau sáu tháng hay không:

  • Tài liệu và dữ liệu sạch: RAG với tài liệu mâu thuẫn, fine-tuning với ví dụ sai, đều cho kết quả tệ. Bài từ bảng tính đến hệ thống thông minh là nền cần có trước.
  • Bộ kiểm tra cố định: 50 đến 100 câu hỏi mẫu có đáp án đúng, chạy lại mỗi khi đổi tài liệu, đổi chỉ dẫn hay nhà cung cấp đổi phiên bản mô hình. Không có bộ này thì không biết hệ thống đang tốt lên hay xấu đi.
  • Người vận hành: xem nhật ký, đọc câu trả lời bị khách phàn nàn, cập nhật tài liệu, theo dõi chi phí. Đây là phần Siri9 làm trong quản lý hệ thống AI sau khi xây xong ở tích hợp AI.

Khái niệm nền về độ chính xác, quá khớp và trôi dữ liệu có trong bài kiến thức học máy cơ bản cho lãnh đạo.

Câu hỏi thường gặp

RAG có bảo mật không khi phải gửi tài liệu cho mô hình?

Hệ thống chỉ gửi vài đoạn liên quan tới câu hỏi, không gửi cả kho tài liệu; dùng nhà cung cấp cam kết không huấn luyện trên dữ liệu khách; ẩn thông tin định danh khi không cần. Với dữ liệu rất nhạy cảm, có thể chạy mô hình trong hạ tầng riêng với chi phí cao hơn.

Doanh nghiệp nhỏ có bao giờ cần fine-tuning không?

Hiếm. Chỉ khi khối lượng rất lớn khiến chi phí mỗi lần gọi thành vấn đề, hoặc loại dữ liệu quá đặc thù. Đa số dừng ở chỉ dẫn tốt cộng RAG.

Chi phí RAG cho doanh nghiệp nhỏ khoảng bao nhiêu?

Xây từ vài chục triệu đồng tuỳ số nguồn tài liệu và hệ thống cần nối; vận hành mỗi tháng gồm phí mô hình (1 đến 3 triệu đồng ở mức dùng nhỏ) và phí quản lý hệ thống AI.

Bắt đầu thế nào?

Gửi cho Siri9 loại câu hỏi muốn AI trả lời và tài liệu đang có; chúng tôi đánh giá trong 24 giờ nên dùng chỉ dẫn, RAG hay fine-tuning, kèm phạm vi và chi phí cố định.