Một hệ thống AI không thể được đánh giá bằng cảm giác “trả lời khá hay”. Trong BĐS, một câu trả lời mạch lạc vẫn có thể sai số tiền, nhầm dự án, dùng tài liệu hết hiệu lực hoặc trích dẫn không tồn tại.
Đánh giá tốt phải trả lời ba câu: đầu ra có đúng không, bằng chứng có đúng không và hành động có đúng quy trình không?
Chuyên đề: AI ứng dụng trong Bất động sản · Bài 06 · Nền tảng sử dụng AI trong BĐS
Biên soạn: ThS. Nguyễn Mạnh Hùng
GV. Khoa QLĐĐ&BĐS – ĐH Nông Lâm TP.HCM
Email: nguyenmanhhung@hcmuaf.edu.vn
1. Bộ đáp án chuẩn là nền tảng
Chọn các tình huống thật đại diện cho công việc: hồ sơ sạch, hồ sơ thiếu, tài liệu mâu thuẫn, tên gần giống, scan xấu, trường hợp hiếm, câu hỏi mơ hồ. Chuyên gia tạo đáp án chuẩn và ghi rõ lý do.
Bộ này không chỉ dùng một lần. Nó trở thành “bài kiểm tra hồi quy” mỗi khi đổi mô hình, câu lệnh, công cụ hoặc nguồn dữ liệu.
2. Chỉ số phải theo loại tác vụ
| Tác vụ | Chỉ số gợi ý |
|---|---|
| Trích xuất trường | Đúng trường, bỏ sót, sai định dạng, đúng bằng chứng |
| Phân loại | Precision, recall, F1 theo từng lớp; đặc biệt lớp rủi ro cao |
| RAG hỏi đáp | Tìm đúng nguồn, bám nguồn, đúng trích dẫn, trả “không đủ dữ liệu” đúng lúc |
| Tóm tắt | Đủ ý bắt buộc, không thêm dữ kiện, đúng số liệu |
| Tác nhân | Hoàn thành nhiệm vụ, gọi đúng công cụ, không vượt quyền, đúng cổng duyệt |
3. Bịa đặt phải được đo riêng
NIST gọi hiện tượng mô hình sinh tạo nội dung sai nhưng trình bày tự tin là confabulation – bịa đặt/suy diễn sai như thể là thật. Trong BĐS, có thể là tên văn bản không tồn tại, số liệu thị trường không có nguồn, điều khoản bị thêm vào hoặc trích dẫn sai trang.
Tỷ lệ bịa đặt nên được theo dõi riêng, đặc biệt ở các nghiệp vụ pháp lý, tài chính và khách hàng.
4. Phân loại lỗi để sửa đúng nơi
- Lỗi nguồn: dữ liệu gốc sai hoặc cũ.
- Lỗi truy xuất: nguồn đúng có trong kho nhưng hệ thống lấy nhầm.
- Lỗi trích xuất: đọc sai số/ngày/tên.
- Lỗi suy luận: nguồn đúng nhưng kết luận sai.
- Lỗi công cụ: truy vấn/tính toán sai.
- Lỗi quy trình: bỏ qua cổng duyệt hoặc hành động vượt quyền.
Nếu không tách lỗi, nhóm kỹ thuật có thể “tối ưu prompt” trong khi nguyên nhân thật là dữ liệu cũ.
5. Đánh giá theo hậu quả sai
Không cần cùng một ngưỡng cho mọi tác vụ. Viết mô tả marketing có thể chấp nhận người duyệt sửa câu chữ; trích ngày chấm dứt hợp đồng phải nghiêm hơn. Hãy lập bảng “loại lỗi – mức hậu quả – ngưỡng – hành động”.
6. Độ tin cậy không phải xác suất đúng tuyệt đối
Nhiều hệ thống trả điểm tin cậy, nhưng điểm đó chỉ hữu ích khi được hiệu chỉnh và kiểm chứng trên dữ liệu thật. Không nên mặc định “0,9 nghĩa là đúng 90%”. Có thể dùng điểm như tín hiệu để phân luồng, nhưng ngưỡng phải được xác lập bằng kiểm thử.
7. Đánh giá “không trả lời”
Một hệ thống tốt cần biết khi nào không đủ dữ liệu. Bộ kiểm thử phải có câu hỏi ngoài phạm vi, tài liệu thiếu và nguồn mâu thuẫn. Nếu AI vẫn tạo câu trả lời trọn vẹn cho mọi trường hợp, đó thường là dấu hiệu rủi ro chứ không phải ưu điểm.
8. Kiểm thử hồi quy
Mỗi phiên bản mới phải được so với phiên bản đang dùng trên cùng bộ chuẩn. Báo cáo nên chỉ ra trường hợp tốt lên, xấu đi, thay đổi ở phân khúc nào. Không chỉ nhìn một điểm trung bình.
9. Giám sát sau triển khai
Dữ liệu thực tế thay đổi theo thời gian. Cần theo dõi tỷ lệ ngoại lệ, tỷ lệ người duyệt sửa, loại lỗi, thời gian xử lý, số lần chuyển người, phản hồi người dùng và trường hợp sự cố. Các ví dụ lỗi mới nên được đưa ngược vào bộ kiểm thử.
10. Nhật ký kiểm tra tối thiểu
Mỗi đợt đánh giá nên ghi phiên bản mô hình, câu lệnh, bộ dữ liệu, ngày chạy, cấu hình truy xuất, công cụ, chỉ số, lỗi nghiêm trọng và quyết định phát hành/không phát hành. Đây là phần của quản trị hệ thống chứ không phải thủ tục giấy tờ.
11. Tình huống minh họa
Một hệ thống trích 15 trường hợp đồng đạt 98% trung bình nhưng chỉ đạt 82% ở trường “quyền chấm dứt trước hạn”. Nếu trường này ảnh hưởng trực tiếp quản trị rủi ro, không thể kết luận hệ thống “98% nên dùng tự động”. Có thể cho 14 trường chuẩn chạy tự động có kiểm và buộc trường nhạy cảm phải được người duyệt.
Ghi nhớ trong 30 giây
- Đánh giá phải dựa trên bộ tình huống đại diện, không dựa vài ví dụ đẹp.
- Độ đúng nội dung, độ đúng nguồn và độ đúng hành động là ba việc khác nhau.
- Sai do bịa đặt, sai do thiếu dữ liệu, sai do truy xuất nhầm và sai do quy tắc nghiệp vụ cần tách riêng.
- Mỗi lần đổi mô hình, câu lệnh, nguồn dữ liệu hoặc công cụ đều cần kiểm thử hồi quy.
Nguồn tham khảo
- NIST – AI Risk Management Framework (AI RMF) 1.0 và AI RMF Playbook; NIST đang cập nhật AI RMF trong năm 2026 nên khi triển khai thực tế cần kiểm tra phiên bản hiện hành.
- NIST AI 600-1 – Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024.
- ISO/IEC 42001:2023 – Artificial intelligence management system.
- RICS – Responsible use of artificial intelligence in surveying practice, 1st edition; có hiệu lực từ 09/03/2026.
- NIST – TEVV và AIRC: tài nguyên kiểm thử, đánh giá, xác minh và thẩm định hệ thống AI.
Bài tiếp theo
Bài 07: AI hỗ trợ nghiên cứu thị trường BĐS: tìm nguồn, tổng hợp, đối chiếu và truy vết bằng chứng