Một căn hộ có giá 600 triệu đồng/m² xuất hiện trong bộ dữ liệu mà phần lớn quan sát chỉ nằm quanh 40–80 triệu đồng/m². Ta nên xóa ngay vì “quá cao”, hay giữ lại vì đó có thể là một tài sản thật ở vị trí đặc biệt? Đây là một trong những quyết định dễ làm sai nhất khi làm sạch dữ liệu BĐS.
Biên soạn: ThS. Nguyễn Mạnh Hùng
Đơn vị: GV. Khoa QLĐĐ&BĐS – ĐH Nông Lâm TP.HCM
Email: nguyenmanhhung@hcmuaf.edu.vn
Cập nhật 2026: Bài giảng và tài liệu SPSS của môn học đã đúng ở nguyên tắc cốt lõi: dùng boxplot/IQR để phát hiện điểm bất thường và không tự ý xóa. Phần cập nhật của bài nhấn mạnh thêm cách tiếp cận hiện đại: outlier là ứng viên cần điều tra, không phải nhãn “dữ liệu sai”; quyết định giữ, sửa, loại hay phân tích riêng phải dựa trên nguồn gốc quan sát và mục tiêu nghiên cứu.
1. Outlier là gì?
Outlier – giá trị ngoại lai – là một quan sát nằm xa phần lớn các quan sát còn lại theo một tiêu chí nào đó. “Xa” có thể thể hiện ở giá, giá/m², diện tích, thời gian bán, khoảng cách, số tầng hoặc kết hợp nhiều biến.
Điểm quan trọng là: outlier là mô tả thống kê, không phải phán quyết về chất lượng dữ liệu. Một quan sát có thể bất thường nhưng hoàn toàn đúng.
| Loại tình huống | Ví dụ BĐS | Hướng xử lý |
|---|---|---|
| Lỗi nhập liệu | 65 triệu/m² nhập thành 650 triệu/m² | Đối chiếu nguồn và sửa nếu xác minh được |
| Sai đơn vị | Giá tổng 6,5 tỷ nhưng cột được hiểu là triệu đồng | Chuẩn hóa đơn vị, tính lại biến dẫn xuất |
| Sai mẫu số | Giá/m² chia cho diện tích đất thay vì diện tích sử dụng | Xác định đúng loại diện tích rồi tính lại |
| Trộn phân khúc | Penthouse/luxury trộn với căn hộ trung cấp | Phân nhóm lại trước khi kết luận |
| Tài sản thật sự đặc biệt | Căn góc, tầng cao, view hiếm, CBD, sản phẩm siêu sang | Giữ lại, gắn cờ và giải thích |
| Giao dịch không điển hình | Chuyển nhượng nội bộ, bán gấp, tài sản có điều kiện riêng | Tách khỏi mẫu thị trường nếu mục tiêu cần giao dịch điển hình |
2. Vì sao BĐS đặc biệt dễ có outlier?
Bất động sản có tính dị biệt cao. Hai tài sản cùng một con đường vẫn có thể khác nhau về diện tích, hình thể, mặt tiền, pháp lý, chất lượng công trình, tầng, view, tiện ích, thời điểm giao dịch và điều kiện thương lượng. Vì vậy phân phối giá BĐS thường không đẹp như dữ liệu “chuẩn” trong sách thống kê.
Nếu trộn nhiều phân khúc, nhiều khu vực hoặc nhiều loại diện tích vào cùng một bảng, ta còn tạo ra outlier giả: điểm chỉ bất thường vì nhóm so sánh sai.
3. Phát hiện outlier bằng boxplot và IQR
Tài liệu SPSS của môn học sử dụng quy tắc boxplot rất hữu ích:
- Q1 = phân vị 25%;
- Q3 = phân vị 75%;
- IQR = Q3 − Q1;
- điểm ngoài khoảng Q1 − 1,5×IQR hoặc Q3 + 1,5×IQR được gắn cờ ngoại lai;
- điểm rất xa, ngoài khoảng 3×IQR, cần được kiểm tra đặc biệt kỹ.
Đây cũng là cách trình bày kinh điển trong tài liệu thống kê của NIST. Tuy nhiên, “ngoài hàng rào” không có nghĩa “phải xóa”. Hàng rào chỉ giúp tìm nhanh các case cần xem lại.
4. Đừng kiểm tra outlier trước khi kiểm tra đơn vị và mẫu
Trình tự nên là:
- Kiểm tra đơn vị tiền: đồng, triệu đồng, tỷ đồng.
- Kiểm tra đơn vị diện tích: m², ha, diện tích đất, diện tích sàn, diện tích thông thủy.
- Kiểm tra loại giá: giá rao, giá giao dịch, giá thuê/tháng, giá/m².
- Kiểm tra trùng lặp và cùng một tài sản đăng nhiều lần.
- Phân đúng loại BĐS, khu vực, phân khúc.
- Sau đó mới dùng boxplot, IQR, histogram, scatter plot hoặc phương pháp robust.
Nếu bỏ qua bước 1–5, một “outlier” thống kê có thể chỉ là lỗi cấu trúc dữ liệu.
5. Z-score có dùng được không?
Z-score đo khoảng cách từ một giá trị đến mean theo đơn vị độ lệch chuẩn. Nó hữu ích trong một số phân phối gần đối xứng, nhưng giá BĐS thường lệch phải và có đuôi dài. Khi mean và SD đã bị điểm cực đoan kéo lệch, dùng z-score máy móc có thể không phải lựa chọn tốt nhất.
Với dữ liệu lệch, nên đọc thêm median, IQR, MAD (Median Absolute Deviation), boxplot và biểu đồ phân phối. NIST cũng xem median absolute deviation và IQR là các thước đo phân tán ít bị ảnh hưởng bởi phần đuôi hơn variance/SD.
6. Quy trình 6 câu hỏi trước khi xóa một outlier
- Case này có đúng tài sản không? Kiểm tra ID, địa chỉ, URL, nguồn.
- Giá và diện tích có đúng đơn vị không?
- Công thức biến dẫn xuất có đúng không? Đặc biệt giá/m².
- Case có thuộc cùng market segment không?
- Có bằng chứng thực tế cho mức bất thường không? View, mặt tiền, pháp lý, chất lượng, vị trí, giao dịch đặc biệt.
- Nếu loại, kết luận có thay đổi đáng kể không? Nên chạy sensitivity check “có và không có outlier”.
7. Bốn cách xử lý hợp lý
7.1. Sửa
Khi xác minh được lỗi nhập liệu, lỗi đơn vị hoặc lỗi tính toán, sửa về giá trị đúng và lưu dấu vết chỉnh sửa.
7.2. Giữ nhưng gắn cờ
Khi quan sát là thật nhưng đặc biệt. Tạo biến như outlier_flag=1 và ghi lý do. Đây thường là lựa chọn tốt hơn xóa âm thầm.
7.3. Phân tích riêng
Nếu outlier thuộc một phân khúc khác – ví dụ luxury – hãy tách phân khúc và báo cáo riêng.
7.4. Loại khỏi một mô hình cụ thể
Có thể loại nếu quan sát không thuộc tổng thể đích hoặc là lỗi không thể sửa. Nhưng phải ghi rõ tiêu chí loại, số case bị loại và ảnh hưởng đến kết quả.
8. Đừng “winsorize” hoặc cắt ngọn chỉ vì muốn biểu đồ đẹp
Winsorization, trimming hay biến đổi log có thể hữu ích trong một số bài toán, nhưng chúng thay đổi dữ liệu hoặc thang đo. Chỉ nên dùng khi có mục đích phân tích rõ, quy tắc được xác định trước và báo cáo minh bạch. Không nên biến mọi giá trị cao thành ngưỡng P95 chỉ để mean “đẹp” hơn.
9. Ví dụ thực hành
Giả sử 150 quan sát căn hộ có median giá/m² = 54,8 triệu, Q1 = 42,0 và Q3 = 73,5 triệu. Khi đó:
IQR = 73,5 − 42,0 = 31,5 triệu/m².
Hàng rào trên theo quy tắc 1,5×IQR:
73,5 + 1,5×31,5 = 120,75 triệu/m².
Một căn 135 triệu/m² sẽ được boxplot gắn cờ. Nhưng thay vì xóa, ta kiểm tra: nếu đó là penthouse tại một dự án hạng sang trong khi mẫu chính là căn hộ trung cấp, vấn đề thật sự là phân khúc, không phải “dữ liệu sai”.
10. Cách báo cáo outlier chuyên nghiệp
Một câu báo cáo tốt có thể là:
“Boxplot phát hiện 7/312 quan sát nằm ngoài hàng rào 1,5×IQR. Sau đối chiếu nguồn, 2 quan sát là lỗi đơn vị và được hiệu chỉnh; 4 quan sát là sản phẩm hạng sang hợp lệ và được giữ, gắn cờ; 1 quan sát thiếu căn cứ xác minh được loại khỏi mô hình chính. Kết quả sensitivity analysis không làm thay đổi chiều kết luận.”
Checklist trước khi xử lý outlier
- Đã giữ bản RAW chưa?
- Đã kiểm tra đơn vị chưa?
- Đã kiểm tra công thức giá/m² chưa?
- Đã chống trùng chưa?
- Đã phân đúng segment chưa?
- Đã xem boxplot/histogram/scatter chưa?
- Đã quay về case gốc để xác minh chưa?
- Đã ghi lý do giữ/sửa/loại chưa?
- Đã chạy kết quả có/không có outlier chưa?
Ghi nhớ trong 30 giây
- Outlier không đồng nghĩa dữ liệu sai.
- IQR/boxplot là công cụ phát hiện ứng viên cần kiểm tra, không phải máy xóa dữ liệu.
- Trong BĐS, outlier có thể phản ánh tài sản thật sự đặc biệt hoặc trộn sai phân khúc.
- Luôn kiểm tra đơn vị, mẫu số, nguồn và market segment trước khi quyết định.
- Mọi sửa/xóa phải có lý do và để lại cleaning log.
Nguồn tham khảo
- Nguyễn Mạnh Hùng, Bài giảng Phân tích thị trường BĐS – Thu thập và xử lý dữ liệu.
- Nguyễn Mạnh Hùng, Tài liệu hướng dẫn phân tích SPSS, phần Explore, Boxplot, IQR và Outliers.
- NIST/SEMATECH, e-Handbook of Statistical Methods, các mục Outliers, Box Plot và Measures of Scale.
- Penn State, STAT 200 – Describing Data: Boxplots and Quartiles.
Bài tiếp theo: “Cách phát hiện giá/m² bất thường”.