Một cột “pháp lý” trống ở 12% bản ghi, một số tin không có số phòng ngủ, vài khách hàng bỏ câu hỏi thu nhập và một số nhà phố không có biến “tầng căn hộ”. Tất cả đều nhìn giống ô trống, nhưng nguyên nhân và cách xử lý hoàn toàn khác nhau. Nếu biến mọi ô trống thành 0, xóa toàn bộ dòng thiếu hoặc điền mean máy móc, dữ liệu có thể bị méo nhiều hơn trước khi làm sạch.
Biên soạn: ThS. Nguyễn Mạnh Hùng
Đơn vị: GV. Khoa QLĐĐ&BĐS – ĐH Nông Lâm TP.HCM
Email: nguyenmanhhung@hcmuaf.edu.vn
Cập nhật 2026: PPT nêu hai cách thực hành cơ bản: nếu tỷ lệ thiếu nhỏ có thể loại bản ghi; hoặc ước lượng/thay thế bằng mean/median hay mô hình. Đây là phần cần cập nhật. Không có ngưỡng 5% hay một kỹ thuật imputation đúng cho mọi dataset. Mean imputation có thể làm giảm phương sai và làm méo tương quan. Quyết định xử lý phải dựa vào mức độ thiếu, pattern missing, cơ chế sinh missing và mô hình phân tích cuối cùng.
1. Missing value là gì?
Missing value là trường hợp giá trị cần cho một biến không được quan sát hoặc không có trong dataset. Nhưng trước tiên phải phân biệt missing với:
| Trạng thái | Ví dụ | Có phải missing? |
|---|---|---|
| 0 thật | Số chỗ đậu xe = 0 | Không |
| Không áp dụng | Tầng căn hộ đối với đất nền | Không; nên mã N/A riêng |
| Không biết | Người đăng không biết năm xây | Có, loại “unknown” |
| Từ chối trả lời | Khách không cung cấp thu nhập | Có, nhưng nguyên nhân quan trọng |
| Không thu thập | Phiếu cũ chưa có câu hỏi pháp lý | Có, mang tính cấu trúc theo version |
| Lỗi kỹ thuật | API lỗi không trả tọa độ | Có |
Nếu tất cả bị mã thành 0, mô hình sẽ hiểu sai.
2. Bước đầu tiên: lập bản đồ missing
Không xử lý từng ô riêng lẻ. Hãy audit:
- tỷ lệ missing theo biến;
- số missing theo bản ghi;
- missing theo khu vực, loại BĐS, nguồn và thời gian;
- các biến thường thiếu cùng nhau;
- missing có tập trung ở một phiên bản phiếu/nền tảng không.
Ví dụ: 20% dữ liệu thiếu pháp lý nghe có vẻ nhiều; nhưng nếu toàn bộ 20% đến từ một nguồn cụ thể vốn không công bố pháp lý, đây là source-specific missingness, khác với thiếu ngẫu nhiên.
3. Ba cơ chế missing: MCAR, MAR và MNAR
3.1. MCAR – Missing Completely At Random
Xác suất bị thiếu không liên quan đến biến quan sát khác và cũng không liên quan đến chính giá trị bị thiếu. Ví dụ một số bản ghi mất ngẫu nhiên do lỗi truyền dữ liệu không phụ thuộc giá hay loại tài sản.
3.2. MAR – Missing At Random
Missing có thể liên quan đến các biến đã quan sát. Ví dụ tin từ một nền tảng cụ thể thường thiếu năm xây; sau khi đã biết “nguồn dữ liệu”, missing có thể giải thích một phần bằng biến này.
3.3. MNAR – Missing Not At Random
Xác suất thiếu liên quan đến chính giá trị không quan sát hoặc yếu tố chưa đo. Ví dụ người có thu nhập rất cao có thể có xu hướng từ chối khai thu nhập nhiều hơn. Đây là nhóm khó xử lý nhất.
Các khái niệm này quan trọng vì phương pháp xử lý hợp lệ phụ thuộc vào giả định về cơ chế missing.
4. Có nên đặt ngưỡng “missing > 5% thì xử lý”?
Ngưỡng như 5% hữu ích để cảnh báo trong bài thực hành, nhưng không nên coi là luật thống kê. Cùng 8% missing:
- nếu là biến phụ có thể ít ảnh hưởng;
- nếu là biến giá — biến phụ thuộc chính — có thể nghiêm trọng;
- nếu missing tập trung ở một khu vực, bias có thể lớn;
- nếu MCAR, complete-case có thể chấp nhận hơn;
- nếu MNAR, chỉ nhìn tỷ lệ không đủ.
Vì vậy phải xét tỷ lệ + pattern + cơ chế + vai trò biến.
5. Xóa bản ghi thiếu: khi nào có thể?
Complete-case analysis chỉ sử dụng các bản ghi đầy đủ cho tất cả biến trong mô hình. Cách này đơn giản nhưng:
- làm giảm cỡ mẫu;
- tăng sai số chuẩn;
- có thể gây bias nếu missing không phải MCAR hoặc không thỏa giả định cần thiết;
- mỗi mô hình có thể còn một tập quan sát khác nhau.
Có thể cân nhắc khi tỷ lệ thiếu thấp, thiếu có tính ngẫu nhiên hợp lý và số quan sát còn lại vẫn đủ cho mục tiêu. Nhưng phải báo cáo số dòng trước/sau.
6. Mean/median imputation: dễ nhưng nguy hiểm nếu dùng máy móc
Điền mọi giá trị thiếu bằng mean làm dữ liệu “đủ 100%”, nhưng tạo một cụm giá trị nhân tạo ở trung tâm phân phối. Hệ quả có thể gồm:
- giảm phương sai;
- làm sai tương quan;
- ảnh hưởng hệ số hồi quy;
- coi giá trị ước lượng như quan sát thật;
- đánh giá thấp bất định.
Median có thể ít nhạy với outlier hơn mean, nhưng vẫn là single imputation và không tự giải quyết được vấn đề bất định.
7. Có những lựa chọn nào khác?
| Cách xử lý | Khi có thể phù hợp | Cảnh báo |
|---|---|---|
| Truy lại nguồn để bổ sung | Luôn ưu tiên nếu khả thi | Cần log nguồn cập nhật |
| Giữ missing và phân tích theo biến | Thống kê mô tả | N phải ghi theo từng chỉ tiêu |
| Complete-case | Missing thấp, giả định hợp lý | Mất mẫu/bias |
| Imputation theo nhóm | Bài thực hành/thăm dò có lý do nghiệp vụ | Vẫn là single imputation |
| Regression/model-based | Có biến dự báo tốt | Cần kiểm định giả định |
| Multiple Imputation | Nghiên cứu suy luận nâng cao, MAR hợp lý | Cần mô hình imputation và pooling đúng |
| Phân tích nhạy cảm | Nghi ngờ MNAR | Không có một “đáp án tự động” |
8. Multiple Imputation khác gì điền một giá trị?
Multiple Imputation tạo ra nhiều bộ dữ liệu hoàn chỉnh với các giá trị điền khác nhau phản ánh bất định, phân tích từng bộ rồi gộp kết quả. Mục tiêu không phải đoán đúng “giá trị thật” của từng ô, mà là duy trì quan hệ giữa biến và đưa bất định do missing vào sai số chuẩn.
Đây là phương pháp mạnh hơn nhưng không phải lựa chọn mặc định cho mọi bài website hay bài tập sinh viên. Nó đòi hỏi hiểu cơ chế missing, chọn biến đưa vào mô hình imputation và kiểm tra chẩn đoán.
9. Missing trong dữ liệu BĐS có những trường hợp đặc thù nào?
Giá giao dịch bị thiếu
Không nên lấy giá rao thay vào cột giá giao dịch rồi coi là cùng loại biến. Đây là hai khái niệm khác nhau.
Địa chỉ thiếu số nhà
Có thể vẫn phân tích ở cấp phường/xã nhưng không nên gán tọa độ chính xác giả tạo.
Pháp lý “không có thông tin”
Không được tự động mã thành “chưa có sổ”. Unknown ≠ No.
Diện tích thiếu
Nếu nghiên cứu giá/m², đây là biến cốt lõi. Có thể cần loại khỏi phân tích giá/m² nếu không thể khôi phục đáng tin cậy.
Khoảng cách tiện ích thiếu
Nếu có tọa độ tốt, có thể tính lại bằng GIS thay vì impute thống kê.
10. Đừng làm mất thông tin về missing
Nên giữ:
- raw value;
- missing reason code;
- imputed_flag;
- imputation_method;
- imputed_value nếu có;
- version/log xử lý.
Như vậy có thể phân biệt giá trị gốc và giá trị ước lượng.
11. Một workflow xử lý missing thực hành
- Chuẩn hóa mã missing: blank, NA, N/A, 99, “không rõ”…
- Phân biệt 0, not applicable, unknown và refused.
- Tính tỷ lệ missing theo biến.
- Vẽ pattern missing theo nguồn/khu vực/thời gian.
- Xác định biến cốt lõi và biến phụ.
- Thử giải thích cơ chế missing bằng các biến đã quan sát.
- Ưu tiên khôi phục từ nguồn nếu có thể.
- Chọn phương pháp xử lý phù hợp mục tiêu.
- Chạy sensitivity check nếu quyết định có thể ảnh hưởng kết luận.
- Báo cáo số quan sát được dùng trong từng phân tích.
12. Ví dụ nhỏ
Có 500 căn hộ; 50 căn thiếu diện tích. Nếu 50 căn này chủ yếu thuộc một dự án cao cấp không công bố diện tích chi tiết, xóa chúng có thể làm mẫu còn lại rẻ hơn và khiến giá trung bình bị lệch. Đây không phải vấn đề giải quyết bằng câu “10% > 5% nên impute”. Cần nhận ra missing gắn với dự án/phân khúc, rồi cân nhắc nguồn bổ sung hoặc phân tích riêng.
13. Cách báo cáo missing chuyên nghiệp
Thay vì viết “dữ liệu đã được xử lý”, nên ghi:
“Biến diện tích thiếu 10% (50/500), tập trung ở dự án A. Nhóm nghiên cứu không thay thế bằng mean; 35 trường hợp được khôi phục từ hồ sơ nguồn, 15 trường hợp còn lại không được sử dụng trong phân tích giá/m². Vì missing tập trung ở phân khúc cao cấp, kết quả giá/m² có thể đánh giá thấp phần đuôi trên của thị trường.”
Câu này cho người đọc biết cả mức thiếu, pattern, cách xử lý và rủi ro bias.
Ghi nhớ trong 30 giây
- Missing không đồng nghĩa với 0 và không đồng nghĩa “không có”.
- Đừng chỉ nhìn tỷ lệ; phải xem pattern và cơ chế missing.
- MCAR, MAR, MNAR dẫn đến các giả định xử lý khác nhau.
- Mean/median imputation không nên là mặc định vì có thể làm méo phương sai và tương quan.
- Phải lưu dấu vết giá trị nào là gốc, giá trị nào được khôi phục/impute.
Nguồn tham khảo
- Nguyễn Mạnh Hùng, Bài giảng Phân tích thị trường BĐS – Tuần 2: Làm sạch dữ liệu.
- Nguyễn Mạnh Hùng, Lab 2 – Làm sạch và chuẩn hóa dữ liệu.
- Nguyễn Mạnh Hùng, Tài liệu hướng dẫn phân tích SPSS.
- UCLA Office of Advanced Research Computing, Multiple Imputation in Stata (2026): missing mechanisms, complete-case, mean imputation và multiple imputation.
- Columbia University Mailman School of Public Health, Missing Data and Multiple Imputation.
Bài tiếp theo: “Outlier trong dữ liệu BĐS: lỗi dữ liệu hay một tài sản đặc biệt?”.