Làm sạch dữ liệu bằng AI: quy trình, prompt và bước kiểm tra

AI có thể phát hiện định dạng không thống nhất, giá trị đáng ngờ và bản ghi trùng, rồi đề xuất cách xử lý. Người phụ trách cần duyệt quy tắc, giữ dữ liệu gốc, đánh dấu ô thiếu thay vì tự điền, kiểm tra số dòng bị tác động và lưu lịch sử biến đổi.

Làm sạch dữ liệu là gì và AI giúp ở đâu?

Làm sạch dữ liệu là tìm và xử lý những vấn đề ảnh hưởng tới việc đọc, ghép, phân tích hoặc sử dụng dữ liệu: kiểu ngày không nhất quán, trường bắt buộc bị trống, bản ghi lặp, đơn vị trộn lẫn hoặc giá trị ngoài miền hợp lệ. “Sạch” không đồng nghĩa mọi ô đều được lấp đầy hay mọi ngoại lệ bị xóa. Dữ liệu có thể thiếu một cách có ý nghĩa, và giá trị khác thường đôi khi đúng.

AI hữu ích khi cần sàng lọc nhiều biến thể, nhóm những lỗi có vẻ giống nhau, gợi ý quy tắc hoặc viết mã chuyển đổi ban đầu. AI không biết sự thật nghiệp vụ nếu không được cung cấp chuẩn tham chiếu. Mô hình có thể tự tạo giá trị trông hợp lý, nhầm bản ghi hợp pháp là trùng hoặc đổi đơn vị theo giả định sai. Vì thế, dùng AI để đề xuất và giải thích; người sở hữu dữ liệu quyết định quy tắc và ngoại lệ.

Ví dụ cụ thể: trước và sau khi chuẩn hóa

Giả sử bảng đơn hàng có các trường mã đơn, ngày tạo, số lượng, đơn vị và mã khách hàng. Các dòng dưới đây chỉ minh họa vấn đề thường gặp; quy tắc chuẩn hóa thực tế phải lấy từ schema và quy ước của tổ chức.

Ở dòng ngày “03/04/26”, không thể biết chắc đó là ngày 3 tháng 4 hay ngày 4 tháng 3 chỉ từ chuỗi. AI không nên chọn một cách hiểu rồi âm thầm ghi lại. Cách đúng là giữ chuỗi gốc, đánh dấu cần xác nhận nguồn hoặc định dạng xuất. Tương tự, hai đơn cùng mã có thể do dữ liệu nhân đôi, nhưng nếu hệ thống cho phép nhiều dòng hàng chung mã thì cần so khóa nghiệp vụ đầy đủ trước khi loại.

Quy trình: AI đề xuất, người phụ trách duyệt

1. Giữ bản nguồn: tạo bản sao chỉ đọc hoặc snapshot có ngày; không biến đổi trực tiếp tệp gốc.
2. Viết schema và định nghĩa: ghi kiểu dữ liệu, đơn vị, miền hợp lệ, khóa định danh và cách biểu diễn thiếu.
3. Khám phá chất lượng: đếm null, giá trị duy nhất, tần suất, định dạng lạ và dòng có dấu hiệu trùng.
4. Nhờ AI đề xuất: cung cấp ví dụ đã loại dữ liệu nhạy cảm; yêu cầu nêu quy tắc và lý do chứ không yêu cầu tự quyết định.
5. Duyệt quy tắc: data owner hoặc chuyên gia miền xác nhận cách hiểu, trường hợp ngoại lệ và ảnh hưởng.
6. Chạy trên bản sao: lưu giá trị cũ, giá trị mới, cờ duyệt, quy tắc và phiên bản biến đổi.
7. Đối soát: so số hàng, tổng số lượng, khóa duy nhất và mẫu trước/sau; điều tra mọi thay đổi ngoài dự kiến.
8. Phê duyệt xuất bản: chỉ thay dữ liệu phục vụ phân tích hoặc vận hành sau khi tiêu chí đạt.

Phân công trách nhiệm rõ giúp ngăn AI vô tình thay đổi ý nghĩa. Người vận hành dữ liệu có thể xác nhận schema và chạy pipeline; người hiểu nghiệp vụ quyết định “trùng”, “thiếu” hay “bất thường” nghĩa là gì; người quản trị dữ liệu xác định thông tin nào được gửi tới công cụ AI. Nếu các vai trò tập trung ở một người, vẫn nên tách bước tạo đề xuất khỏi bước duyệt để có cơ hội rà lại quyết định.

Quy tắc cho ngày tháng, null, trùng lặp và đơn vị

Ngày tháng mơ hồ

Chỉ chuẩn hóa ngày khi biết định dạng nguồn, múi giờ và cách hiểu năm rút gọn. Dùng chuẩn thống nhất như YYYY-MM-DD ở lớp lưu trữ nếu phù hợp, nhưng đừng bỏ chuỗi gốc khi không chắc. So sánh ngày với thời điểm tạo bản ghi hoặc tài liệu nguồn để phát hiện lỗi nhập nhầm. Những chuỗi như 31/04 không phải ngày hợp lệ trong lịch thông dụng; gắn cờ để kiểm tra chứ không tự sửa thành 30/04 nếu không có nguồn xác nhận.

Ô trống và giá trị thiếu

Phân biệt “không biết”, “không áp dụng”, “chưa thu thập” và “đã xác nhận không có”. Một chuỗi rỗng, dấu gạch ngang và mã “N/A” có thể đang được dùng theo các nghĩa khác nhau. Tạo trạng thái thiếu rõ ràng theo schema. Chỉ điền giá trị khi có nguồn đáng tin hoặc quy tắc nghiệp vụ được phê duyệt; không dùng mô hình để đoán số điện thoại, ngày sinh, doanh thu hoặc dữ liệu cá nhân khác.

Bản ghi trùng

Định nghĩa khóa trùng trước khi xóa. So toàn bộ các cột có thể quá nghiêm; so một cột như tên khách hàng có thể gộp nhầm hai người. Tạo danh sách cặp nghi ngờ, cho xem các trường khác nhau và để người có nghiệp vụ quyết định. Giữ lại mã dòng nguồn để biết các bản ghi đã được gộp từ đâu. Với dữ liệu giao dịch, xác nhận hệ thống nguồn có thể phát lại cùng sự kiện hay không.

Đơn vị đo và tiền tệ

Chỉ quy đổi khi biết đại lượng, đơn vị gốc, đơn vị đích và quy tắc làm tròn. “1.5” không thể đổi nếu không biết là kg, lít hay giờ. Tiền tệ cần mã tiền tệ và thời điểm tỷ giá nếu chuyển đổi; không dùng tỷ giá hiện tại để sửa dữ liệu lịch sử. Lưu cả giá trị gốc và cột chuẩn hóa giúp tái kiểm tra khi quy tắc thay đổi.

Prompt mẫu: yêu cầu đề xuất, không tự bịa dữ liệu

Với một mẫu đã ẩn danh và schema đã xác định, có thể yêu cầu AI như sau:

“Hãy rà bảng mẫu theo schema đính kèm. Không tự điền trường thiếu và không xóa dòng. Trả về danh sách vấn đề gồm số dòng, cột, giá trị gốc, loại nghi vấn, quy tắc có thể áp dụng và thông tin còn cần người xác nhận. Với mỗi quy tắc, cho biết số bản ghi bị ảnh hưởng. Giữ nguyên dữ liệu nếu có hơn một cách diễn giải hợp lý.”

Đầu ra nên là bảng đề xuất, không phải file đã ghi đè. Người duyệt có thể bổ sung trạng thái “chấp nhận”, “từ chối”, “cần nguồn” cùng tên quy tắc. Khi đề xuất được chấp nhận, áp dụng nó bằng mã hoặc bước chuyển đổi xác định để chạy lại được; không để mỗi lần chạy AI diễn giải lại toàn bộ dữ liệu theo cách khác.

Thực hiện bằng pandas hoặc Power Query

Trong Python, pandas có công cụ để kiểm tra giá trị thiếu và phát hiện dòng trùng; tài liệu chính thức hướng dẫn các cách biểu diễn missing values và phương thức kiểm tra duplicate. Hãy dùng phép biến đổi tường minh trên bản sao DataFrame, kiểm tra số lượng dòng trước/sau và chỉ loại bỏ trùng theo tập khóa đã được duyệt. Với ngày mơ hồ, parse theo định dạng biết trước và lưu các dòng parse thất bại để xử lý riêng.

Trong Excel hoặc Power BI, Power Query có thể xem chất lượng cột, phân bố giá trị và tạo bước biến đổi có thể xem lại. Microsoft lưu ý thao tác Remove Duplicates phụ thuộc những cột chọn; khi dữ liệu kết nối với nguồn bên ngoài, cần hiểu query folding và không giả định luôn giữ đúng bản ghi mong muốn. Tạo cột kiểm tra và filter dòng nghi ngờ trước, đừng nhấn xóa trùng chỉ vì nút lệnh có sẵn.

Dù dùng công cụ nào, lưu file nguồn, truy vấn/mã, thời gian chạy và phiên bản quy tắc. Với thay đổi quan trọng, dùng một tập mẫu có expected output để phát hiện hồi quy sau này. Không cần đưa dữ liệu thô lên dịch vụ AI bên ngoài nếu chính sách tổ chức chưa cho phép; có thể dùng dữ liệu tổng hợp hoặc các ví dụ đã ẩn danh cho bước thiết kế prompt.

Kiểm định sau làm sạch: bảo toàn ý nghĩa

Kiểm tra kỹ thuật không dừng ở việc không còn lỗi định dạng. So sánh số bản ghi, số khóa duy nhất, tổng các đại lượng có ý nghĩa, phân bố theo thời gian và tỷ lệ missing trước/sau. Lấy mẫu các dòng đã đổi, các dòng không đổi và ngoại lệ bị gắn cờ. Nếu tổng doanh thu thay đổi mạnh sau chuẩn hóa, cần biết thay đổi đó đến từ quy tắc nào và có căn cứ nghiệp vụ hay không.

Với bước xóa trùng, kiểm tra mẫu các cặp đã hợp nhất và những cặp gần trùng nhưng được giữ riêng. Với ngày, kiểm tra dòng có giá trị sai lịch, kỳ vọng múi giờ và chuỗi không parse được. Với đơn vị, xác nhận mẫu tính tay và sai số làm tròn. Ghi chép quyết định cùng người duyệt để nhóm khác có thể tái tạo kết quả.

Đầu ra an toàn có thể vẫn còn một số dòng chưa xử lý, miễn chúng được đánh dấu rõ và không âm thầm sử dụng như dữ liệu sạch. Báo cáo hoàn tất cần nêu loại vấn đề, số dòng thay đổi, quy tắc áp dụng, trường hợp chuyển duyệt và giới hạn còn lại. Nếu thiếu bằng chứng, giữ nguyên dữ liệu và yêu cầu bổ sung là kết quả hợp lệ.

Bài liên quan trên FUNiX

• AI hỗ trợ marketing giúp điều gì? 7 ứng dụng thực tế
• AI Engineer cần học gì?

Câu hỏi thường gặp

AI có thể tự sửa toàn bộ dữ liệu không?

Không nên giao quyền đó mặc định. AI dễ gợi ý chuẩn hóa, nhưng chỉ người hiểu schema và nghiệp vụ mới xác nhận được ý nghĩa của ngày, bản ghi trùng hay đơn vị. Chạy biến đổi trên bản sao và lưu dấu vết.

Ô trống có nên thay bằng số 0?

Chỉ khi định nghĩa trường quy định ô trống tương đương số 0. Nếu thiếu có nghĩa chưa biết hoặc chưa thu thập, thay bằng 0 sẽ làm sai trung bình, tổng và quyết định downstream.

Làm sao xác định hai dòng là trùng?

Chọn khóa theo nghiệp vụ và so thêm trường liên quan. Hai đơn cùng khách hàng không nhất thiết trùng; kiểm tra mã giao dịch, thời gian, dòng hàng và quy tắc tạo bản ghi.

Dữ liệu nhạy cảm có nên đưa vào prompt?

Chỉ khi chính sách tổ chức và cấu hình dịch vụ cho phép. Giảm thiểu hoặc ẩn danh dữ liệu, kiểm tra điều khoản lưu trữ theo endpoint và dùng dữ liệu tổng hợp khi đủ cho thử nghiệm.

Nên chọn pandas hay Power Query?

Chọn theo môi trường và khả năng tái lập: pandas thuận tiện cho quy trình mã hóa, kiểm thử và pipeline Python; Power Query phù hợp biến đổi bảng trong hệ sinh thái Excel/Power BI. Cả hai đều cần quy tắc đã duyệt.

Kết luận

AI giúp tăng tốc phát hiện và đề xuất cách xử lý, nhưng chất lượng dữ liệu phụ thuộc quy tắc nghiệp vụ, nguồn xác nhận và kiểm định sau biến đổi. Giữ nguyên bản gốc, đánh dấu thay vì đoán, so sánh trước–sau và lưu quyết định của người duyệt để kết quả có thể giải thích và tái tạo.

Nguồn tham khảo

• pandas — Working with missing data
• pandas — Duplicate Labels
• Microsoft Learn — Power Query data profiling
• Microsoft Learn — Working with duplicate values
• OpenAI API — Data controls