AI Ready Data 품질 점검 5단계

AI Ready Data(특정 AI 업무에 안전하고 신뢰성 있게 사용할 수 있도록 준비된 데이터)인지 확인하려면 먼저 사용 목적을 정하고, 품질 기준을 측정 가능한 규칙으로 바꿔야 합니다. 데이터가 깨끗해 보이는지만 확인해서는 부족합니다. 정확성, 누락, 일관성, 최신성, 대표성, 출처와 이용 권한을 점검한 뒤 실제 학습이나 검색 작업으로 결과를 검증하세요.

AI Ready Data 품질 점검의 출발점

먼저 데이터가 맡을 일을 정합니다

같은 고객 상담 기록도 분류 모델 학습, 사내 규정 검색(RAG, 검색한 문서를 생성형 AI 답변에 참고시키는 방식), 상담 요약 에이전트에 쓰일 때 필요한 조건이 다릅니다. 학습 데이터는 대상과 상황을 고르게 대표해야 하고, RAG 문서는 검색 가능한 단위로 나뉘며 출처와 시행일을 확인할 수 있어야 합니다. 에이전트가 업무를 수행한다면 최신성뿐 아니라 접근 권한과 변경 이력도 중요합니다.

‘좋은 데이터’ 대신 통과 기준을 씁니다

정확하고 최신이어야 한다는 말만으로는 팀마다 판단이 달라집니다. 예를 들어 ‘필수 항목 누락률’, ‘중복 레코드 비율’, ‘기준일 이후 갱신 비율’, ‘출처 확인 가능 여부’처럼 검사 가능한 항목으로 바꾸세요. 허용 기준은 데이터의 위험도와 사용 목적에 맞게 담당 부서가 합의해야 합니다. 모든 데이터에 통용되는 단일 합격 점수는 없습니다.

AI 데이터 품질을 확인하는 5단계

1단계: 사용 사례와 데이터 범위를 고정합니다

검사 전에 어떤 질문이나 작업을 AI가 처리할지 한 문장으로 적습니다. 입력 데이터, 결과를 사용할 사람, 오류가 났을 때의 영향도 함께 기록하세요. 사용할 테이블·문서·기간·언어·갱신 주기를 특정해야 나중에 점검 범위가 흔들리지 않습니다.

2단계: 데이터 프로파일을 만들어 기본 오류를 찾습니다

데이터 프로파일(값의 분포와 누락·형식 등을 요약한 현황)을 작성해 행 수, 필드별 결측률, 고유값, 값 범위, 형식 오류, 중복을 살핍니다. 날짜 형식과 단위가 섞였는지, 코드값에 설명이 있는지, 같은 대상을 다른 ID로 기록했는지도 확인합니다. 문서 데이터라면 OCR(이미지 글자를 문자로 변환하는 기술) 오류, 표·각주 누락, 잘못된 문서 분할도 표본으로 검수합니다.

3단계: 업무 규칙과 기준 데이터에 대조합니다

스키마(필드 이름·자료형·관계를 정한 구조) 검증만으로 값의 의미가 맞는지는 알 수 없습니다. 업무 규칙, 원천 시스템, 승인된 기준 목록과 대조하세요. 예를 들어 종료일이 시작일보다 앞서지 않는지, 상태 코드와 설명이 일치하는지, 금액 단위가 통일됐는지를 검사합니다. 오류는 원천 오류, 수집 오류, 변환 오류로 나눠 재발 지점을 찾습니다.

4단계: 대표성·편향·보안·권한을 확인합니다

전체 데이터의 평균만 보지 말고 업무상 중요한 집단, 기간, 예외 사례별로 분포를 비교합니다. 특정 유형의 사례가 적거나 과거 데이터가 지나치게 많으면 실제 운영 상황에서 성능이 달라질 수 있습니다. 개인정보나 영업기밀이 포함되는지, 이용 목적과 권한이 허용되는지, 보존·삭제 기준이 있는지도 검토하세요. 학습과 평가 데이터가 중복되면 모델 성능을 실제보다 높게 보일 수 있으므로 분리 기준을 기록합니다.

5단계: 품질을 고친 뒤 AI 작업으로 재검증합니다

수정 전후의 검사 결과와 데이터 버전을 남기고, 대표 질문이나 사례 묶음으로 실제 작업을 검증합니다. RAG라면 정답 근거 문서가 검색되는지, 문서 날짜·출처가 답변에 따라오는지 살펴봅니다. 분류·예측 모델은 오류 유형과 집단별 성능을 확인하세요. 통과한 데이터도 원천 변경이나 새 배포 뒤에는 같은 검사를 반복하도록 자동화합니다.

목적별로 달라지는 점검 기준

학습·미세조정 데이터

라벨 정의와 작성 지침이 일관적인지, 모호한 사례에 검수 기록이 있는지 확인합니다. 학습·검증·평가 분할이 사용자나 시간 기준으로 적절한지 살펴보고, 정답 유출이나 거의 같은 문장의 중복이 섞이지 않게 합니다. 실제 사용 환경에서 드물지만 중요한 사례가 충분히 포함됐는지도 검토 대상입니다.

검색·RAG 문서 데이터

문서별 제목, 작성 주체, 출처 URL 또는 식별자, 작성·시행일, 버전, 접근 등급을 연결합니다. 본문과 표가 의미 단위로 보존되는지, 문서가 너무 잘게 나뉘어 맥락을 잃거나 너무 크게 묶여 검색이 흐려지지 않는지 시험합니다. 폐기되거나 대체된 문서가 검색 결과에 남지 않도록 갱신·삭제 절차도 점검하세요.

운영 데이터와 AI 에이전트

AI가 읽거나 실행할 수 있는 범위가 업무상 필요한 권한과 일치하는지 확인합니다. 데이터 소유자, 접근 승인, 변경 이력, 오류 신고 경로를 정하고, 결과에 영향을 주는 업무 정의(예: ‘활성 고객’의 기준)를 명시하세요. 사람의 승인 없이 되돌리기 어려운 행동을 수행하는 흐름이라면 권한과 로그를 더욱 엄격하게 검토해야 합니다.

점검 결과를 운영 가능한 기준으로 남기는 법

품질 지표마다 책임자와 조치 방법을 지정합니다

각 검사 항목에는 데이터 담당자, 검사 주기, 실패 시 조치, 예외 승인자를 붙이세요. 점검표에는 데이터셋 버전, 검사 시각, 표본과 전체 대상 구분, 오류 건수, 수정 내역을 남깁니다. 통과 여부만 저장하면 품질이 나빠진 원인과 영향 범위를 추적하기 어렵습니다.

작은 범위에서 기준을 보정합니다

처음부터 전사 데이터에 같은 기준을 적용하기보다 영향이 큰 업무 하나를 골라 기준을 시험하세요. 실제 오류 사례와 AI 결과를 검토해 불필요한 규칙은 줄이고 놓친 위험은 추가합니다. 기준을 바꿀 때는 이전 결과와 비교할 수 있게 버전을 기록합니다. 구조화 데이터의 품질 특성을 설계할 때는 ISO/IEC 25012 데이터 품질 모델을 참고할 수 있습니다. 공공데이터를 다루는 조직은 적용 대상과 절차를 확인하기 위해 NIA의 공공데이터 인공지능 친화적 관리 가이드라인 v1.1도 살펴볼 수 있습니다.

점검의 핵심은 하나의 점수로 ‘AI 사용 가능’을 선언하는 것이 아니라, 목적별 기준과 실패 시 조치를 함께 기록하는 것입니다.

현장에서 자주 놓치는 점검 항목

• 값은 맞지만 정의가 다른 경우: ‘매출’, ‘활성’, ‘완료’ 같은 용어의 집계 기준과 기준일을 데이터 설명에 적습니다.

• 빈칸을 임의로 채우는 경우: 결측값을 0이나 ‘없음’으로 바꾸면 실제 의미가 달라질 수 있으므로 원인과 대체 규칙을 분리합니다.

• 문서 최신성을 확인하지 않는 경우: 개정·폐기된 문서가 검색에 포함되지 않도록 버전과 유효기간을 확인합니다.

• 민감정보 검토를 뒤로 미루는 경우: 적법한 사용 근거, 최소 수집, 마스킹 필요 여부를 품질 검사와 함께 점검합니다.

• 합격 점수만 보고 배포하는 경우: 오류가 어느 집단과 업무에 집중되는지 살피고, 위험도에 따라 사람 검토 절차를 둡니다.

아래 항목으로 첫 점검을 시작해 보세요.

• 사용 목적과 허용 오류 수준을 문서화했는가?

• 필수 필드·단위·코드·중복 검사를 반복 실행할 수 있는가?

• 대표 사례와 예외 사례를 표본 검수했는가?

• 출처·갱신일·소유자·이용 권한이 기록돼 있는가?

• 실제 AI 입력과 결과를 기준 사례로 검증했는가?

자주 묻는 질문

Q. AI Ready Data는 오류가 전혀 없는 데이터인가요?

아닙니다. 사용 목적과 위험에 맞는 품질 기준을 정하고, 알려진 한계와 예외를 관리하는 데이터입니다. 오류를 발견하고 수정할 책임과 절차도 함께 있어야 합니다.

Q. 품질 점검은 AI 개발 전에 한 번만 하면 되나요?

한 번으로 끝나지 않습니다. 원천 데이터, 업무 정의, 문서 버전이 바뀌면 결과도 달라질 수 있습니다. 중요 검사 항목은 데이터 수집·변환·배포 과정에서 반복 실행하도록 구성하세요.

Q. 데이터 품질 합격률은 몇 퍼센트로 잡아야 하나요?

모든 업무에 적용되는 보편적인 합격률은 없습니다. 누락이나 오분류가 미치는 영향을 따져 항목별 허용 기준을 정하고, 표본 검수와 실제 AI 작업의 결과로 기준이 적절한지 확인해야 합니다.

Q. RAG에 쓰는 문서도 같은 품질 검사를 하나요?

정확성·최신성·권한 점검은 공통으로 필요하지만, 문서 출처와 버전, 검색 단위, 표·각주 보존, 폐기 문서 제외 등 검색에 특화된 검사가 추가됩니다.

참고자료

• 공공데이터의 인공지능 친화적 관리 가이드라인 v1.1 개정 안내 – 한국지능정보사회진흥원

• ISO/IEC 25012:2008 데이터 품질 모델 – ISO