아티클 스터디 [양질의 데이터를 판별하는 5가지 방법 : ① 데이터 양은 충분한가?]

https://yozm.wishket.com/magazine/detail/1070/

양질의 데이터를 판별하는 5가지 방법 : 1 데이터 양은 충분한가? | 요즘IT

 

아티클 요약 및 주요 내용

• 요약
  • 양질의 데이터와 데이터의 양에 대한 중요성과 판단 기준
• 주요 포인트 
  • 데이터의 품질
    • 데이터 직무 담당자들은 많은 데이터를 확보하려고 노력하지만, 데이터의 양이 많다고 이익으로 직결되진 않는다
    • 저품질 데이터도 가공과 보완을 통해 활용 가능하다
    • 핵심은 양질의 데이터를 판별하고 효율성을 높이는 능력이다
  • 양질의 데이터 판단하는 방법
    • 양질의 데이터는 분석이 용이하고, 결과를 명확히 이해할 수 있으며, 다음 5가지 특징을 가진다
      1. 충분히 많은 데이터 수
      2. 오류가 적다
      3. 관계형 데이터베이스 형식 준수
      4. 수치형 데이터 보유
      5. 활용 목적에 적합
  • 데이터 양을 중요하게 고려해야 하는 경우
    • 표본이 모집단을 대표하지 못하거나 AI 알고리즘에 필요한 데이터가 부족한 경우
    • 딥러닝은 데이터가 많을수록 성능이 향상된다
  • 어느 정도의 데이터가 충분한 양일까?
    • 통계 분석: 최소 500개 이상
    • 머신러닝: 변수 개수 × 100 이상의 데이터
  • 데이터 양은 분석 결과의 신뢰도로 연결
    • 데이터의 양은 결과 신뢰도와 직결되며, 특히 빅데이터 환경에서 중요하게 고려

 

핵심 개념 및 용어 정리

• 핵심 개념
  • 양질의 데이터
    • 분석과 활용이 용이하고 결과 해석이 쉬운 데이터
  • 데이터 품질
    • 데이터 오류, 적합성, 형식, 수량 등을 평가하여 결정
  • 데이터의 양
    • 데이터 분석 및 머신러닝에서 결과의 신뢰도를 결정
• 용어 정리
  • 통계적 유의미성
    • 분석 결과를 통계적으로 신뢰할 수 있는가에 대한 지표