데이터 전처리 & 시각화 1주차

강의내용

• Pandas를 활용해 간단하게 데이터 전처리
• Matplotlib을 활용해 데이터 시각화
• 단순히 스킬셋뿐만 아니라 데이터 분석에 대해 고민

 

데이터 분석가

• 비즈니스 분석가
  • 주로 비즈니스 문제를 이해하고 해결하기 위해 데이터를 분석
  • 비즈니스 프로세스 및 요구 사항 파악하고, 데이터 기반으로 의사 결정 지원
  • 업무 프로세스 개선, 비즈니스 모델 분석, 요구 사항 관리 등을 수행
• 프로덕트 분석가
  • 제품이나 서비스의 성가를 평가하고 개선하기 위해 데이터를 분석
  • 사용자 행동 및 제품 성능과 관련된 데이터를 분석하여 제품 개선에 기여
  • 주로 제품 경험과 사용자 행동에 대한 분석을 수행하며, A/B 테스트, 사용자 경로 분석 등을 담당
• BI 분석가
  • 기업의 비즈니스 인텔리전스 플랫포모가 도구를 사용하여 데이터를 시각화하고 보고서를 작성
  • 주로 기업 내부 데이터를 시각화하고, 이를 통해 의사 결정에 필요한 정보를 제공
  • BI 도구(Tableau, Power BI 등)를 사용하여 대시보드를 구축하고, 데이터 시각화 및 보고서 작성을 담당
• 데이터 분석가
  • 주로 정형 데이터를 분석하여 기업의 의사 결정을 지원
  • 데이터베이스 등에서 데이터를 추출하고, 데이터를 정제하여 보고서 및 시각화 생성
  • 주로 기술적인 스킬이 필요하며, SQL, Excel, 데이터 시각화 등을 활용하여 업무를 수행
• 데이터 사이언티스트
  • 주로 데이터를 활용하여 예측, 패턴 발견, 복잡한 분석을 수행하여 문제를 해결
  • 통계, 머신러닝, 딥러닝 등의 기술을 사용하여 데이터를 분석하고 모델을 구축
  • 데이터 수집, 전처리, 모델링, 평가 및 해석을 포함한 A to Z 데이터 분석 작업을 수행

• 분석가는 정말 다양한 유형이 존재하기 때문에 되고 싶은 분석가의 롤모델이 없다면, 금방 길을 잃을 수도 있다.

 

데이터 전처리와 시각화를 해야 하는 이유

• 데이터를 통해 설득, 인공지능, 의사결정, 문제해결, 머신러닝, 데이터 분석 등 적용 가능
• 결국 "설득"이라는 목적을 가지고 데이터 전처리와 시각화를 하는 것
• 설득을 잘하기 위해 데이터를 잘 전달해야할 필요성이 있는 것이고 잘 전달하기 위한 방법 중 하나가 시각화이다.
• 그리고 데이터를 시각화하기 위해서는 목적에 맞게 데이터를 전처리해야 한다.
• 따라서 데이터 전처리와 시각화를 하기 전에 데이터를 통해 무엇을 해야할지 고민해야 한다

 

글 vs 시각화 자료

• 생각해야 할 것은 데이터 전달의 목적성, 데이터 전달의 효과성
• 어떤 목적을 가지고 데이터를 분석할 것인지를 먼저 정의하는 것이 중요
• 단순히 전처리를 어떻게 할 것인가가 아닌 무엇을 위해 어떤 형태의 데이터가 필요하다라는 것을 먼저 정의
• 복잡하고 많은 양의 데이터를 다루다보면, 전저리 로직에 매몰되어 정작 큰 그림을 잊어버릴 수 있음
• 그러면 전처리를 다했을지라도 원래 하고자하는 방향과 다를 수도 있고 어떤 경우에는 내가 뭘하려고 이렇게 전처리를 했는지라는 생각이 들 수도 있다.
• 이러한 착오를 예방하고 올바를 의사결정을 위한 데이터 전달을 위해 데이터를 사전에 어떻게 분석할 것인가 미리 설계하는 습관을 들여야 함

 

분석 설계 예시

1. 목표 설정: 무엇을 위해 데이터 전처리와 시각화가 필요한가
2. 예상 산출물 정의: 데이터 처리 및 시각화해서 나타날 예상 결과물은 무엇인가
3. As-is VS To-be 생각: 현재 문제와 상황이 무엇인지 인지하고 어떤식으로 개선할 것인가 방향성 설정

 

채용 공고 5개 이상 (자격, 우대) 핵심 용어 체크해보기 & pandas 공식 문서 코드 작성해보기