edcrfv458 님의 블로그

엔진 센서 데이터 기반으로 정상(0)/불량(유형 1, 2, 3) 분류 변수MAP: 흡기 매니폴드 절대압, 대략 0~5 kPaTPS: 스로틀 개도율Force: 엔진에서 측정된 힘, 대략 0~400 NPower: 엔진에서 발휘되는 출력, 0~35 kWRPM: 엔진 회전수, 대략 1000~4000 RPMConsumption L/H: 시간단 연료 소묘율, 0~10 I/hConsumption L/100km: 주행거리당 연료 소비랑Speed: 차량 속도CO: 배기가스 중 일산화탄소 비율HC: 배기가스 중 탄화수소 농도CO2: 배기가스 중 이산화탄소 비율O2: 배기가스 중 산소 비율Lambda: 공기-연료비 이론치에 대한 실제값의 비율AFR: 실제 공기-연료비Fault: 엔진 결함 상태기본 정보 확인결함 유형(1, ..

사례바다오염의 주범은 바다쓰레기바다쓰레기 줄이기 위해 빨대 사용금지가 얼마나 효과있을까실제 데이터 살펴보면 전세계 바다 쓰레기의 0.03%가 플라스틱 빨대로 인한 것이며, 가장 많이 문제가 되고 있는 것은 46%를 차지하고 있는 어망실제 바다 쓰레기의 약 50%가 어업활동으로 인해 발생했다는 사실을 바탕으로 어떤 의사결정이 가능할까효율/효과 측면에서 우리는 어업활동에서 발생하는 바다쓰레기를 줄이는 방안을 모색해야 한다고 분석 결과 전달 가능어쩌면, 종이빨대를 만드는 예산을 어업활동에서 쓰레기가 발생하지 않도록 개선시키는 것에 활용하는 것도 제안 가능즉, 어디에 집중을 하고 어떤 전략을 수립해야할지 방향을 제시하는 역할을 데이터를 통해 전달하는 것이 데이터 분석의 역할이며, 분석된 결과에 따라 다양한 의사..

Pandas 데이터 저장, 호출seaborn 라이브러리에 존재하는 데이터 불러와 csv파일로 저장index 파라미터는 데이터의 인덱스 저장 여부를 결정또는 데이터 호출 시 인덱스 부분을 제거하고 가져오는 방식도 있음엑셀 파일의 경우는 pd.to_excel 사용 인덱스 미지정인덱스 지정인덱스 정렬 함수: sort_index()컬럼을 인덱스로 사용: set_index()인덱스의 정보와 타입을 확인: index인덱스 변경: index 인덱스를 기존 값으로 설정: rest_index()기존 인덱스 열 누락 여부 결정위한 drop 파라미터컬럼 데이터 프레임 생성컬럼 호출(시리즈 형태) 컬럼명 정보: columns컬럼명 변경특정 컬럼명만 변경: rename컬럼 추가컬럼 제거: del데이터 확인 df.head() ➡..

데이터 전처리내가 원하는 데이터를 보기 위해 하는 모든 활동 데이터 형태정형 데이터엑셀 시트, 표와 같이 행과 열이 명확한 데이터비정형 데이터이미지, 비디오 등 정형화 되지 않은 데이터 데이터 전처리는 왜?방대한 양의 데이터에 불규칙한 규칙이 존재 데이터 전처리는 어떻게?일정한 규칙을 적용해 통일따라서 데이터 전달의 목적성과 효과성이 중요 Pandas VS Excel자동화와 프로그래밍 가능대용량 데이터 처리복잡한 데이터 처리 및 분석확장성과 유연성버전 관리 Pandas 구조시리즈(Series)1차원 배열의 형태를 갖는다인덱스에는 한 가지 기준에 의해 데이터가 저장데이터 프레임(DataFrame)2차원 배열의 형태를 갖는다인덱스와 컬럼이라는 두 가지 기준에 의해 데이터가 저장

강의내용Pandas를 활용해 간단하게 데이터 전처리Matplotlib을 활용해 데이터 시각화단순히 스킬셋뿐만 아니라 데이터 분석에 대해 고민 데이터 분석가비즈니스 분석가주로 비즈니스 문제를 이해하고 해결하기 위해 데이터를 분석비즈니스 프로세스 및 요구 사항 파악하고, 데이터 기반으로 의사 결정 지원업무 프로세스 개선, 비즈니스 모델 분석, 요구 사항 관리 등을 수행프로덕트 분석가제품이나 서비스의 성가를 평가하고 개선하기 위해 데이터를 분석사용자 행동 및 제품 성능과 관련된 데이터를 분석하여 제품 개선에 기여주로 제품 경험과 사용자 행동에 대한 분석을 수행하며, A/B 테스트, 사용자 경로 분석 등을 담당BI 분석가기업의 비즈니스 인텔리전스 플랫포모가 도구를 사용하여 데이터를 시각화하고 보고서를 작성주로 ..

데이터 리터러시 데이터 리터러시란?데이터를 읽는 능력데이터를 이해하는 능력데이터를 비판적으로 분석하는 능력위의 3가지로 종합적인 결과를 내서 의사소통에 활용할 수 있는 능력주제에 대해 명확히 이해하는 것이 중요!데이터 수집과 데이터 원천을 이해데이터에 대한 활용법을 이해데이터를 통한 핵심 지표를 이해데이터 리터러시는 올바른 질문을 던질 수 있도록 만들어 줌올바른 질문이란 남에게 하는 것이 아닌 자기 자신에게 하는 것(이것을 왜하는지, 어떤 것을 기대하는지 등 뚜렷한 목적의식) 데이터 분석에 대한 착각데이터를 잘 분석하면 문제, 목적, 결론이 나올 것이라고 생각데이터를 잘 가공하면 유용한 정보를 얻을 수 있다고 생각분석에 실패하면 방법론, 스킬이 부족한 것이라고 생각하지만 이것들이 문제가 아닌 데이터 리터..

파일 다루기 파일 확장자CSV 파일: Comma Separated Values의 약자로, 데이터를 쉼표로 구분하여 저장하는 형식Excel 파일: 표 형태로 데이터를 저장하는 Microsoft Excel의 형식JSON 파일: JavaScript Object Notation의 약자로, 데이터를 저장하는 간단한 형식텍스트 파일: 일반 텍스트로 된 데이터 저장하는 파일 파일 불러오기import pandas as pd# csv 파일 (.csv)df = pd.read_csv('file.csv')# Excel 파일 (.xls, .xlsx)df = pd.read_excel('file.xlsx')# JSON 파일 (.json)df = pd.read_json('file.json')# 텍스트 파일 (.txt, .dat)df..

함수 개념입력을 받아 원하는 처리를 한 후 출력을 내보내는 작업을 수행하는 코드 블록프로그램 내에서 특정한 기능을 수행하기 위해 코드를 논리적으로 그룹화하여 재사용 가능한 형태로 정의 함수의 필요성코드의 재사용모듈화유지 보수 요이성가독성 향상변수의 종류전역변수(Global Variables)프로그램 전체에서 접근 가능한 변수로, 어디서든 사용이 가능여러 함수에서 공통적으로 사용되는 값을 저장할 때 유용프로그램이 시작될 때 생성되고, 프로그램이 종료될 때까지 메모리에 유지지역 변수(Local Variables)특정한 범위에서만 접근 가능한 변수로, 해당 범위를 벗어나면 사용 불가능함수가 실행될 때 생성되고, 함수가 종료되면 메모리에서 제거되므로 메모리 관리에 효율적 인수 vs 매개변수함수 정의할 때 매개변..

데이터 가공할 때 특정 조건에 따라 가공하는 일이 많고 보통 이러한 작업은 반복 수행이  많기 때문에 조건문과 반복문을 함께 쓰는 경우가 많음뿐만 아니라 대용량의 데이터 AI 모델에 하나씩 집어 넣을 때, AI 모델을 여러번 반복 학습할 때에도 반복문이 사용 설명데이터 분석시 특정 데이터에 조건을 부여머신러닝의 반복되는 학습큰 용량의 데이터를 한번에 메모리에 넣지 않고 여러번 나누어서 넣을 때 목적데이터 가공AI 모델 사용조건문if 조건: if 문을 이용해 조건을 만족할 때의 실행할 것을 작성elif 다른 조건: elif 문을 이용해 또 다른 조건을 만족할 때의 실행할 것을 작성else: 위의 조건들을 다 만족하지 못 할 때 실행할 것을 작성 연산>, =, 좌 우를 비교해 참 또는 거짓의 bool 값을 ..

좋은 가설풀고자 하는 문제의 방향성과 일치하는 가설테스트 가능한 가설액션으로 이어질 수 있는 가설 문제 상황교육의 목적은 완주율인데 웹 개발 종합반의 완주율이 크게 낮아짐이에 대해 어떤 요소들이 영향을 끼쳤는지 파악 문제 파악문제를 파악하기 위해서는 쪼개는 과정이 중요수강생들이 완주하기 까지의 여정을 살펴보면 문제가 되는 요소들을 파악할 수 있음 완주 여정 추측강의를 들을 수 있는 시간적 여유가 생김시간은 컨트롤하기 힘듦(직장인, 학생)강의를 들어야겠다고 마음을 먹음찐한 관리라는 수강을 독려하는 서비스 존재강의를 듣기 위해 콘텐츠에 접근웹페이지 시스템의 불편 사항, 영상 오류 여부 등이 영향을 미쳤는지 확인 - 없다고 가정콘텐츠를 목표한 부분까지 들음흥미도와 실용성을 체크해봐야 함기존 1개의 문제를 4개..