목차
- 자료분석
- 통계분석
데이터 마트
데이터 웨어하우스에서 특정 부서 또는 사용자들이 필요로하는 데이터만 따로 저장한 저장소 (소규모 데이터 웨어하우스)
특징 : 특정 목적을 위해 최적화 되어있고, 사이즈를 줄여 데이터 쿼리 속도가 빠름 또한 부서 또는 사용자 요구
| 구분 | 데이터 웨어하우스 (DW) | 데이터 마트 (DM) |
| 범위 | 기업 전체의 통합 데이터 | 특정 부서 및 목적용 데이터 |
| 데이터 양 | 수백 GB ~ PB 단위 (대용량) | 수십 GB 이하 (상대적으로 적음) |
| 구축 기간 | 보통 수개월 이상 소요 | 수 주 내외로 비교적 짧음 |
| 데이터 소스 | 다양한 운영 시스템(ERP, CRM 등) | 데이터 웨어하우스 또는 특정 운영 시스템 |
요약변수와 파생변수
1. 요약변수 : 수집한 데이터를 종합, 요약한 변수 재활용성이 뛰어나다.
예시:
- 최근 3개월간 총 구매 금액
- 월평균 결제 횟수
2. 파생변수 : 사용자가 논리적 타당성을 근거로 특정한 의미를 부여한 데이터
예시:
근무 시간: (퇴근 시간 - 출근 시간)
고객 등급: 구매 금액에 따라 'VIP', 'Gold', 'Silver'로 분류
** 요약 변수는 "데이터를 어떻게 잘 합칠 것인가"에 집중하며, 파생 변수는 "데이터에서 어떤 새로운 의미를 찾아낼 것인가"에 집중합니다.
1. 자료분석
탐색적 자료 분석(EDA / Exploratory Data Analysis )
데이터를 분석하기 전 특징이나 패턴을 파악을 위해 통계, 시각화하는 단계 "데이터와의 첫 대면" 이라고 할 수 있다.
- EDA의 4가지 주요 주제 (데이터 분석 방법론의 핵심 요소)
1. 저항성의 강조 : 이상값이나 결측치 등 데이터 변동에 민감하지 않음
2. 잔차 계산 : 데이터들이 주경향(데이터는 대표하는 중심값)에서 얼마나 벗어나 있는지 확인
3. 자료변수의 재표현 : 원래의 변수를 척도로 변환시켜 해석,분석을 쉽게하는 과정 (통계화)
4. 그래프를 통한 현시성 : 그래프로 시각화하여 값들을 직관적으로 드러내는 과정 (시각화)
결측값
결측값이란 데이터가 저장되지 않아 비어있는 상태, Null 또는 N/A로 표시되는 값.
결측값을 데이터 모델링에 그대로 사용할 경우 오류 또는 결과 왜곡이 발생하기 때문에 처리를 해줘야한다.
결측값 처리방법
- 단순 대치법 : 하나의 고정된 값으로 대치하는 방식
1. 완전 분석법 : 결측값을 삭제
2. 평균 대치법 : 단순 평균값으로 대치 ( = 비조건부 평균 대치 )
3. 회귀 대치법 : 회귀분석의 결과로 대치 ( = 조건부 평균 대치 )
4. 단순 확률 대치법 : 확률적으로 선택하여 대치
4.1 Nearest neighbor : 인접한 값으로 응답 대치
4.2 Hot-Deck : 현재 분석중인 데이터 셋에서 비슷한 값으로 대치
4.3 Cold-Deck : 현재 분석중이지 않은 다른 데이터 셋에서 값을 가져와 대치
- 다중 대치법 : 여러 번 대치 (대치 -> 분석 -> 결합)
이상값
이상값이란 극단적으로 크거나 작은 데이터. 단, 의미있는 데이터가 포함된 경우도 있어 항상 제거하지는 않음.
이상값 탐지방법
1. ESD (Extreme Studentized Deviation) : 평균으로부터 표준편차의 3배 넘어가는 데이터를 이상값으로 판단.
2. 사분위수(boxplot) : 전체 데이터를 4등분하고 Q1 - 1.5IQR 보다 작거나 Q3 + 1.5IQR보다 크면 이상값으로 판단.
MIN : 최솟값
Q1 : 25%
Q2 : 50% (중앙값)
Q3 : 75%
MAX : 최댓값
IQR : Q3 - Q1
** 평균값은 알 수 없다 (데이터의 갯수를 측정할 수 없기때문)
3. Z-Score : 데이터를 정규화(평균 0, 표준편차 1)한 후, 임계 값을 초과할 경우 이상값으로 판단.
4. DBScan : 밀도를 이용하여 밀도가 적은 부분의 데이터를 이상값으로 판단.
2. 통계분석
전수조사와 표본조사
전수조사 : 전체를 다 조사, 시간과 비용 많이 소모
표본조사 : 일부만 추출하여 모집단(전체)를 조사
자료의 척도 구분
척도란? 사물이나 현상의 특성을 수치나 기호로 나타내기 위해 사용하는 '측정의 단위'
1. 질적 척도
- 명목척도 : 대상을 구분하거나 분류하기 위해 이름을 붙인 척도 (성별, 혈액형)
- 순서척도(서열척도) : 순서나 서열이 존재하는 척도 (학년, 직급, 만족도)
2. 양적척도
- 등간척도(구간척도) : 수치간의 간격이 일정하고 간격에 의미가 있는 척도, +/- 만 가능 (온도)
- 비율척도 : 절대적인 기준 0이 존재하고 사칙연산이 가능한 척도 (무게, 나이, 소득)
확률적 표본 추출 방법
* 표본추출이란? 모집단에서 일부 데이터를 표본으로 추출하고 모집단을 예측할 수 있도록 표본집단을 구성 (모집단을 다 조사할 수 없기 때문에 표본화 진행)
확률적 표본 추출 방법
1. 랜덤 추출법 : 무작위로 표본 추출
2. 계통 추출법 : 데이터에 번호를 부여하여 일정 간격으로 표본을 추출
3. 군집 추출법(집락 추출법) : 군집 내 이질적 특징, 군집 간 동질적 특징
4. 층화 추출법 : 군집 내 동질적 특징, 군집 간 이질적 특징 / 동일한 비율로 추출하는 방법 "비례 층화 추출법"
5. 복원, 비복원 추출
5.1 복원 추출 : 추출되었던 데이터를 다시 포함시켜 표본 추출
5.2 비복원 추출 : 추출되었던 데이터는 제외하고 표본 추출
비확률적 표본 추출 방법
1. 편의 추출법 : 연구자가 쉽게 접근 가능한 대상으로 표본을 추출
2. 의도적 추출법 : 연구자가 특정 기준을 정하고, 이에 맞는 표본을 추출
3. 할당 추출법 : 특정 기준으로 나눈 후, 그 그룹에서 할당된 수 만큼 추출
4. 눈덩이 추출법 : 초기 응답자로부터 새로운 응답자를 추천 받는 방식
5. 자기선택 추출법 :응답자가 스스로 조사에 참여할지 결정
기초 통계량
기초 통계량이란? 수집된 데이터의 특징을 요약하여 설명해 주는 수치들로, 크게 중심 경향성, 산포도, 분포의 모양으로 구분.
1. 중심경향성 측면 : 데이터가 어디를 중심으로 모여 있는지 표시
- 산술평균 : 일반적인 평균 개념으로, 모든 값을 더한 후 데이터 개수로 나눈 값
- 기하평균 : 모든 값들을 곱하고, n 제곱근을 구하는 방식 (비율적 증가율)
- 조화평균 : 역수의 산술평균을 구한 후, 다시 역수를 취하는 방식 (비율 계산)
- 중앙값 : 데이터를 크리 순서로 나열했을 때 중간에 위차한 값
- 최빈값 : 데이터에서 가장 자주 나타나는 값
2. 분산 정도 측면 (산포도) : 데이터가 중심으로부터 얼마나 멀리 퍼져 있는지 표시
- 범위 : 최댓값과 최솟값의 차이.
- 분산 : 각 데이터가 평균과 얼마나 떨어져 있는지 나타내는 지표
- 표준편차 : 분산에 제곱근을 취한 값
- 사분위수 (IQR) : 데이터의 상위 75%와 하위 25%의 차이인 중간 50% 데이터가 얼마나 분산되어있나를 나타내는 지표
3. 관계 측면
3.1 공분산 : 두 확률변수의 상관정도
- 공분산 = 0 : 상관이 전혀 없는 상태
- 공분산 > 0 : 양의 상관관계
- 공분산 < 0 : 음의 상관관계
- 최소, 최대값이 없어 강약 판단 불가능
3.2 상관계수 : 상관정도를 -1 ~ 1 값으로 표현
- 상관계수 = 1 : 정비례 관계
- 상관계수 = 0 : 상관없음
- 상관계수 = -1 : 반비례 관계
3.3 공분산과 독립성의 관계
- 두 변수가 독립이면 공분산은 0이지만, 공분산이 0이라고 두 변수가 독립이라고 할 수는 없다.
첨도와 왜도
1. 첨도 : 분포가 중앙심에서 얼마나 뾰족한지, 양 끝에 데이터가 얼마나 모여있는지를 나타내는 척도
- "첨도 = 3" : 정규분포의 뾰족한 정도 ( 계산 방식에 따라 정규분포를 3으로 보기도 하고, 3을 빼서 0으로 맞추기도 합니다. )
- "첨도 > 3" : 정규분포보다 더 뾰족하고 꼬리가 두꺼운 형태의 척도 / 데이터가 중앙에 모여있음
- "첨도 < 3" : 정규분포보다 완만한 척도 / 데이터가 고르게 퍼져있음
2. 왜도 : 자료 분포의 비대칭 정도
- "왜도 < 0" 인 경우 : 평균값 < 중앙값 < 최빈값
- "왜도 > 0" 인 경우 : 평균값 > 중앙값 > 최빈값
- "왜도 = 0" 인 경우 : 평균값, 중앙값, 최빈값 모두 동일
기초 확률 이론
1. 확률 : 통계적 현상의 확실함을 나타내는 척도로 수학적 확률과 통계적 확률로 구분
2. 사건 : 여러 반복된 시행을 통해 결과로 나타나는 표본공간의 부분 집합
3. 표본공간 : 통계적 실험에 의하여 일어날 수 있는 모든 가능한 결과
4. 확률변수 : 표본공간의 각 원소에 해당하는 값(확률)을 대응하는 함수
5. 조건부 확률 : 특정 사건 B가 발생했을 때 A가 발생할 확률
6. 독립사건 : A,B가 서로 영향을 주지 않는 사건
7. 배반사건 : A,B가 서로 동시에 일어나지 않는 사건
8. 베이즈 정리 : 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리