ADsP 공부 3일 차! (ADsP 2과목 정리)

오늘부터는 ADsP의 2과목을 공부한 내용을 정리하도록 하겠습니다. 1과목에서는 데이터와 빅데이터가 무엇인지, 왜 각광받는지 등을 배웠다면 이번 2과목에서는 어떤 식으로 데이터를 분석할지 기획하는 데 있어 필요한 지식을 학습했습니다.

---

1. 분석 기획

- 분석을 수행할 과제의 정의 및 결과 도출을 위한 관리 방안을 계획하는 작업

- 어떠한 목표를 달성하기 위해 어떤 방식으로 수행할지에 대한 계획을 수립한는 작업

 

1. 분석 대상과 방법에 따른 분석 주제

2. 목표 시점별 분석 기획

	장기적(장기적 마스터플랜 방식)	단기적(과제 중심적 접근 방식)
목적	자속적인 분석 내재화	빠른 문제 해결
1차 목표	정확성과 효율성 (Accuracy & Deploy)	속도와 검증 (Speed & Test)
과제 유형	장기적 관점 (Long term View)	단기적 문제 해결(Quick & Win)
접근 방식	문제 정의 (Problem Definition)	문제 해결 (Problem Solving)

 

3. 분석시 고려사항

- 가용 데이터: 데이터의 확보가 가능한가?, 보유한 데이터의 유형은 어떠한가?

- 적절한 활용 방안 및 유스케이스 탐색: 과거 유사한 분석 사례가 있는가?, 기존에 잘 구현된 솔루션이 있는가?

- 장애요소에 대한 사전계획 수립: 발생 가능한 장애요소 탐색

---

2. 분석 방법론

- 조직이 어떠한 절차로 작업을 수행할 것인지에 대한 절차 정의

- 기업 내에 데이터 분석이 정착하기 위해서 절차와 방법이 정리된 데이터 분석 방법론이 필요로함

- 데이터 분석은 개인의 역량 혹은 우연한 성공에 기인해서는 안되고 일정한 수준의 품질을 갖춘 산출물과 프로젝트 성공 가능성을 확보 및 제시 가능해야 한다.

- 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성되어야 한다.

 

데이터 분석의 방해요소
1) 고정관념
2) 편향된 생각
3) 프레이밍 효과

 

1. 분석 방법론의 생성 과정

 

1) 개인이 알고 있는 지식 및 노하우가 조직에게 표출되는 형식화를 거쳐 조직의 형식지된다.

2) 조직의 형식지가 보다 체계화되어 방법론으로 발전한다.

3) 새롭게 발전된 방법론을 개인이 내재화를 통해 습득한다.

 

2. 대표적인 데이터 분석 방법론

방법론	설명
폭포수 모델(Waterfall Model)	- 단계를 거쳐 순차적으로 진행하는 방식 - 문제나 개선사항이 발견될 경우 이전단계로 돌아가 피드백 과정을 수행한다
프로토타입 모델(Prototype Model)	- 일부분을 먼저 개발하고 점진적으로 개선해나가는 진행 방식 - 사용자 중심의 개발 방법
나선형 모델(Spiral Model)	- 위험요소를 사전에 제거하는 것에 초점을 맞춘 진행 방식 - 프로토타입 모델과 유사하게 반복을 통한 점진적 개선하는 진행 방식
계층적 프로세스 모델(Hierarchical Process Model)	- 일반적 분석 방법론에서 사용하는 방식 - 단계, 태스크, 스탭으로 구성

 

1) KDD 분석 방법론

- 통계적 패턴 혹은 지식 탐색을 위해 체계적으로 정리된 데이터 마이닝 프로세스

- 5단계로 구성

단계	설명
[1단계] 데이터셋 선택	- 도메인에 대한 이해, 프로젝트 목표 설정 - 데이터셋 선택 - 타겟 데이터 설정
[2단계] 데이터 전처리	- 이상치와 결측치 파악, 제거, 가공을 통해 의미 있는 데이터 생성 - 추가로 요구되는 데이터셋이 있다면 이전 단계 재실행
[3단계] 데이터 변환	- 변수 생성, 선택 - 데이터 차원 축소 - 학습용 데이터, 검증용 데이터 분리
[4단계] 데이터 마이닝	- 학습용 데이터를 활용하여 목적에 맞는 데이터 마이닝 기법 선택 및 알고리즘 적용 - 필요에 따라 전처리 프로세스 추가
[5단계] 해석과 평가	- 목적과의 일치성 확인 및 평가 - 반련 내용의 활용 방안 마련

 

2) CRISP-DM 분석 방법론

- 4개의 레벨과 6개의 단계로 구성

- 단계, 일반화 태스크, 세분화 테스크, 프로세스 실행

단계	설명
[1단계] 업무 이해	- 업무 목적 파악, 상황 파악 - 데이터 마이닝 목적 설정 - 프로젝트 계획 수립
[2단계] 데이터 이해	- 초기 데이터 수집 - 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인
[3단계] 데이터 준비	- 븐석용 데이터셋 선택, 편성 - 데이터 정제, 통합, 포매팅
[4단계] 모델링	- 모델링 기법 선택, 테스트 계획 설계 - 모델 작성, 모델 평가
[5단계] 평가	- 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
[6단계] 전개	- 전개 계획 수립 - 유지보수 계획 수립 - 프로젝트 종료 보고서 작성 및 리뷰

 

---

3. 빅데이터 분석 방법론

- 완벽한 계층적 프로세스 모델(3개의 레벨, 5개의 단계로 구성)

- 단계 = 프로세스 그룹

- 테스크는 논리적, 물리적 품질의 검토 대상이 될 수 있음

- 스탭은 입출력 자료, 도구 등으로 구성된 단위 프로세스

- 데이터 준비 단계(2단계)와 데이터 분석 단계(3단계) 간의 피드백 가능

 

[1 단계] 분석 기획
[태스크 1] 비즈니스의 이해 및 프로젝트 범위 설정
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 비즈니스 이해	- 업무 도메인에 대한 이해	- 업무 메뉴얼 - 전문가의 지식	- 자료 수집 - 비즈니스 이해	- 비즈니스 이해 - 도메인 문제점
[스탭 2] 프로젝트 범위 설정	- 프로젝트의 목적에 맞는 범위 설정	- 중장기 계획서 - 분석 프로젝트 지시서	- 자료 수집 - 비즈니스 이해 - 프로젝트 범위 정의서 작성 절차	- 프로젝트 범위 정의서 (SOW: Statement Of Work)
[태스크 2] 프로젝트 정의 및 계획 수립
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 프로젝트 정의	- 프로젝트 평가 기준 설정	- 프로젝트 범위 지시서 - 프로젝트 지시서	- 프로젝트 목표 구체화 - 모델 운영 이미지 설계	- 프로젝트 정의서 - 모델 운영 이미지 설계서
[스탭 2] 프로젝트 수행 계획 수립	- 프로젝트 수행 계획서 작성	- 프로젝트 정의서 - 모델 운영 이미지 설계서 - 모델 평가 기준	- 프로젝트 수행 계획 작성 - WBS 작성 도구 - 일정 계획 수립 도구	- 프로젝트 수행 계획서 - WBS
[태스크 3] 프로젝트 위험 계획 수립
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 데이터 분석 위험 식별	- 발생 가능한 위험 식별	- SOW - 프로젝트 수행 계획서 - 선행 산출물	- 위험 식별 절차 - 위험 영향도 및 발생 가능성 분석 - 위험 우선순위 판단	- 식별된 위험 목록
[스탭 2] 위험 대응 계획 수립	- 위험에 대한 대응 방안 수립	- 식별된 위험 목록 - 프로젝트 정의서 - 프로젝트 수행 계획서	- 위험 정량적 분석 - 위험 정성적 분석	위험 관리 계획서

 

[2 단계] 데이터 준비
[태스크 1] 필요 데이터 정의
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 데이터 정의	- 필요 데이터의 정의	- 프로젝트 수행 계획서 - 시스템 설계서 - ERD - 메타데이터 정의서	- 내•외부 데이터 정의 - 정형•반정형•비정형 데이터 정의	- 데이터 정의서
[스탭 2] 데이터 획득 방안 수립	- 데이터 수집을 위한 구체적인 방안 수립	- 프로젝트 수행 계획서 - 시스템 설계서 - ERD - 메타데이터 정의서	- 데이터 획득 방안 수립	- 데이터 획득 계획서
[태스크 2] 데이터 스토어 설계
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 정형 데이터 스토어 설계	- RDMS 등을 활용해 효율적 저장과 사용을 위한 데이터 스토어 설계	- 데이터 정의서 - 데이터 획득 계획서	- 데이터베이스 논리설계 - 데이터베이스 물리설계 - 데이터 매핑	- 정형 데이터 스토어 설계서 - 데이터 매핑 정의서
[스탭 2] 비정형 데이터 스토어 설계	- NoSQL 등을 활용해 효율적 저장과 사용을 위한 데이터 스토어 설계	- 데이터 정의서 - 데이터 획득 계획서	- 반정형•비정형 데이터 논리설계 - 반정형•비정형 데이터 물리설계	- 비정형 데이터 스토어 설계서 - 데이터 매핑 정의서
[태스크 3] 데이터 수집 및 정합성 검증
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 데이터 수집 및 저장	- 수집된 데이터를 스토어에 저장	- 데이터 정의서 - 데이터 획득 계획서 - 데이터 스토어 설계서	- 데이터 크롤링 도구 - ETL 도구 - 데이터 수집 스크립트	- 수집된 분석용 데이터
[스탭 2] 데이터 정합성 점검	- 데이터의 품질 점검 - 데이터의 정합성 확보	- 분석용 데이터	- 데이터 품질 확인 - 데이터 정합성 검증 리스트	- 데이터 정합성 점검 보고서

 

⇅ 피드백 가능 지점 ⇅

 

[3 단계] 데이터 분석
[태스크 1] 분석용 데이터 준비
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 비즈니스 룰 확인	- 프로젝트 목표 인식 - 세부 비즈니스 룰 확인 - 필요 데이터 범위 확인	- 프로젝트 목표 확인 - 비즈니스 룰 확인	- 프로젝트 목표 확인 - 비즈니스 룰 확인	- 비즈니스 룰 확인에 필요한 데이터 범위
[스탭 2] 분석용 데이터셋 준비	- 필요 데이터 추출	- 데이터 정의서 - 데이터 스토어	- 데이터 선정 - 데이터 변환 - ETL 도구	- 분석용 데이터셋
[태스크 2] 텍스트 분석
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 텍스트 데이터 확인 및 추출	- 텍스트 분석에 필요한 데이터 확인 및 추출	- 비정형 데이터 스토어	- 분석용 텍스트 데이터 확인 및 텍스트 데이터 추출	- 분석용 텍스트 데이터
[스탭 2] 텍스트 데이터 분석	- 추출된 텍스트 데이터를 분석 도구를 활용하여 분석 및 모델 구축	- 분석용 텍스트 데이터 용어사전	- 분류 체계 설계 - 형태소 분석 - 키워드 추출 - 감성 분석	- 텍스트 분석 보고서
[태스크 3] 탐색적 분석
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 탐색적 데이터 분석	- 데이터의 특성 및 분포 확인	- 분석용 데이터셋	- EDS 도구 - 통계 분석 - 변수 간 연관성 분석 - 데이터 분포 확인	- 데이터 탐색 보고서
[스탭 2] 데이터 시각화	- 탐색적 데이터 분석에 활용	- 분석용 데이터셋	- 시각화 도구 및 패키지 - 인포그래픽 - 시각화 방법론	- 데이터 시각화 보고서
[태스크 4] 모델링
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 데이터 분할	- 모델의 과적합 문제의 해결과 검증력 해결을 위한 데이터 분할	- 분석용 데이터셋	- 데이터 분할 패키지	- 훈련용 데이터 - 테스트용 데이터
[스탭 2] 데이터 모델링	- 머신러닝 등을 이용한 분류, 예측, 군집 등 모델 구축	- 분석용 데이터셋	- 통계 모델링 기법 - 머신러닝 - 모델 테스트	- 모델링 결과 보고서
[스탭 3] 모델 적용 및 운영 방안	- 모델 적용을 위한 알고리즘 설명 작성 및 운영 모니터링 방안 수립	- 모델링 결과 - 보고서	- 모니터링 방안 수립 - 알고리즘 설명서 작성	- 모니터링 방안
[태스크 5] 모델 평가 및 검증
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 모델 평가	- 모델 평가 기준에 따른 객관적 평가 진행	- 모델링 결과 보고서 - 평가용 데이터	- 모델 평가 - 모델 품질 관리 - 모델 개선 작업	- 모델 평가 보고서
[스탭 2] 모델 검증	- 모델의 적용성 검증 작업 및 실제 모델 품질 검증	- 모델링 결과 보고서 - 모델 평가 보고서 - 검증용 데이터	- 모델 검증	- 모델 검증 보고서

 

[4 단계] 시스템 구현
[태스크 1] 설계 및 구현
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 시스템 분석 및 설계	- 시스템 분석 및 가동 설계 프로세스 진행	- 모델링 결과 보고서 - 평가용 데이터	- 정보 시스템 - 개발 방법론	- 시스템 분석 및 설계서
[스탭 2] 시스템 구현	- 새로운 시스템의 구축 및 가동중인 시스템의 커스터마이징을 통한 모델 구현	- 시스템 분석 및 설계서 - 알고리즘 설명서	- 시스템 통합 개발 도구 - 프로그래밍 언어 - 패키지	- 구현 시스템
[태스크 2] 시스템 테스트 및 운영
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 시스템 테스트	- 시스템 검증을 위한 단위/통합/시스템 테스트 실행	- 구현 시스템 - 시스템 테스트 계획서	- 품질 관리 활동	- 시스템 테스트 결과 보고서
[스탭 2] 시스템 운영 계획	- 구현된 시스템의 지속적인 활용을 위한 시스템 운영 계획 수립	- 시스템 분석 및 설계서 - 구현 시스템	- 운영 계획 수립 - 운영자 및 사용자 교육	- 운영자 매뉴얼 - 사용자 매뉴얼 - 시스템 운영 계획서

 

[5 단계] 평가 및 전개
[태스크 1] 모델 발전 계획 수립
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 모델 발전 계획 수립	- 지속적인 운영 및 성능 향상을 위한 발전 계획 수립	- 구현 시스템 - 프ㅗ젝트 산출물	- 모델 발전 계획 수립	- 모델 발전 계획서
[태스크 2] 프로젝트 평가 및 보고
스탭	내용	입력 자료	프로세스 및 도구	출력 자료
[스탭 1] 프로젝트 성과 평가	- 프로젝트의 정량적/ 정성적 성과를 나누어 평가서 작성	- 프로젝트 산출물 - 품질관리 산출물 - 프로젝트 정의서 - 프로젝트 수행 계획서	- 프로젝트 평가 기준 - 프로젝트 정량적 평가 - 프로젝트 정성적 평가	- 프로젝트 성과 평가서
[스탭 2] 프로젝트 종료	- 프로젝트에 대한 모든 지식(과정, 산출물, 프로세스)의 자산화 및 최종 보고서 작성	- 프로젝트 산출물 - 품질관리 산출물 - 프로젝트 정의서 - 프로젝트 수행 계획서	- 프로젝트 지식 자산화 작업 - 프로젝트 종료	- 프로젝트 최종 보고서