ADsP 공부 2일 차! (ADsP 1과목 정리)

1. 빅데이터의 이해

 - 빅데이터란 큰 용량과 복잡성으로 기존 애플리케이션 혹은 도구를 사용하여 다루기 어려운 데이터셋의 집합을 의미한다.

- 빅데이터란 기존의 접근 방식으로 얻을 수 없던 통찰과 가치를 창출하는 모든 것을 의미한다.

 

1. 빅데이터의 특징

범주	특징	설명
3V	Volume(양)	데이터 양의 증가
	Velocity(속도)	데이터의 생성 및 처리 속도의 증가
	Variety(유형)	데이터의 유형의 다양화
5V	Value(가치)	데이터가 주는 가치의 중요성
	Veracity(정확성)	데이터의 결과의 신뢰성
7V	Visualization(시각화)	데이터의 이해를 위한 시각화의 필요성
	Variability(가변성)	데이터가 맥락에 의해 의미가 변경되는 특성

 

7V에 속하는 내용은 자료마다 Visualization(시각화), Variability(가변성), Validity(정합성), Volatitly(휘발성) 등 다양하다.

 

 

2. 빅데이터의 등장 배경

 

1) 데이터의 양적 증가: 컴퓨터, 스마트폰의 보급, SNS 등 다양한 기술 발전으로 인하여 데이터의 양과 종류가 폭발적으로 증가했다.

2) 산업계의 변화: 빅데이터로 인하여 양적인 변화가 축적되면서 질적으로도 변화하고 있다. -> 양질 전환 법칙

3) 하계의 변화: 학계에서 빅데이터를 다루는 현상이 증가하고 있다.

4) 관련 기술의 발전: 클라우드 컴퓨팅으로 인하여 빅데이터의 처리 비용이 획기적으로 낮아져 빅데이터 분석으로 통한 새로운 가치 창춘에 기여했다.

 

 

3. 빅데이터로 인한 변화

번호	빅데이터 출현 전	빅데이터 출현 후	변화 이유
1	사전처리	사후처리	가능한 많은 데이터를 모은 후, 데이터를 다양한 방식으로 조합하여 숨은 인사이트 발굴
2	표본조사	전수조사	데이터 처리비용의 감소로 인한 표본조사에서 전수조사로 변화
3	질	양	양이 증가할수록 분석 정확도가 높아져 양질의 분석 결과 도출 가능
4	인과관계	상관관계	상관관계를 통해 특정 현상 발생 가능성을 포착하고 그에 상응하는 행동을 추천하는 방식의 인사이트 도출 방법 확산

 

---

2. 빅데이터의 가치

- 빅데이터의 가치는 어떤 인사이트를 발굴하여 어떻게 활용할 것인지에 달려있다.

 

1. 빅데이터의 가치 선정이 어려운 이유

이유	설명
데이터 활용 방식	특정 데이터를 언제, 어떻게, 누가 활용 할 지 모르기 때문에 가치 산정이 어렵다.
가치 창출 방식	빅데이터는 기존에 없던 새로운 가치를 발굴 및 창출하기 때문에 가치를 산정하기 어렵다.
분석 기술 발전	데이터 분석 기술의 발전으로 인하여 데이터의 가치에 대한 판단이 어려워져 빅데이터에 대한 가치를 산정하기 어렵다.

 

2. 빅데이터 활용에 필요한 3가지

이유	설명
데이터	모든 것의 데이터화
기술	진화하는 알고리즘, 인공지능
인력	데이터 사이언티스트, 알고리즈미스트

 

3. 데이터 활용 테크닉

이유	설명	예시
연관 규칙 학습	- 변인 간의 상관관계를 찾아내는 방법 - 구매 물품간의 규칙을 찾아내는 분석기법	- 상품 추천, 장바구니 분석 등
유형 분석	- 사건이 속한 범주를 찾아내는 방법	- 문서의 분류, 상품 분류 등
유전 알고리즘	- 최적화가 필요한 문제에 사용 - 자연선택, 돌연변이 등을 활용하여 점진적 진화시켜나가는 방법	- 최적화된 택배 차량 배치, 물류 창고의 상품 배치 등
머신러닝	- 컴퓨터를 활용해 규칙을 발견하고 발견한 규칙을 활용한 예측에 초점을 맞춘 방법	- 스팸메일 필터링, 유전병 발병 예측 등
회귀분석	- 독립변수를 조작할 때 종속변수의 변화를 관찰하여 변인 관계를 파악하는 방법	- 상품 가격과 매출의 관계, 거주지역과 대학 진학률의 관계 등
감정분석	- 데이터 마이닝을 활용하여 작성자의 감정을 분석하는 방법	- 후기를 활용해 고객 니즈 발견 등
소셜 네트워크 분석	- 온라인 공간속 영향력 있는 사람을 찾아내는 방법	- 광고 모델 선정, 범인 유추 등

 

4. 빅데이터 활용의 문제와 해결 방안

 

1) 빅데이터 활용의 문제

a. 사생활 침해: 개인의 사생활이 챔해 당할 수 있다

- SNS 여행 게시물을 확인한 빈집털이

 

b. 책임 원칙 훼손: 빅데이터 분성의 대상이 되는 사람들의 알고리즘 희생양이 될 가능성

- 신용카드 발급 여부에서 불이익, 적으로 인식한 민간인 사격

 

c. 데이터 오용: 잘못된 인사이트로 인한 비즈니스 손실

- Steve Ballmer "아이폰은 아무도 사용하지 않을 것이다”

 

2) 해결방안

문제	해결방안	설명
사생활 침해	'동의'에서 '책임'으로	제공자의 '동의'를 통한 해결이 아닌, 사용자의 '책임'으로 해결
책임 원칙 훼손	결과 기반 책임 원칙 고수	'행동 결과'를 확인한 후에 처벌
데이터 오용	알고리즘 접근 허용	데이터 알고리즘 확인을 통한 데이터 오용 방지

 

3) 개인정보 비식별 기술

기술명	설명
데이터 마스킹	데이터의 기존 형식을 유지한 채 식별 불가능한 임의의 값으로 대체
가명 처리	데이터를 임의의 값으로 변경
총계 처리	값을 총합, 평균과 같은 총계 데이터로 표현한다
데이터 값 삭제	데이터 값의 일부를 삭제한다
데이터 범주화	데이터의 값을 범주화하여 표현한다

 

5. 데이터 사이언스에 대하여

 

1) 데이터 사이언스

- 의미 있는 정보를 추출하는 학문

- 정형, 비정형을 막론한 다양한 데이터를 분석

- 분석과 효과적인 구현을 통하여 전략적 인사이트를 토출하는 행위

 

2) 데이터 사이언스의 구성 요소

Analytics: 수학, 확률 모델, 머신 러닝, 분석학, 패턴 인식 학습, 불확실성 모델링 등

IT(Data Management): 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징 고성능 컴퓨팅 등

비즈니스 분석: 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등

 

3) 데이터 사이언티스트의 역량

a. Hard Skill

- 빅데이터에 대한 이론적 지식

- 분석 기술에 대한 숙련

 

b. Soft Skill

- 통찰력 있는 분석

- 설득력 있는 전달

- 다분야 간 협력

 

하둡(Hadoop)
- Apache에서 개발한 JAVA 기반 빅데이터 저장 및 처리기술 프레임워크
- 고가용성 분산 객체 지향 플랫폼
- 저장을 담당하는 HDFS, 분산 저장된 클러스터를 관리하는 YARN, 분산 데이터를 배치 처리하는 MapReduce로 구성

Hadoop Ecosystem
- 확장성과 호환성이 높은 프레임워크

 

6. 가치 패러다임의 변화

시기	패러다임	설명
과거	디지털화(Digitalization)	아날로그 세상을 어떻게 효과적으로 디지털화하는가
현재	연결(Connection)	디지털화된 정보를 얼마나 효율적으로 제공하는가
미래	에이전시(Agency)	복잡한 연결을 어떻게 신뢰 가능하게 관리하는가

---

3. 추가적인 내용

1. 비즈니스 모델

a. 플랫폼형 비즈니스 모델

: 다른 이해관계자들의 보완적인 상품, 서비스를 제공하는 생태계를 구축하고자하는 비즈니스 모델

 

b. 가치사슬형 비즈니스 모델

: 기업이 부가가치를 생성하는 과정인 가치사슬을 통합, 세분화하여 시장 상황에 빠르게 대응 가능한 비즈니스 모델

 

c. 대리인형 비즈니스 모델

: 거래 사이트가 직접 거래하지 않고 공급자와 수요자들이 자유롭게 거래 가능하도록 서비스를 제공하는 비즈니스 모델

 

d. 상거래형 비즈니스 모델

: 공급자와 수요자가 직접 만나는 상거래 사이트를 운영하는 비즈니스 모델

 

2. 기업 내부의 데이터베이스

데이터베이스 종류	설명
OLTP(Online Transaction Processing)	거래 단위에 초점을 맞춘 단순 자동화 시스템
OLAP(Online Analystical Processing)	'분석'을 통한 의사결정에 활용 가능한 정보를 제공하는 시스템
EAI(Enterprise Application Integration)	서비스의 중앙 관리를 통한 기업 애플리케이션 통합
KMS(Knowledge Management System)	기업이 보유 가능한 모든 지식을 통합하여 문제 해결 능력을 향상시키는 것
SCM(Supply Chain Management)	공급망 관리를 통하여 유통 단계를 최적화하는 것
ERP(Enterprise Resource Planning)	경영 자원 통합 관리를 통해 업무의 효율성을 향상시키는 것
CRM(Customer Relationship Management)	고객 관계 관리를 통하여 신규 고객 창출 및 기존 고객 이탈을 방지하는 것
BI(Business Intelligence)	기업이 의사결정을 내릴 수 있도록 기업의 데이터를 가공 및 분석하는 것
BA(Business Analytics)	비즈니스 의사결정을 위한 통계적, 분석적 기법
RTE(Real Time Enterprise)	정보를 실시간으로 통합 전달해서 신속 가능한 스피드 경영