ADsP 공부 4일 차(1,2과목 복습!)

문제를 풀다보니 공부를 했음에도 불구하고 틀리는 문제의 갯수가 많아서 다시 1과목부터 복습을 진행하고자 합니다.

---

1과목

1. 암묵지와 형식지

1) 암묵지: 숨겨져있는 지식

2) 형식지: 형식화돤 지식(문서, 영상 등 형상화된 지식)

 

2. DIKW 피라미드

1) Data(데이터): 객관적인 사실

2) Information(정보): Data에서 의미가 추출된 것

3) Knowledge(지식): Data로부터 추출된 Information을 구조화를 통해 의미있는 정보를 내재화한것

4) Wisdom(지혜): 지식의 축적과 아이디어가 결합된 산물

 

3. 데이터의 단위

순번	단위	이전 단위
1	1byte	8bit
2	1KB	1024byte
3	1MB	1024KB
4	1GB	1024MB
5	1TB	1024GB
6	1PB	1024TB
7	1EB	1024PB
8	1ZB	1024EB
9	1YB	1024ZB

 

4. 데이터베이스의 일반적인 특징

1) 통합된 데이터: 동일한 내용의 데이터가 중복되어 있지 않다.

2) 저장된 데이터: 컴퓨터 매체가 접근 가능한 저장 매체에 저장되어 있다.

3) 공용데이터: 여러 사용자가 사용 가능하다.

4) 변화하는 데이터: CRUD를 통해 항상 최신의 데이터 상태를 유지한다.

 

5. 데이터베이스의 외적인 특징

1) 정보의 축적 및 전달: 기계 가독성, 검색 가능성, 원격 조작성

2) 정보 이용 측면: 정보를 신속 정확하게 찾아낼 수 있다

3) 정보 관리 측면: 정보를 체계적으로 정리 저장하여 관리가 가능하다

4) 정보 기술 발전: 다양한 분야의 발전을 견인 할 수 있다

5) 경제•산업적 측면: 경제•산업 분야에 있어 효율성을 재고 및 편의성을 증진할 수 있다

 

6.트랜잭션의 특징

 

1) 원자성(Atonomicity)

- 하나의 트랜잭션으로 묶인 연산은 모두 실행되거나 전혀 실행되지 않아야한다

 

2) 일관성(Consistency)

- 트랜잭션의 결과는 데이터베이스의 정합성을 깨지 않는다.

- 트랜젝션 이전의 데이터베이스에 오류가 없다면 트랜잭션의 실행 후에도 오류가 없다

 

3) 고립성(Isolation)

- 트랜잭션은 독립적으로 실행된다

 

4) 영속성(Durability)

- 트랜잭션의 결과는 영구적으로 저장되어 유지된다

 

7. 메타데이터: 데이터를 설명하는 데이터

 

8. 인덱스: 데이터를 신속 정확하게 검색 가능하도록 부여되는 이름

 

9. 데이터 웨어하우스, 데이터 마트, 데이터 레이크

1) 데이터 웨어하우스: 특수한 목적에 따라 정형 비정형 데이터를 공통된 형식에 따라 변환하여 관리하는 데이터 베이스

2) 데이터 마트: 목적을 갖고 데이터 웨어하우스에서 추출된 보다 작은 단위의 데이터 베이스

3) 데이터 레이크: 정형•비정형•반정형 데이터를 모두 모아 빅데이터의 분석을 돕기 위한 데이터 관리 플랫폼

 

10. 3V

1) Volume

2) Variety

3) Velocity

+ Value(4V)

 

11. 빅데이터가 만들어낸 변화

1) 사전처리 -> 사후처리

2) 표본조사 -> 전수조사

3) 질 -> 양

4) 인과관계 -> 상관관계

 

12. 빅데이터 활용을 위한 3대 요소

인력, 자원, 기술

 

13. 빅데이터 주요 분석기법

1) 회귀분석

2) 분류분석

3) 연관규칙

4) 유전자 알고리즘

5) 머신러닝

6) 감정분석

7) 소셜네트워크 분석

8) 텍스트 분석

 

14. 빅데이터가 불러온 위기와 통제 방안

1) 사생활 침해 -> 사용자의 동의에서 기업의 책임으로

2) 책임 원칙 훼손 -> 결과 기반 책임 원칙 고수

3) 데이터 오용 -> 알고리즘 접근 허용

 

15. 데이터 3법

1) 재인정보보호법

2) 정보통신망법

3) 신용정보법

 

16. 가치 패러다임의 변화

시기	패러다임	설명
과거	디지털화(Digitalization)	아날로그 세상을 어떻게 효과적으로 디지털화하는가
현재	연결(Connection)	디지털화된 정보를 얼마나 효율적으로 제공하는가
미래	에이전시(Agency)	복잡한 연결을 어떻게 신뢰 가능하게 관리하는가

---

 

2과목

1. 분석 대상과 방법

	대상
방법		알고있다	모른다
	알고있다	최적화	통찰
	모른다	솔루션	발견

 

2. 분석 방법론의 구성요소

절차, 방법, 도구와 기법, 템플릿과 산출물

 

3. 분석 방법론 모델

1) 계층적 프로세스 모델

2) 폭포수 모델

3) 나선형 모델

4) 프로토타입 모델

5) 반복적 모델

6) 애자일

 

4. 분석 방법론

1) KDD

순서: 데이터 선택-> 전처리 -> 변환 -> 마이닝 -> 결과 평가

a. 데이터 선택: Raw Data 혹은 데이터 베이스에서 필요한 데이터 선택

b. 전처리: 이상값, 결측값 잡음 등 식별 및 사용 가능하도록 규격화

c. 변환: 변수 선택, 차원 축소

d. 마이닝: 알고리즘을 활용한 분석 수행

e. 결과 평가: 결과에 대한 해석

 

2) CRISP-DM

순서: 업무 이해 -> 데이터 이해 -> 데이터 준비 -> 모델링 -> 평가 -> 전개

a. 업무 이해: 업무의 목적 파악, 프로젝트 계획 수립

b. 데이터 이해: 초기 데이터 수집, 데이터 품질 확인

c. 데이터 준비: 데이터 셋 선택 및 정제, 통합

d. 모델링: 모델링 기법 선택, 테스트 계획 설계, 모델 작성 및 평가

e. 평가: 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가

f. 전개: 전개 계획, 유지보수 계획 수립, 프로젝트 종료

 

3) SEMMA

순서: Sample -> Explore -> Modify -> Model -> Assess

a. Sample: 분석 대상 데이터 추출

b. Explore: 택색 및 오류 확인

c. Modify: 데이터 변환

d. Model: 알고리즘 적용

e. Assess: 모델 평가 및 검증

 

5. 분석 과제 발굴

1) 하향식 접근

- 문제가 주어지고 해답을 찾기 위해 진행

순서: 문제 탐색 -> 문제 정의 -> 해결 방안 -> 타당성 검토

 

a. 문제 탐색

- 빠짐없이 문제 도출 및 식별

- 비즈니스 모델 캔버스 단순화 측면(5가지 측면): 업무, 제품, 고객, 규제와 감사, 지원 인프라

- 거시적 관점: STEEP(Social(사회), Technic(기술), Economic(경제), Environment(환경), Political(정치))

- 경쟁자 확대 관점: 대체자, 경쟁자, 신규 진입자

- 시장의 니즈 관저미 고객, 채널, 영향자

 

b. 문제 정의

- 비즈니스에서의 문제를 데이터로 변환하여 정의

 

c. 해결 방안

- 기존 시스템 활용, 시스템 고도화, 인력자원 확보, 아웃소싱

 

d. 타당성 검토

- 경제적 타당성: 비용대비 편익

- 데이터 타당성: 데이터의 존재 여부, 분석 역량

- 기술적 타당성: 연량 확보 방안

 

6. 상향식 접근

- 문제 정의가 어려울때

- 비지도 학습 주로 활용

비지도 학습
- 정답이 없는 데이터를 활용한 학습 기법
- 군집 분석, 연관규칙 분서, 차원 축소 등

지도 학습
- 정답이 있는 데이터를 활용한 학습 기법
- KNN, SVM, 분류분석, 회귀분석, 의사결정 트리

 

7. 분석 과제에서 고려할 사항 5가지

- 데이터의 크기, 데이터 복잡도, 분석 복잡도, 정확도, 정밀도

- 정확도와 정밀도는 trade-off 관계

 

8. 프로젝트 관리 지식 체계 10가지

- 통합, 범위, 시간, 원가, 품질, 인적 자원, 의사소통, 리스크, 조달(아웃소싱), 이해 관계자