[빅데이터 분석 기사 필기 1과목] 빅데이터 분석 기획 정리 - 1

자격증 준비하면서 내가 이해하기 편하게, 다시 보기 좋게 정리하는 빅데이터 분석기사의 내용 (자격증 상세 내용은 아래)

https://www.dataq.or.kr/www/sub/a_07.do

데이터자격시험

1과목인 빅데이터 분석 기획을 정리한 내용

---

빅데이터 특징

빅데이터 개념

• 막대한 양의 정형 및 비정형 데이터
• 데이터로부터 가치를 추출하고 결과를 분석하는 기술
• 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정 → DIKW 피라미드로 표현 가능

DIKW 피라미드

• 데이터(Data) : 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 수치나 기호
  • A 가게에선 사과를 1,200원, B 가게에선 1,000원에 판매
• 정보(information) : 가공처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 요소
  • A 가게가 B가게보다 사과를 싸게 판다
• 지식(knowledge) : 획득된 다양한 정보를 구조화하여 유의미한 정보로 분류하고 일반화시킨 결과물
  • A 가게가 사과가 더 싸므로 A가게에서 구매할 계획
• 지혜(wisdom) : 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어
  • A 가게가 사과가 더 싸므로 다른 과일도 B가게 보다 저렴할 것으로 생각

※ 기출문제

→ 지식의 피라미드는 최하위 데이터 단계부터 최상위 지혜 단계로 구성되며, 데이터 → 정보 → 지식 → 지혜의 순서를 따른다. (답 : 1)

→ 대통령에 대한 국민들의 인식은 세부분야별로 나누어 5점 척도나 7점 척도로 측정할 수도 있지만 일반적으로 사람에 대한 인식을 물었을 때 서술형으로 대답하는 경우가 많다 (답 : 1)

데이터 측정 단위

KB(킬로) < MB(메가) < GB(기가) < TB(테라) < PB(페타) < EB(엑사) < ZB(제타) < YB(요타)

빅데이터 특성

전통 3V

• 규모(Volume) : 빅데이터 분석규모에 관련된 특징
• 다양성(Variety) : 빅데이터 자원 유형에 관련된 특징 (정형·비정형·반정형 데이터 포함)
• 속도(Velocity) : 빅데이터 수집·분석·활용 속도에 관련된 특징 (데이터 처리, 분석 속도 등)

---

확장 4V (3V + 1V)

• 가치(value) : 빅데이터 수집 데이터를 통해 얻을 수 있는 가치 (데이터의 정확성 및 시간성 관련)

---

확장 5V (4V + 1V)

• 신뢰성(Veracity) : 빅데이터의 수집 대상 데이터가 가지는 신뢰에 관련된 특징 (품질과 신뢰성)

---

확장 7V (5V + 2V)

• 정확성(Validity) : 빅데이터의 수집 대상 데이터가 가지는 유효성과 정확성 (타당성)
• 휘발성(Volatility) : 빅데이터의 수집 대상 데이터의 의미 있는 기간 (저장성)

※ 기출문제

→ 빅데이터 활용에 필요한 3요소는 자원(데이터), 기술, 인력이다. (답 : 2)

데이터 지식 경영

• 암묵지
  • 학습과 경험을 통해 개인에게 습득되어 있지만, 겉으로는 드러나지 않는 지식
  • 다른 사람에게 공유되기 어려움
• 형식지
  • 문서나 매뉴얼처럼 형상화된 지식
  • 전달과 공유 용이

데이터 지식 경영 상호작용

• 공통화 : 다른 사람과의 대화 등 상호작용을 통해 개인이 암묵지를 습득하는 단계
• 표출화 : 형식지 요소 중의 하나이며 개인에게 내재된 경험을 객관적 데이터 문서나 매체로 저장하거나 가공, 분석하는 과정
• 연결화 : 형식지가 상호결합하면서 새로운 형식지를 창출하는 것
• 내면화 : 행동과 실천교육 등을 통해 형식지가 개인 암묵지로 체화되는 단계

빅데이터의 가치

• 경제적 자산 : 새로운 기화 창출 및 위험 제거
• 불확실성 제거 : 사회현상, 데이터를 기반으로 한 패턴 분석과 미래 전망
• 리스크감소 : 환경, 소셜 네트워크, 모니터링 정보의 패턴 분석을 통한 위험 징후 및 이상 신호에 대한 대응
• 스마트한 경쟁력 : 대규모 데이터 분석을 통한 상황 인지, 인공지능 서비스
• 타 분야 융합 : 타 분야와 융합을 통해 새로운 가치 창출

빅데이터의 가치 산정이 어려운 이유

• 데이터 활용 방식의 다양화 : 데이터의 재사용, 재조합 등이 일반화되면서 특정 데이터를 언제 어디서 누가 활용할지 알 수 없음
• 새로운 가치창출 : 빅데이터 시대에 데이터가 기존에 없던 가치를 창출하여 가치 선정 어려움
• 분석기술의 급속한 발전 : 비용 문제로 인해 분석할 수 없었던 것을 저렴한 비용으로 분석하면서 활용도 증가하여 가치 선정 어려움

※ 기출문제

→ 데이터의 가치는 데이터 활용 방식(재사용 등), 가치 창출 방식, 분석 기술 발전으로 인해 측정하기 어렵다. (답 : 3)

빅데이터의 영향

• 기업 → 혁신 수단 제공, 경쟁력 강화, 생산성 향상
• 정부 → 환경 탐색, 상황 분석, 미래 대응
• 개인 → 목적에 따른 활용

빅데이터의 위기 요인

• 사생활 침해 : 목적 외로 활용된 개인정보가 포함된 데이터에 의한 사회적·경제적 위협
  • 책임의 강조로 통제
• 책임 원칙 훼손 : 예측 기술과 빅데이터 분석기술이 발전하면서 분석 대상이 되는 사람들이 예측 알고리즘의 희생양이 될 가능성 증가
  • 결과 기반의 책임 적용
• 데이터 오용 : 잘못된 지표의 사용, 미래 예측이 언제나 맞을 수는 없는 오류
  • 알고리즘에 대한 접근 허용

※ 기출문제

→ 빅데이터를 활용함에 있어 발생할 수 있는 위기 요인으로는 사생활의 침해, 채임 원칙의 훼손, 데이터의 오용 등이 있다. (답 : 2)

분석 가치 에스컬레이터

1. 묘사 분석 : 분석의 가장 지표적인 지표를 확인하는 단계
2. 진단 분석 : 묘사 단계에서 찾아낸 분석의 원인을 이해하는 단계
3. 예측 분석 : 데이터를 통해 조직의 미래, 고객의 행동 등을 예측하는 단계
4. 처방 분석 : 예측을 바탕으로 최적화하는 단계

빅데이터 산업의 이해

다수의 사용자들에게 가상화된 컴퓨터의 시스템 리소스를 요구하는 즉시 서비스로 제공하는 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용이 급격하게 감소하여 발전

• 의료·건강, 과학기술, 정보보안, 제조·공정, 소비·거래, 교통·물류 등의 분야에 활용
• 주로 산업의 육성 및 활용에 초점

※ 기출문제

→ 데이터 산업은 인프라 영역과 서비스 영역으로 나뉜다. (답 : 3)

→ 서비스 영역에서는 데이터 자체나 데이터를 가공한 정보를 제공한다. 새로운 아이디어는 서비스를 제공받는 사람이 생각해야 한다. (답 : 4)

빅데이터 업무 프로세스

1. 빅데이터 도입 : 빅데이터 서비스를 제공하기 위한 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입조직 구성, 예산 확보 등 수행
2. 빅데이터 구축 : 빅데이터 플랫폼을 구축하기 위해 요구사항 분석, 설계, 구현, 테스트 단계 수행
3. 빅데이터 운영 : 빅데이터 시스템의 도입 및 구축 후 운영 계획 수립

조직 구조 설계 요소

• 업무 활동 : 조직의 미션과 목적을 달성하기 위한 과업 수행
• 부서화 : 조직의 미련과 목적을 효율적으로 달성하기 위한 조직 구조 유형 설계
• 보고 체계 : 조직의 목표 달성을 위하여 업무 활동 및 부서의 보고 체계 설계

조직 구조 유형

• 집중구조
  • 전략적 중요도에 따라 분석조직이 우선순위를 정해서 진행
  • 현업 업무부서의 분석 업무와 중복 및 이원화 가능성 높음
• 기능 구조
  • 일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석수행
  • 전사적 핵심 분석이 어려우며 과거에 국한된 분석 수행
• 분산 구조
  • 분석조직 인력들을 현업 부서로 직접 배치해 분석 업무 수행
  • 신속한 피드백이 나올 수 있음

※ 기출문제

→ 분석 결과를 현업에 빠르게 적용하는 것은 분산형 조직구조에 대한 것이다. (답 : 2)

조직 구조 설계 특성

• 공식화 : 업무 수행의 절차, 수행 방법, 작업 결과 등의 기준을 사전에 설정하여 공식화
• 분업화 : 조직의 목표 달성을 위하여 업무 수행 시 업무 분할 수행
• 직무 전문화 : 수행 업무에 활용되는 직무 전문성의 유형을 의미
• 통제 범위 : 관리자가 효율적이며 효과적으로 관리할 수 이는 조직의 인원수
• 의사소통 및 조정 : 업무 수행 시 의사소통은 업무의 지시, 보고, 피드백 등 수직정 활동과 무제 해결을 위한 협업 등 수평적 활동으로 구분

조직 역량 모델링

• 데이터 사이언스를 수행하는 소프트 스킬과 하드 스킬 존재
  • 소프트 스킬 : 모드 직무에서 사용할 수 있는 기술
    • 여러 분야의 협력 능력 : 커뮤니케이션 능력
    • 분석의 통찰력 : 논리적 비판 능력, 창의적 사고력, 호기심
    • 설득력 있는 전달력 : 스토리텔링 능력, 비주얼라이제이션
  • 하드 스킬 : 해당 업무를 수행하기 위해 필요한 실질적인 기술
    • 분석기술의 숙련도 : 목적에 맞는 최적 분설 설계, 노하우 축적
    • 빅데이터 관련 이론적 지식 : 빅데이터 관련 기법 및 다양한 방법론 습득

→ 데이터 사이언티스트에 대한 소프트 스킬 요구 역량은 다분야 간 협력, 설득력 있는 전달, 통찰력 있는 분석이 있다. (답 : 1)

데이터 분야 직무별 업무

• 데이터 엔지니어
  • 비즈니스를 이해하고 대량의 데이터 세트 가공
  • 제품 최적화를 위한 분석 도구 개발
  • 대용량 데이터 분산 처리 시스템 개발
  • 프로그래밍 언어 사용 스킬 필수
• 데이터 분석가
  • 최적의 의사결정을 내리는 데 도움을 주는 비즈니스 인사이트 제공
  • 데이터 경향, 패턴, 이상치 등을 인식하기 위한 시각화 진행 및 보고서 작성
  • 비즈니스 팀과 연계해 각 팀의 전략을 수립하거나 업무 효율화에 필요한 데이터 수집 및 분석
• 데이터 사이언티스트
  • 머신러닝 모델을 사용해 정형, 비정형 데이터에서 인사이트 창출
  • 사내 데이터를 이용해서 고객 행동 패턴 모델링 진행, 패턴을 찾아내거나 이상치 탐지
  • 예측 모델링, 추천 시스템 등 을 개발해 비즈니스 의사결정에 필요한 인사이트 제공

데이터 거버넌스

기업에서 사용하는 데이터의 가용성, 유용성, 통합성, 보안성을 관리하기 위한 정책과 프로세스를 다루며, 프라이버시, 보안성, 데이터 품질, 관리 규정 준수를 강조한 모델

데이터 거버넌스 구성 요소

• 원칙
  • 데이터를 유지 · 관리하기 위한 지침과 가이드
  • 품질기준, 보안, 변경관리
• 조직
  • 데이터를 관리할 조직의 역할과 책임
  • 데이터 관리자, 데이터베이스, 관리자, 데이터 아키텍처
• 프로세스
  • 데이터 관리를 위한 활동 체계
  • 작업 절차, 모니터링 활동, 측정 활동 등

데이터 거버넌스 체계

• 데이터 표준화
  • 데이터 표준 용어 설명, 명명 규칙, 메타데이터 구축, 데이터 사전 구축
  • 데이터 표준 준수 진단, 논리 · 물리 모델 표준에 맞는지 검증
• 표준화 활동
  • 데이터 거버넌스 체계 구축 이후 표준 준수 여부를 주기적으로 점검 및 모니터링
• 데이터 관리 체계
  • 메타데이터와 데이터 사전의 관리 원칙 수립
• 데이터 저장소 관리
  • 메타데이터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소 구성

데이터 분석 준비도 프레임워크

• 분석 업무 파악
  • 발생한 사실 / 예측 / 시뮬레이션 / 최적화 분석 업무
  • 분석 업무 정기적 개선
• 인력 및 조직
  • 분석 전문가 교육 훈련 프로그램
  • 관리자들의 기본적 분석 능력
  • 전사 분석 업무 총괄 조직 존재
  • 경영진 분석 업무 이해 능력
• 분석 기법
  • 업무별 적합한 분석 기법 사용
  • 분석 업무 도입 방법론
  • 분석 기법 효과성 평가 및 정기적 개선
• 분석 데이터
  • 분석 업무를 위한 데이터 충분성 / 신뢰성 / 적시성
  • 비구조적 데이터 관리
  • 외부 데이터 활용 체계
  • 기준 데이터 관리
• 분석 문화
  • 사실에 근거한 의사결정
  • 관리자의 데이터 중시
  • 회의 등에서 데이터 활용
  • 경영진의 직관보다 데이터 활용
  • 데이터 공유 및 협업 문화
• IT 인프라
  • 운영 시스템 데이터 통합
  • EAI, ETL 등 데이터 유통체계
  • 분석 전용 서버 및 스토리지
  • 빅데이터 분석 환경 / 통계 분석 환경 / 비주얼 분석 환경

조직 평가를 위한 성숙도 단계

• 도입 단계 : 분석을 시작해 환경과 시스템을 구축하는 단계
  • 일부 부서에서 수행
  • 담당자 역량에 의존
• 활용 단계 : 분석 결과를 실제 업무에 적용하는 단계
  • 전문 담당 부서에서 수행
  • 분석 기법 도입
  • 관리자가 분석 수행
• 확신 단계 : 전사 차원에서 분석을 관리하고 공유하는 단계
  • 전사 모든 부서 수행
  • 분석 전문가 조직 운영
  • 데이터 사이언티스트 확보
• 최적화 단계 : 분석을 진화시켜서 혁신 및 성과 향상에 기여하는 단계
  • 데이터 사이언스그룹
  • 경영진 분석 활용
  • 전략 연계

사분면 분석 유형

• 확산형 (1 사분면)
  • 기업에 필요한 6가지 분석 구성요소를 갖추고 있고, 지속적인 확산이 필요한 기업
• 정착형 (2 사분면)
  • 준비도는 낮으나 조직, 인력, 분석 업무, 분석 기법 등을 기업 내부에서 제한적으로 사용하고 있어 일차적으로 정착이 필요한 기업
• 준비형 (3 사분면)
  • 데이터 분석을 위한 낮은 준비도와 낮은 성숙도 수준의 기업
  • 기업에 필요한 데이터, 인력, 조직, 분석 업무, 분석 기법 등이 적용되어 있지 않아 사전준비가 필요한 기업
• 도입형 (4 사분면)
  • 기업에서 활용하는 분석 업무, 기법 등은 부족하지만 적용조직 등 준비도가 높아 바로 도입할 수 있는 기업

---

뒤로 이어지는 내용

https://edder773.tistory.com/127

[빅데이터 분석 기사 필기 1과목] 빅데이터 분석 기획 정리 - 2