3. 데이터 입출력

데이터 모델

현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현한 모델

 

데이터 모델 절차

요구사항 분석 -> 개념적 -> 논리적 -> 물리적

 

논리 데이터 모델링 속성

개체, 속성, 관계

 

관계 데이터 모델

• 튜플(tuple), 행, 카디널리티
• 속성, 열, 차수(degree)

 

절차적 언어

• 일반 집합 연산자: 합집합, 교집합, 차집합, 카디션 프로덕트(X)
• 순수 관계 연산자: 셀렉트, 프로젝트, 조인, 디비전

 

개체-관계 E-R 모델

현실 세계에 존재하는 데이터와 그들 간의 관계를 사람이 이해할 수 있는 형태로 명확하게 표현하기 위해 사용되는 모델

 

정규화

• 1NF: 도메인이 원자값
• 2NF: 부분함수 종속 제거
• 3NF: 이행함수 종속 제거
• BCNF: 결정자 후보키가 아닌 함수 종속 제거
• 4NF: 다치 종속 제거
• 5NF: 조인 종속 제거

 

이상 현상

데이터의 중복성으로 인해 릴레이션을 조작할 때 발생하는 비합리적인 현상 (삽입, 삭제, 갱신)

 

반 정규화

정규화 된 엔티티, 속성, 관계에 대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 과정

 

물리 데이터 모델링

논리 모델을 적용하고자 하는 기술에 맞도록 상세화해가는 과정

• 참조무결성 제약조건: 참조하는 외래키 값은 항상 참조되는 릴레이션에 기본키로 존재해야 한다.
• 인덱스: 필요한 정보에 대해 신속히 조회 가능
• 뷰: 접근이 허용된 자료만을 제한적으로 보여 주기 위한 하나 이상의 기본 테이블로 구성된 가상 테이블
• 클러스터: 데이터 액세스 효율을 향상시키기 위해 동일한 성격의 데이터를 동일한 데이터 블록에 저장하는 물리적 저장 방법
• 파티션: 레인지, 해시, 리스트, 컴포지트

 

데이터베이스

• 특성: 실시간 접근성, 계속적인 변화, 동시 공용, 내용 참조
• DBMS: 데이터 관리 복잡성을 해결하고 데이터의 기능을 지원하는 s/w
• 유형: 키-값, 컬럼 기반 데이터 저장, 문서 저장, 그래프
• 빅데이터: HDFS(하둡의 분산 파일 시스템), Map Reduce(구글의 분산 병렬 컴퓨팅)
• NoSQL
  • Basically Available: 언제든지 데이터를 접근할 수 있는 속성
  • Soft-State: 노드 상태는 외부에서 전송된 정보를 통해 결정되는 속성
  • Eventually Consistency: 일정 시간 지나면 데이터 일관성 유지
• 시맨틱 웹: 기계가 이해할 수 있는 온톨로지 형태로 표현하고 자동화된 기계가 처리하도록 하는 지능형 웹
• 온톨로지: 셀세계에 존재하는 모든 개념들 간의 정보를 컴퓨터가 이해할 수 있도록 서술해 놓은 지식베이스
• 데이터 마이닝: 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술
  • 주요기법
    • 분류(Classification): 과거 데이터로부터 특성을 찾아내 분류모형을 만들어 결과 값 예측
    • 연관(Association): 데이터 안에 존재하는 항목들 간의 종속관계를 찾아내는 기법
    • 연속(Sequence): 연관 규칙에 시간 관련 정보가 포함된 형태의 기법
    • 데이터 군집화(Clustering): 대상 레코드들을 유사한 특성을 지는 몇 개의 소그룹으로 분할하는 작업