[Database] 데이터 모델과 성능

성능 데이터 모델링과 성능

• 성능 데이터 모델링
  • DB 성능 향상을 목적으로 설계 단계의 데이터 모델링 때부터 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것
  • 데이터 증가가 빠를수록 성능 저하에 따른 성능개선 비용은 증가
  • 데이터 모델은 성능을 튜닝하면서 변경될 수 있음
  • 분석/ 설계 단계에서 성능을 고려한 데이터 모델링을 수행할 경우 성능 저하에 따른 Rework 비용 최소화할 수 있음

• 성능 데이터 모델링 수행 절차
  1. 데이터 모델링을 할 때 정규화를 정확하게 수행
  2. DB 용량 산정 수행
  3. DB에 발생되는 트랜잭션의 유형을 파악
  4. 용량과 트랜잭션의 유형에 따라 반정규화 수행
  5. 이력 모델의 조정, PK/ FK 조정, 슈퍼/ 서브 타입 조정 등을 수행
  6. 성능 관점에서 데이터 모델 검증

• 성능 데이터 모델링 고려사항
  • 정규화도 기본적으로 중복된 데이터를 제거함으로써 조회 성능 향상
  • 용량 산정은 전체 DB에 발생되는 트랜잭션 유형과 양을 분석하는 자료가 되어 성능 데이터 모델링에 중요
  • 물리적 데이터 모델링할 때 PK/ FK 칼럼의 순서 조정, FK인덱스 생성 등은 성능 향상을 위한 데이터 모델링에 중요
  • 이력 데이터는 시간에 따른 반복 발생으로 대량 데이터일 가능성이 높아 성능을 고려해 칼럼 등을 추가하도록 설계

 

정규화와 성능

• 정규화(Nomalization)
  • DB설계에서 중복 요소를 찾아 제거하고 데이터를 구조화하는 프로세스
  • 하나의 릴레이션에 하나의 의미만 존재할 수 있도록 릴레이션을 분해해 나가는 과정
  • 자료의 저장 공간 최소화, 자료 불일치 최소화, 자료 구조를 안정화, 이상(Anomaly)현상 방지
  • 중복된 데이터를 허용하지 않음으로써 무결성(Integrity)를 유지

• 정규화 과정 (도부이결다조)
  • 제 1 정규화
    • 원자값이 아닌 도메인 분해
  • 제 2 정규화
    • 부분 함수 종속 제거
  • 제 3 정규화
    • 이행 함수 종속 제거
  • BCNF 정규화
    • 결정자가 후보키가 아닌 함수 종속 제거
  • 제 4 정규화
    • 다치종속 제거
  • 제 5 정규화
    • 후보키를 통하지 않은 조인 종속 제거

• 제 1 정규화
  • 테이블의 컬럼이 원자값(Atomic Value)을 갖도록 테이블을 분해하는 것
   

 

•  결정자란?
  • 어떤 속성 값이 다른 애트리뷰트 값을 고유하게 결정할 수 있음
  • 결정자는 주어진 릴레이션에서 다른 애트리뷰트 을 고유하게 결정하는 하나 이상의 애트리뷰트 을 의미
  • 결정자는 키 애트리뷰트가 아닐수도 있고, 복합 애트리뷰트일 수 있음
  • A가 B를 결정하는 결정자라고 하면 A→B로 표현

• 함수적 종속성이란?
  • 만일 애트리뷰트 A가 애트리뷰트 B의 결정자이면 B가 A에 함수적으로 종속한다고 말함

• 완전 함수적 종속성
  • 함수적 종속 관계에서 종속자가 기본키에만 종속되며 기본키가 여러 속성으로 구성되어 있을 경우 모든 속성을 알야아만 식별이 가능한 경우를 말한다.

• 부분 함수적 종속성
  • 함수적 종속 관계에서 종속자가 기본키가 아닌 다른 속성에 종속되거나 기본키가 여러 속성으로 구성되어 있을 경우 기본키를 구성하는 속성 중 일부만 알아도 식별이 되는 경우를 말한다.

• 이행 함수적 종속성
  • X → Y이고, Y → Z일 때 X → Z가 성립하는 경우

 

• 제 2 정규화
  • 제 1 정규화를 진행한 테이블에 부분 함수 종속을 제거하여, 완전 함수 종속을 만족하도록 테이블을 분해하는 것.
  • 아래 테이블에서 왼쪽 테이블의 기본 키는 이름과 과목이다.
  • 기본 키는 성적을 결정하지만, 강의실은 기본 키의 부분집합인 과목에 의해 결정된다.(부분 함수적 종속)
  • 기본키의 부분키가 강의실의 결정자이므로 제 2정규화를 진행하면 오른쪽과 같이 제 2 정규형이 된다.

• 제 3 정규화
  • 제 2 정규화를 진행한 테이블에 대해 이행적 함수 종속을 제거하여, 테이블을 분해하는 것
  • 과목이 강의실을 결정하고 있고, 강의실이 수용인원을 결정하고 있다
  • 하지만 기본 테이블의 경우 과목으로 수용인원을 결정할 수 있기에 이행 함수 종속을 제거하므로 오른쪽과 같이 제 3 정규형을 만족할 수 있다.

• BCNF(Boyce and Codd Normal Form) 정규화
  • 제 3 정규화를 진행한 테이블에 대해 모든 결정자가 후보키가 되도록 테이블을 분해하는 것
  • 결정자가 후보키가 아닌 함수 종속 제거
  • 왼쪽 수강신청 테이블의 기본키는 이름, 과목이다
  • 기본키는 교수를 결정하고 있다. 또한 여기서 교수는 과목을 결정하고 있다 ( 후보키가 아닌 결정자 존재)
  • BCNF 정규화를 통해 오른쪽과 같이 테이블 분할

반정규화와 성능

• 반정규화
  • 정규화된 Entity, 속성, 관계에 대해 성능 향상과 개발/운영 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링

• 반정규화 수행 이유
  • 데이터를 조회할 때, 디스크 I/O량이 많아서 성능 저하가 예상될 때
  • 경로가 너무 멀어 조인으로 인한 성능 저하가 예상될 때
  • 칼럼을 계산하여 읽을 때 성능 저하가 예상될 때

 

• 반정규화 고려 판단요소
  • 다수 테이블에 대한 다량의 조인이 불가피한 경우
  • 하나의 결과 셋(result set)을 추출하기 위해 다량의 데이터를 탐색하는 처리가 반복적으로 빈번하게 발생하는 경우
  • 이전 또는 이후 위치의 레코드에 의한 탐색은 window function으로 접근 가능해야 한다
  • 집계 테이블 이외에도 다양한 유형에 대해 반정규화 테이블 적용이 필요할 수 있음

• 테이블의 반정규화
  • 테이블 병합
    • 1:1 관계 테이블 병합
      • 1:1 관계를 통합해 성능 향상
    • 1:M 관계 테이블 병합
      • 1:M 관계를 통합해 성능 향상
    • 슈퍼/ 서브 타입 테이블 병합
      • 슈퍼/서브 관계를 통합해 성능 향상
  • 테이블 분할
    • 수직 분할
      • 컬럼 단위 테이블을 디스크 I/O를 분산처리하기 위해 1:1로 분리해 성능 향상
    • 수평 분할
      • 로우 단위로 집중 발생되는 트랜잭션을 분석해 성능 향상을 위해 로우 단위로 분리
  • 테이블 추가
    • 중복 테이블 추가
      • 다른 업무이거나 서버가 다른 경우 동일한 테이블 구조 중복해 원격조인 제거
    • 통계 테이블 추가
      • SUM, AVG 등을 미리 수행해 계산해 둠으로써 조회시 성능 향샹
    • 이력 테이블 추가
      • 이력 테이블 중 마스터 테이블에 존재하는 레코드 중복해 이력 테이블에 존재
    • 부분 테이블 추가
      • 자주 이용하는 집중화된 칼럼들을 해당 칼럼을 모아놓은 별도 테이블 생성

• 컬럼의 반정규화
  • 중복컬럼 추가
    • 조인 감소를 위해 여러 테이블에 동일한 컬럼 갖게 함
  • 파생컬럼 추가
    • 조회 성능 우수하게 하기 위해 미리 계산된 컬럼 갖게 함
  • 이력테이블 컬럼추가
    • 최신 값을 처리하는 이력의 특성을 고려해 기능성 컬럼 추가
  • PK에 의한 컬럼 추가
    • 이미 PK안에 데이터가 존재하지만 성능향상 위해 일반 속성으로 포함하는 방법
  • 응용시스템 오작동을 위한 컬럼 추가
    • 이전 데이터를 임시적으로 중복하여 보관하는 방법

 

• 반정규화 절차
  1. 반정규화 대상 조사
     • 범위 처리 빈도수 조사
     • 대량의 범위 처리 조사
     • 통계성 프로세스 조사
     • 테이블 조인 개수
  2. 다른 방법 유도 검토
     • 뷰(VIEW) 테이블
       • 지나치게 많은 조인이 걸려 데이터 조회 작업이 어려울 경우
     • 클러스터링 적용
       • 대량 데이터 처리나 부분 처리에 의해 성능 저하될 경우 클러스터링 적용하거나 인덱스 조정
       • 클러스터링 인덱스는 인덱스 정보를 저장할 때 물리적으로 정렬해서 저장하는 방법이다. 따라서 조회 시 인접 블록을 연속적으로 읽기 때문에 성능이 향상됨
     • 인덱스의 조정
     • 파티셔닝 기법
       • 대량의 데이터는 PK성격에 따라 부분적인 테이블로 분리 가능
       • 논리적으로 하나의 테이블이지만, 물리적으로 여러 개의 테이블로 분리하여 데이터 액세스 성능도 향상시키고 데이터 관리방법도 개선할 수 있도록 테이블에 적용하는 기법
     • 응용 애플리케이션
       • 응용 애플리케이션에서 로직 구사하는 방법 변경
  3. 반정규화 적용
     • 테이블 반정규화
     • 속성의 반정규화
     • 관계의 반정규화

• 슈퍼/ 서브 타입 데이터 모델의 변환 기술
  • 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성
  • 슈퍼 타입 + 서브 타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼 타입 + 서브 타입 테이블로 구성
  • 전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성

• 논리 데이터 모델의 슈퍼+서브타입을 물리적인 테이블 형식으로 변환
  • 트랜잭션은 항상 전체를 통합하여 분석 처리하는데 하나로 통합되어 있으면 다른 형식에 비해 성능 우수
  • 트랜잭션은 항상 슈퍼+서브 타입을 함께 처리하는데 개별로 유지하면 조인에 의해 성능 저하
  • 트랜잭션은 항상 전체 대상으로 일괄 처리하는데 서브타입별로 유지하는 것으로 변환하면 Union에 의해 성능 저하
  • 트랜잭션은 항상 서브타입 개별로 처리하는데 테이블은 하나로 통합하면 불필요한 데이터가 집적되어 성능 저하

 

 

대량 데이터에 따른 성능

• 컬럼 수가 많은 테이블
  • 로우체이닝이 발생할 정도로 한 테이블에 많은 컬럼을 가지고 있으면 디스크 I/O가 대량으로 발생하여 성능이 저하될 수 있다
  • 트랜잭션이 접근하는 컬럼 유형을 분석하여 1:1로 테이블을 분리하면 디스크 I/O가 줄어 조회 성능 향상

• 로우체이닝
  • 로우의 길이가 너무 길어 데이터 블록 하나에 데이터가 전부 저장되지 않고 두 개 이상의 블록에 걸쳐 저장된 형태
  • 불필요한 디스크 I/O 가 많이 발생해 성능 저하

 

 

DB 구조와 성능

• PK 순서 결정하는 기준
  • 앞쪽에 위치한 속성의 값이 가급적 ‘=’이나 ‘BETWEEN’,’<>’가 들어와야 좋은 효율을 나타낼 수 있음
  • 앞쪽에서 걸러주는 역할

 

 

분산 DB와 성능

• 분산 DB 효율성 증대
  • 공통 코드, 기준정보 등 마스터 데이터는 분산 DB에 복제 분산을 적용
  • 거의 실시간 업무적인 특성을 가지고 있을 때 분산 DB를 사용해 구성할 수 있음
  • 백업 사이트 구성할 때 간단하게 분산기능을 적용해 구성할 수 있음
  • GSI(Global Single Instance)
    • 통합된 한 개의 인스턴스 즉, 통합 DB 구조를 의마하므로 분산 DB와는 대치되는 개념

• 분산 DB 장점
  • 지역 자치성, 점증적 시스템 용량 확장
  • 신뢰성과 가용성
  • 효용성과 융통성
  • 빠른 응답속도와 통신비용 절감
  • 데이터의 가용성과 신뢰성 증가
  • 시스템 규모의 적절한 조절
  • 각 지역 사용자의 요구 수용 증대

 

• 분산 DB 단점
  • SW 개발 비용
  • 오류의 잠재성 증대
  • 처리 비용의 증대
  • 설계, 관리의 복잡성과 비용
  • 불규칙한 응답 속도
  • 통제의 어려움
  • 데이터 무결성에 대한 위협