[DB] 파티셔닝

파티셔닝(데이터베이스 분할)

파티셔닝이란 데이터베이스를 여러 부분으로 분할하는 것으로 큰 테이블이나 인덱스를 작은 ‘파티션’ 단위로 나누어 관리하는 기법을 말한다. 서비스의 크기가 점점 커지고 DB에 저장하는 데이터들의 규모 또한 커지면서 기존에 사용하던 DB시스템의 용량과 성능에 문제가 발생하게 되었다. 이를 해결하기 위한 방법으로 파티셔닝 기법이 나타나게 되었다. 물리적인 데이터 분할이 있더라도, DB에 접근하는 애플리케이션의 입장에서는 이를 인식하지 못한다. 데이터 처리는 테이블 단위로 이뤄지고, 데이터 저장은 파티션 별로 수행된다.

 

파티셔닝 장점

성능
데이터 접근 시 액세스 범위를 줄여 쿼리의 성능이 향상된다.
파티션 별로 데이터가 분산되어 저장되므로 디스크의 성능이 향상된다.
파티션 별로 백업 및 복구를 수행하기 때문에 속도가 빠르다.

가용성 *시스템이 정상적으로 사용 가능한 정도
파티셔닝으로 인해 논리적인 테이블을 물리적으로 데이터를 분산시키기 때문에 전체 데이터의 훼손 가능성이 줄어든다.
파티션 단위로 입출력을 분산시켜 업데이트 성능을 향상시킨다.

관리용 이성
큰 테이블을 작은 테이블들로 쪼개기 때문에 관리를 용이하게 한다.

 

파티셔닝 단점

테이블을 여러 파티션(테이블)으로 쪼개기 때문에 테이블 간의 Join 비용이 증가한다. 또한 테이블과 인덱스를 별도로 파티셔닝 할 수 없기 때문에 테이블과 인덱스를 같이 파티셔닝 해야 한다. 또한 용량이 작은 테이블에 파티셔닝을 수행하면 오히려 성능이 저하된다.

 

파티셔닝 종류

수평 파티셔닝

수평 파티셔닝이란 스키마를 복제한 후 분할 키를 기준으로 데이터를 나누는 것을 말한다. 즉, 하나의 테이블의 각 행을 다른 테이블로 분산시키는 것이다. 수평 파티셔닝은 성능, 가용성을 위해 분할 키를 기준으로 여러 테이블로 분산 저장한다. 일반적으로 말하는 파티셔닝은 수평 분할을 의미한다.

💡 샤딩
같은 테이블 스키마를 가진 데이터를 다수의 데이터베이스에 분산하여 저장하는 기법. 수평 파티셔닝과 같은 의미로 사용되곤 하지만 약간 다른데, 수평 파티셔닝은 같은 데이터베이스 내에서 분산 저장하는 것을 말하고 샤딩은 다른 데이터베이스에 분산 저장하는 것을 말한다. (같은 DB내에서 분산 저장 vs 다른 DB에 분산 저장)

 

수직 파티셔닝

수직 파티셔닝이란 테이블의 일부 열을 빼내는 형태로 분할하는 기법을 말한다. 스키마를 그대로 복제했던 수평 파티셔닝과 다르게 수직 파티셔닝은 스키마를 나누고 데이터가 따라 옮겨간다. 제3 정규형과 비슷한 개념이지만 수직 파티셔닝은 이미 정규화된 데이터를 분리하는 과정이다.

*제3 정규형
https://cladren123.tistory.com/123

https://jhnyang.tistory.com/360

 

파티셔닝의 분할 기준(분할 방법)

DBMS는 분할 키를 사용하여 분할을 진행하며, 분할에 대해 각종 분할 기법(기준)을 제공하고 있다.

범위 분할(Range Partitioning) BY RANGE
분할 키의 값이 지정한 범위 내에 있는지에 따라 구분하는 방식이다. 보통 날짜를 분할 키로 많이 사용하는데, 이때 대용량 테이블을 연도 별(월 별, 일 별)로 나누어 테이블을 분리할 수 있다. 아래의 예시에서는 ‘입학 연도’가 분할 키가 되고, 범위를 2018년 이전과 이후로 지정하였다. 따라서 파티션 A에는 2018년도 이전의 데이터들만 저장되고, 나머지 2018년도 이후의 데이터들은 파티션 B에 저장된다.

Range Partitioning

-- 테이블 생성(파티셔닝)-- 
CREATE TABLE students (
  id INT NOT NULL,
  name VARCHAR(45) NULL,
  department VARCHAR(45) NULL,
  entrance DATE NOT NULL
  )
PARTITION BY RANGE(YEAR(entrance)) (
    PARTITION A VALUES LESS THAN (2018),
    PARTITION B VALUES LESS THAN (2023)
);


-- 데이터 삽입--  
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (1, '가길동', '컴퓨터공학과', date('2017-3-2'));
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (2, '나길동', '컴퓨터공학과', date('2018-3-2'));
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (3, '다길동', '전자과', date('2014-3-2'));
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (4, '라길동', '건축학과', date('2014-3-2'));
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (5, '마길동', '아동학과', date('2020-3-2'));
INSERT INTO `studuent_db`.`students` (`id`, `name`, `department`, `entrance`) 
VALUES (6, '바길동', '화학과', date('2022-3-2'));

-- 파티션 별 데이터 조회 --
SELECT * FROM students PARTITION(A);
SELECT * FROM students PARTITION(B);

 

목록 분할 (List Partitioning) BY LIST IN
특정 칼럼의 값 목록을 기준으로 분할을 하는 방식이다. 범위 분할과 다르게 불연속적인 값 목록들을 각 파티션으로 지정할 수 있다. 아래의 학생 테이블을 예시로 들면 서울, 경기, 인천을 하나의 파티션으로 묶어 수도권으로 구분할 수 있고 대구, 울산, 부산을 하나의 파티션으로 묶어 경상권 테이블로 저장할 수 있다.

List Partitioning

-- 테이블 생성(파티셔닝)
CREATE TABLE `students` (
  `id` INT NOT NULL,
  `name` VARCHAR(45) NULL,
  `department` VARCHAR(45) NULL,
  `addr` INT NOT NULL  // 리스트 파티셔닝 분할키 -> int (5.5버전부터는 문자열 가능)
  )
PARTITION BY LIST (addr) (
    PARTITION A VALUES IN(0, 1, 2),
    PARTITION B VALUES IN(3, 4, 5)
);

-- 데이터 삽입
INSERT INTO students (id, name, department, addr) 
VALUES (1, '가길동', '컴퓨터공학과', 0),
		(2, '나길동', '컴퓨터공학과', 1),
		(3, '다길동', '전자과', 3),
		(4, '라길동', '건축학과', 1),
		(5, '마길동', '아동학과', 5),
		(6, '바길동', '화학과', 2);

-- 파티션별 조회
SELECT * FROM studuent_db.students PARTITION(A);
SELECT * FROM studuent_db.students PARTITION(B);

 

해시 분할 (Hash Partitioning) BY HASH
해시 함수의 결괏값에 따라 파티션을 분할한다. 예를 들어 3개의 파티션으로 분할하는 경우 해시 함수는 0에서 2까지 3개의 정수를 반환 값으로 한다. 범위 분할과 목록 분할에서는 분할 키로 사용되는 칼럼의 값을 명시적으로 지정했지만, 해시 분할 기법에서는 해시할 칼럼과 분할될 테이블의 수만 정하면 된다. 이는 특정 데이터가 어느 파티션에 있는지 알 수 없게 한다. 범위 분할이나 목록 분할로 고르게 데이터를 분할하기 어려운 경우에 사용된다.

Hash Partitioning

-- 테이블 생성(파티셔닝)
CREATE TABLE `students` (
  `id` INT NOT NULL,
  `name` VARCHAR(45) NULL,
  `department` VARCHAR(45) NULL,
  `addr` INT NOT NULL
  )
PARTITION BY HASH (addr)
PARTITIONS 2;

-- 데이터 삽입
INSERT INTO students (id, name, department, addr) 
VALUES (1, '가길동', '컴퓨터공학과', 0),
		(2, '나길동', '컴퓨터공학과', 1),
		(3, '다길동', '전자과', 3),
		(4, '라길동', '건축학과', 1),
		(5, '마길동', '아동학과', 5),
		(6, '바길동', '화학과', 2);

-- 파티션별 조회
SELECT * FROM studuent_db.students PARTITION(p0);
SELECT * FROM studuent_db.students PARTITION(p1);

 

합성 분할(Composite Partitioning)
각 파티션의 서브 파티션을 구성하는 것으로 파티셔닝이 한차례 더 진행된 경우를 말한다. 예를 들어 범위 분할을 했지만 여전히 파티션의 크기가 큰 경우 해시 분할로 고르게 다시 분할하는 기법을 사용할 수 있다.