[Ceph Storage] Pool의 개념과 활용

Ceph는 분산형 스토리지 시스템으로서, 데이터를 여러 대의 노드에 분산시켜 안정적인 데이터 저장 및 처리를 가능케 합니다. Ceph의 데이터 저장 단위는 "Object"로, Object는 Unique Identifier(Object ID), Data, Metadata 등의 정보로 구성됩니다. 이러한 Object는 Ceph에서 "Pool"이라는 단위로 관리되며, 이번 글에서는 Ceph의 Pool에 대해 구체적으로 설명하도록 하겠습니다.

 

Pool 개념

Ceph의 Pool은 데이터를 저장하는 노드의 집합으로 생각할 수 있습니다. Pool은 Object들의 묶음으로, 각각의 Pool은 각기 다른 데이터 유형(데이터의 특성, 액세스 패턴 등)을 저장하도록 구성할 수 있습니다. Pool은 여러 Object들의 메타데이터를 저장하는데, 이를 통해 Object를 찾을 수 있고, Object의 데이터 위치를 파악할 수 있습니다.

예를 들어, 사용자의 파일을 저장하는 "data" Pool과, 시스템 로그를 저장하는 "log" Pool을 만들 수 있습니다. 이렇게 Pool을 나눔으로써, 데이터의 특성과 액세스 패턴에 따라 데이터의 처리와 저장이 용이해집니다.

Pool 생성 및 관리

Pool은 Ceph에서 생성되고, 삭제되며, 특정 설정을 통해 관리됩니다. Pool을 생성하기 위해서는 몇 가지 필수적인 설정을 수행해야 합니다. 먼저, Pool의 이름과 데이터의 보존 기간, 압축 여부 등을 정의해야 합니다. 또한, Pool에 대한 쓰기 및 읽기 권한을 설정해야 합니다.

Pool의 생성 예시는 다음과 같습니다. 이 예시에서는 "data"라는 이름의 Pool을 생성하며, 데이터의 보존 기간을 30일로 설정하였습니다.

# ceph osd pool create data 128 128 replicated
# ceph osd pool set data pg_num 128
# ceph osd pool set data pgp_num 128
# ceph osd pool set data size 2
# ceph osd pool set data min_size 1
# ceph osd pool set data crush_rule replicated_ruleset
# ceph osd pool set data hit_set_type bloom
# ceph osd pool set data hit_set_count 1
# ceph osd pool set data hit_set_period 3600
# ceph osd pool set data target_max_bytes 10737418240
# ceph osd pool set data target_max_objects 100000
# ceph osd pool set data erasure_code_profile ""
# ceph osd pool set data cache_target_dirty_ratio .4
# ceph osd pool set data cache_target_dirty_high_ratio .6
# ceph osd pool set data cache_target_full_ratio .8
# ceph osd pool set data cache_min_flush_age 300

위 예시에서는 "replicated" 방식으로 Pool을 구성하였으며, 각 설정 항목마다의 의미는 다음과 같습니다.

• pg_num: Pool 내에 Placement Group의 수를 정의합니다. Placement Group은 OSD(Object Storage Device)에 대한 데이터의 복제 단위로, OSD에 저장된 데이터의 복제본 수와 Placement Group의 수에 따라 데이터의 안정성을 유지합니다. 여기서는 128개의 Placement Group을 생성하였습니다.
• pgp_num: Primary Placement Group의 수를 정의합니다. Primary Placement Group은 Placement Group 중에서 데이터를 저장하는 Primary OSD를 지정하는데 사용됩니다. Primary OSD는 데이터의 작성 및 삭제 등의 작업을 수행합니다. 이 예시에서는 pgp_num을 pg_num과 동일하게 128개로 설정하였습니다.
• size: 데이터의 복제본 수를 정의합니다. 이 예시에서는 2개의 복제본을 생성하도록 설정하였습니다.
• min_size: 데이터의 최소 복제본 수를 정의합니다. 복제본의 수가 min_size 이상이 아니면 데이터는 사용 불가능합니다. 이 예시에서는 1로 설정하였습니다.
• crush_rule: 데이터의 위치를 결정하는 Crush Map Rule을 설정합니다. Crush Map은 OSD에 대한 데이터의 배치 방법을 정의하며, Rule을 통해 OSD의 위치와 상태에 따라 데이터의 복제 및 배치 방법을 지정합니다.
• hit_set_type, hit_set_count, hit_set_period: Pool 내에서 Cache를 사용하는 경우, Cache Hit 정보를 수집하는데 사용됩니다.
• target_max_bytes, target_max_objects: Pool 내의 데이터 용량 및 객체 수 제한을 설정합니다.
• erasure_code_profile: Pool 내의 데이터를 Erasure Coding 방식으로 구성하는 경우, 사용되는 프로필을 설정합니다.
• cache_target_dirty_ratio, cache_target_dirty_high_ratio, cache_target_full_ratio, cache_min_flush_age: Pool 내에서 Cache를 사용하는 경우, Cache 관리를 위한 설정입니다.

Pool은 생성 후에도 관리할 수 있습니다. Pool 내의 Object를 분석하거나, Pool의 구성 정보를 수정하는 등의 작업이 가능합니다.

Pool의 활용

Pool은 Ceph의 데이터 저장 단위로서, 데이터를 안정적이고 신속하게 저장하고 처리할 수 있도록 도와줍니다. Pool은 데이터의 특성에 따라 여러 개의 Pool을 생성할 수 있으며, Pool의 구성 정보를 변경함으로써 데이터의 처리 및 저장 방식을 최적화할 수 있습니다.

또한, Pool은 데이터의 백업, 복제 등의 작업을 수행하는데 사용될 수 있습니다. Pool 간의 데이터 이동을 통해 데이터의 안정성을 확보할 수 있으며, Pool을 이용한 데이터의 분석 및 검색 기능을 제공할 수도 있습니다.

 

Ceph의 Pool은 데이터의 안정성과 신속한 처리를 위해 중요한 역할을 수행합니다. Pool의 구성 정보는 데이터의 특성에 따라 유동적으로 변경될 수 있으며, 데이터의 백업, 복제, 분석 등의 작업을 수행하는데 사용될 수 있습니다.

 

Pool의 구성 정보를 설정할 때는 데이터의 안정성, 성능, 용량 등의 측면을 고려하여 적절한 설정을 선택해야 합니다. 데이터의 복제 및 배치 방법은 Crush Map Rule을 통해 정의할 수 있으며, Erasure Coding 방식으로 Pool을 구성하는 경우에는 Erasure Coding 프로필을 설정해야 합니다.

 

Ceph는 대규모 데이터 처리 시스템에서 많이 사용되는 기술로서, Ceph의 Pool은 데이터의 안정성 및 처리 속도를 보장하는데 큰 역할을 합니다. Pool을 적절하게 설정하고 관리함으로써 데이터 처리 시스템의 안정성 및 성능을 향상시킬 수 있습니다.