시리즈 소개
이 시리즈는 물리 노드 3개에 Proxmox 하이퍼바이저를 사용하여 CEPH 클러스터를 구축하는 전 과정을 다룹니다. 첫 번째 글에서는 하드웨어 세팅부터 Proxmox 설치, HDD 패스스루를 위한 기본 설정까지의 과정을 설명합니다.
하드웨어 스펙
스토리지 클러스터 구축을 위해 아래 스펙의 서버 3대를 준비합니다.
| 항목 | 스펙 | 개수 | 비고 |
|---|---|---|---|
| Chassis | ASUS Server System RS720-E11-RS12 | 1 | |
| CPU | Intel 5th Gen Xeon 4509Y (8C/16T) 2.6GHz | 2 | |
| MEM | Samsung 32GB DDR5 REG ECC PC5 4800 | 4 | 128GB |
| NVME | SK Hynix P41 M.2 NVME 500GB | 2 | RAID 1 |
| HDD | WD UltraStar SATA (3.5", 24TB, 7200, 512M) | 12 | 288TB |
| LAN | 10G SFP×2 / 1G RJ45×2 / 1G RJ45-MGMT×1 | 1 |
서버당 12개의 24TB HDD를 탑재하여 총 288TB의 Raw 용량을 확보합니다. OS 영역은 500GB NVMe 2개를 RAID 1으로 구성하여 안정성을 높입니다.
하드웨어 세팅
각 서버는 IDC에 상면하고 네트워크를 구성합니다.
IDC 상면
네트워크 구성도
10G SFP 포트는 스토리지 트래픽용으로, 1G RJ45 포트는 관리 및 일반 트래픽용으로 분리하여 구성합니다.
Proxmox 세팅
기본 개념
Proxmox를 도입하기 전에 알아야 할 핵심 개념을 정리합니다.
- 하이퍼바이저(Hypervisor): 서버의 리소스를 가상화하고 격리하여 가용성을 높이는 기술입니다.
- Proxmox: 오픈소스 하이퍼바이저로, KVM과 LXC 기반의 가상화를 지원합니다.
- 이중화(Duplexing): 동일한 기능을 수행하는 시스템을 Active-Active 또는 Active-Passive 형태로 운용하여 다운타임을 최소화합니다.
- 고가용성(High Availability): 이중화, RAID 등 여러 기술을 통해 시스템이 오랜 시간 동안 정상 운영되는 상태를 유지합니다.
도입 이유
물리 서버 3대를 구성하여 기본적인 이중화와 고가용성을 확보합니다. 하지만 OS 레벨에서 발생하는 이슈에 대응할 때마다 서버를 물리적으로 다운시켜야 한다면, 장기적으로 서버 수명에 좋지 않습니다.
Proxmox를 도입하여 가상화 계층을 추가하고, 서버당 VM 2개씩 배치하면 긴급 상황이나 유지보수 시에도 가용성을 유지할 수 있습니다.
VM 구성도
Proxmox 설치 및 기본 세팅
1. ISO 다운로드 및 설치
Proxmox 공식 홈페이지에서 Proxmox VE 9.0 ISO를 다운로드합니다. 설치 대상 노드의 디스크에 설치를 진행합니다.
2. 하드웨어 테스트
설치가 완료되면 Proxmox 부팅 시 선택 가능한 메모리 테스트를 실행합니다. 128GB 기준 약 5시간이 소요됩니다. 이 과정에서 메모리 불량 여부를 사전에 확인할 수 있습니다.
3. 클러스터 구성
각 노드를 하나의 관리 화면에서 제어하기 위해 Proxmox 클러스터를 구성합니다.
클러스터 구성에 대한 자세한 내용은 Proxmox 클러스터 구성 가이드를 참고합니다.
4. ISO 업로드
클러스터 구성이 완료되면 각 노드에 CEPH VM용 OS ISO 파일을 업로드합니다. CEPH 최신 버전이 Ubuntu 24를 지원하지 않으므로 Ubuntu 22.04를 사용합니다.
5. VM 생성
아래 스펙으로 VM을 생성합니다. 이 시점에서는 VM을 부팅하지 않습니다. HDD 패스스루 설정을 먼저 완료해야 합니다.
| 항목 | 스펙 |
|---|---|
| CPU | 14 Core |
| Memory | 52GB |
| Boot Disk | 120GB |
HDD 패스스루 설정
VM에서 물리 HDD를 직접 사용하기 위해 QEMU 패스스루를 설정합니다.
사전 확인 사항
- IOMMU 지원 확인: CPU가 IOMMU를 지원하는지 확인합니다.
- BIOS 설정: BIOS에서 IOMMU(VT-d)를 활성화합니다.
GRUB 설정
Proxmox 노드 쉘에서 /etc/default/grub 파일을 편집하여 아래 내용을 추가합니다.
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
변경 사항을 적용합니다.
update-grub
VFIO 모듈 로드
/etc/modules 파일에 아래 내용을 추가하고 재부팅합니다.
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
HDD 추가
재부팅 후 HDD 패스스루 설정 가이드 영상을 참고하여 VM에 HDD를 추가합니다.
마무리
이번 글에서는 CEPH 클러스터 구축을 위한 하드웨어 준비와 Proxmox 기본 설정을 완료합니다. 다음 글에서는 CEPH 설치와 클러스터 초기화 과정을 다룹니다.