Proxmox VE ๊ฐ์
>V. ๊ณ ๊ธ ๊ธฐ๋ฅ ๋ฐ CLI ํ์ฉ
๐ป Proxmox VE ๊ฐ์ข V-2. Ceph OSD, MON, MDS ๊ตฌ์ฑ
์๋ฃ ๊ธฐ๋ณธ์ ๋ณด
์ฃผ์ ํ๋ก๊ทธ๋จ ์คํ
- ํ์ : 10.0
- ๋ผ์ด์ ์ค: free
ํผ๋๋ฐฑ ๋ฐ ๋ค์ด๋ก๋
- ์ฌ์ฉ์ ํ์ : 10.0
- ์กฐํ: 68
์ ์กฐ์ฌ ๋ฐ ๋ฑ๋ก ์ ๋ณด
- ์ ์์ฌ: LUZENSOFT
- ๋ฑ๋ก์ผ: 2026-02-08 07:20:51
- ์ค๋ช
๐ง ๋ถ์ฐ ์คํ ๋ฆฌ์ง์ ์ฌ์ฅ, Ceph ์ปดํฌ๋ํธ ์๋ฒฝ ์ดํดํ๊ธฐ
์ง๋ ์๊ฐ์๋ Proxmox VE์ Ceph๊ฐ ๋ง๋ ๊ตฌํํ๋ HCI์ ๊ธฐ์ด๋ฅผ ์ดํด๋ณด์์ต๋๋ค ๋จ์ํ "์ฐ๊ฒฐ๋๋ค"๋ ๊ฐ๋ ์ ๋์ด, Ceph๊ฐ ๋ด๋ถ์ ์ผ๋ก ์ด๋ป๊ฒ ๋ฐ์ดํฐ๋ฅผ ์ชผ๊ฐ๊ณ ๊ด๋ฆฌํ๋ฉฐ ์์ ์ฑ์ ์ ์งํ๋์ง ์๊ธฐ ์ํด์๋ ํต์ฌ ์ปดํฌ๋ํธ์ธ OSD, MON, ๊ทธ๋ฆฌ๊ณ MDS์ ๋ํ ์ฌ๋ ์๋ ์ดํด๊ฐ ํ์์ ์ ๋๋ค ์ด๋ค์ ๋ง์น ์ ๊ธฐ์ฒด์ฒ๋ผ ์๋ก ์ ๋ณด๋ฅผ ์ฃผ๊ณ ๋ฐ์ผ๋ฉฐ ํ๋์ ๊ฑฐ๋ํ ์คํ ๋ฆฌ์ง ํ์ ํ์ฑํฉ๋๋ค ์ด๋ฒ #๊ฐ์ข์์๋ ๊ฐ ์ปดํฌ๋ํธ์ ์ญํ ๊ณผ ์ต์ ์ ๊ตฌ์ฑ ํ๊ฒฝ์ ๊ตฌ์ถํ๋ ์ค์ ๊ฐ์ด๋๋ฅผ ์ ํด๋๋ฆฌ๊ฒ ์ต๋๋ค
1. Monitor (MON): ํด๋ฌ์คํฐ์ ์ง๋ ์ ์์
Ceph ํด๋ฌ์คํฐ๊ฐ ์์๋ ๋ ๊ฐ์ฅ ๋จผ์ ์๋ํ๊ณ , ๋ง์ง๋ง๊น์ง ์ํ๋ฅผ ๊ฐ์ํ๋ ๊ฒ์ด ๋ฐ๋ก Monitor์ ๋๋ค
A. ํด๋ฌ์คํฐ ๋งต ๊ด๋ฆฌ์ ํฉ์ ๋๋ฌ
MON์ ์ ์ฒด ํด๋ฌ์คํฐ์ ์ํ ์ ๋ณด๊ฐ ๋ด๊ธด 'Cluster Map'์ ์ ์ง ๊ด๋ฆฌํ๋ #์์คํ ์ ๋์ ๋๋ค ๋ ธ๋๊ฐ ์ถ๊ฐ๋๊ฑฐ๋ ์ฅ์ ๊ฐ ๋ฐ์ํ์ ๋ ์ด ์ง๋๋ฅผ ์ ๋ฐ์ดํธํ์ฌ ๋ค๋ฅธ ์ปดํฌ๋ํธ๋ค์ด ๋ฐ์ดํฐ๋ฅผ ์ด๋๋ก ๋ณด๋ผ์ง ๊ฒฐ์ ํ๊ฒ ํฉ๋๋ค
B. ์ฟผ๋ผ(Quorum) ๊ตฌ์ฑ์ ์ค์์ฑ
๋ฐ์ดํฐ์ ์ผ๊ด์ฑ์ ์ํด MON์ ๋ฐ๋์ ํ์(3, 5๊ฐ ๋ฑ)๋ก ๊ตฌ์ฑํ์ฌ ๊ณผ๋ฐ์ ์ด์์ ๋์๋ฅผ ์ป๋ '์ฟผ๋ผ' ๋ฐฉ์์ ์ฌ์ฉํฉ๋๋ค ์ด๋ ๋คํธ์ํฌ ๋ถํ ์ ๋ฐ์ํ ์ ์๋ ๋ฐ์ดํฐ ์ค์ผ์ ๋ฐฉ์งํ๋ ํต์ฌ #๊ธฐ๋ฅ์ ๋๋ค
C. ์์ ์๋ชจ์ ๋ฐฐ์น ์ ๋ต
MON์ CPU๋ ๋์คํฌ I/O๋ฅผ ๋ง์ด ์ฌ์ฉํ์ง๋ ์์ง๋ง, ๋งค์ฐ ๋ฎ์ ์ง์ฐ ์๊ฐ(Latency)์ ์๊ตฌํฉ๋๋ค ๋ฐ๋ผ์ ํด๋ฌ์คํฐ ์ ๋ฐ์ ๊ฑธ์ณ ๋ถ์ฐ ๋ฐฐ์นํ์ฌ ํ๋์จ์ด ์ฅ์ ๋ก๋ถํฐ #๋ฐ์ดํฐ์ ๊ฐ์ฉ์ฑ์ ์ง์ผ์ผ ํฉ๋๋ค
2. OSD (Object Storage Daemon): ์ค์ ์ ์ฅ์์ ์ฃผ์ธ
OSD๋ Ceph ํด๋ฌ์คํฐ์์ ์ค์ ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๊ณ ๋ณต์ ํ๋ฉฐ ์ฌ๋ถ๋ฐฐํ๋ ์ค๋ฌด ์ฑ ์์์ ๋๋ค
A. ๋์คํฌ ๋จ์์ ๊ด๋ฆฌ
์ผ๋ฐ์ ์ผ๋ก ํ๋์ ๋ฌผ๋ฆฌ์ ๋์คํฌ(HDD/SSD/NVMe)๊ฐ ํ๋์ OSD๊ฐ ๋ฉ๋๋ค ๊ฐ OSD๋ ์ค์ค๋ก ๋ค๋ฅธ OSD์ ํต์ ํ๋ฉฐ ๋ฐ์ดํฐ ๋ณต์ ๋ณธ์ ์์ฑํ๋ฏ๋ก ์ค์ ์๋ฒ์ ๋ถํ๋ฅผ ํ๊ธฐ์ ์ผ๋ก ์ค์ด๋ #์ ๋ต์ด ๊ฐ๋ฅํด์ง๋๋ค
B. ์ํ ๋ณด๊ณ ์ ๋ณต๊ตฌ ์์
๋ง์ฝ ํน์ ๋์คํฌ์ ๋ฌธ์ ๊ฐ ์๊ธฐ๋ฉด ํด๋น OSD๋ ์ด๋ฅผ MON์๊ฒ ๋ณด๊ณ ํ๊ณ , ํด๋ฌ์คํฐ๋ ์ฆ์ ๋ค๋ฅธ OSD๋ค์ ์ด์ฉํด ๋ฐ์ดํฐ ๋ณต๊ตฌ(Backfilling)๋ฅผ ์์ํฉ๋๋ค ์ด ๊ณผ์ ์์ ์์คํ ์ #์์ ์ฑ์ด ์ ์ง๋๋ฉฐ ์ฌ์ฉ์๋ ์ฅ์ ๋ฅผ ๋๋ผ์ง ๋ชปํ๊ฒ ๋ฉ๋๋ค
C. ์ฐ๊ธฐ ์ฑ๋ฅ ์ต์ ํ (BlueStore)
Proxmox VE ํ๊ฒฝ์์๋ ์ต์ ์ ์ฅ ์์ง์ธ BlueStore๋ฅผ ์ฌ์ฉํ์ฌ ๋ฉํ๋ฐ์ดํฐ์ ์ค์ ๋ฐ์ดํฐ๋ฅผ ํจ์จ์ ์ผ๋ก ๋ถ๋ฆฌ ์ ์ฅํฉ๋๋ค ์ด๋ฅผ ํตํด SSD๋ฅผ ํ์ฉํ I/O #์ต์ ํ๊ฐ ๊ทน๋ํ๋ฉ๋๋ค
3. MDS (Metadata Server): ํ์ผ ์์คํ ์ ๊ฐ์ด๋
Ceph๋ฅผ ๋จ์ํ ๋ธ๋ก ์คํ ๋ฆฌ์ง(RBD)๋ก๋ง ์ฐ๋ ๊ฒ์ด ์๋๋ผ, ๊ณต์ ํ์ผ ์์คํ ์ธ CephFS๋ก ํ์ฅํ ๋ MDS๊ฐ ํ์ํฉ๋๋ค
A. ๊ณ์ธต์ ๊ตฌ์กฐ์ ๊ด๋ฆฌ
Ceph๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๊ฐ์ฒด(Object) ๊ธฐ๋ฐ ์คํ ๋ฆฌ์ง์ด์ง๋ง, ์ฌ์ฉ์๋ ํด๋์ ํ์ผ ๊ตฌ์กฐ๋ฅผ ์ํฉ๋๋ค MDS๋ ์ด๋ฌํ ํ์ผ ์์คํ ์ ๋ฉํ๋ฐ์ดํฐ(๋๋ ํฐ๋ฆฌ ๊ตฌ์กฐ, ๊ถํ ๋ฑ)๋ฅผ ๋ณ๋๋ก ๊ด๋ฆฌํ์ฌ ๋น ๋ฅธ ๊ฒ์๊ณผ ์ ๊ทผ #์ ์ฑ ์ ์๋ฆฝํฉ๋๋ค
B. CephFS ํ์ฑํ๋ฅผ ์ํ ํ์ ์กฐ๊ฑด
์ฌ๋ฌ ๋์ VM์ด ๋์์ ๊ฐ์ ์ ์ฅ์๋ฅผ ์ฝ๊ณ ์จ์ผ ํ๋ ๊ณต์ ํ๊ฒฝ์์๋ MDS ๊ตฌ์ฑ์ด ํ์์ ๋๋ค Proxmox ํด๋ฌ์คํฐ ๋ด์์ ๊ณ ๊ฐ์ฉ์ฑ์ ์ํด ์ต์ 2๊ฐ ์ด์์ MDS๋ฅผ ํ์ฑ/๋๊ธฐ(Active/Standby) ํํ๋ก ๊ตฌ์ฑํ๋ ๊ฒ์ด #์ธํ๋ผ ์ค๊ณ์ ๊ธฐ๋ณธ์ ๋๋ค
C. ๋ฉ๋ชจ๋ฆฌ ์ง์ฝ์ ํน์ฑ
MDS๋ ๋ชจ๋ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๋ฉ๋ชจ๋ฆฌ์ ์บ์ฑํ์ฌ ์ฑ๋ฅ์ ๋์ด๊ธฐ ๋๋ฌธ์, ์ถฉ๋ถํ RAM ์์์ ํ ๋นํ๋ ๊ฒ์ด ์ ์ฒด #๋คํธ์ํฌ ๊ธฐ๋ฐ ํ์ผ ์์คํ ์ ์ฑ๋ฅ์ ์ข์ฐํฉ๋๋ค
4. ์ค์ ๊ตฌ์ฑ ๊ฐ์ด๋ ๋ฐ ์ ์ง๋ณด์ ํ
์ปดํฌ๋ํธ๋ค์ ์กฐํ๋กญ๊ฒ ๋ฐฐ์นํ์ฌ ์ฑ๋ฅ์ ๋์ด์ฌ๋ฆฌ๋ ๋ฐฉ๋ฒ์ ๋๋ค
A. ๋ฐฐ์น ๊ทธ๋ฃน(PG)์ ์๋ ์กฐ์
OSD ์์ ๋ฐ๋ผ ์ ์ ํ PG(Placement Group) ์๋ฅผ ์ค์ ํด์ผ ๋ฐ์ดํฐ๊ฐ ํธ์ค๋์ง ์์ต๋๋ค ์๋ชป๋ ์ค์ ์ ํน์ ๋์คํฌ์๋ง ๋ถํ๋ฅผ ์ฃผ์ด ์์คํ #๋ณด์ ๋ฐ ๊ฐ์ฉ์ฑ์ ์ํ์ด ๋ ์ ์์ผ๋ฏ๋ก ์ธ์ฌํ ๊ณ์ฐ์ด ํ์ํฉ๋๋ค
B. ํ๋์จ์ด ํผํฉ ๊ตฌ์ฑ ์ ์ฃผ์์ฌํญ
์๋๊ฐ ๋๋ฆฐ HDD์ ๋น ๋ฅธ SSD๋ฅผ ์์ด ์ธ ๋๋ Ceph์ 'Device Class' ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ฌ ์ฑ๋ฅ๋ณ๋ก #์์ ํ์ ๋ถ๋ฆฌํด์ผ ํฉ๋๋ค ์ด๋ ์ ๋น์ฉ ๊ณ ํจ์จ ์ธํ๋ผ๋ฅผ ๊ตฌ์ถํ๋ ์๋ฆฌํ ๋ฐฉ๋ฒ์ ๋๋ค
C. ์ฅ์ ๋ ธ๋ ๊ต์ฒด ๋ฐ ํ์ฅ ์๋๋ฆฌ์ค
์๋ก์ด ๋ ธ๋๋ฅผ ์ถ๊ฐํ ๋๋ MON์ ๋จผ์ ์ถ๊ฐํ์ฌ ํด๋ฌ์คํฐ ์ํ๋ฅผ ์์ ํํ ๋ค, OSD๋ฅผ ์์ฐจ์ ์ผ๋ก ์ถ๊ฐํ์ฌ ๋ฐ์ดํฐ ์ฌ๊ท ํ(Rebalancing)์ ๋ฐ๋ฅธ ๋ถํ์ #๋์ํด์ผ ํฉ๋๋ค
Ceph์ OSD, MON, MDS๋ ๊ฐ์์ ์์ญ์์ ์ต์ ์ ๋คํ๋ฉฐ ๊ฑฐ๋ํ ๋ถ์ฐ ์ธํ๋ผ๋ฅผ ์์ฑํฉ๋๋ค Proxmox VE์ GUI๋ฅผ ํตํ๋ฉด ์ด ๋ณต์กํ ์ปดํฌ๋ํธ๋ค์ ๋จ ๋ช ๋ฒ์ ํด๋ฆญ๋ง์ผ๋ก ์์ฑํ๊ณ ๊ด๋ฆฌํ ์ ์๋ค๋ ์ ์ด ๊ฐ์ฅ ํฐ ๋งค๋ ฅ์ ๋๋ค ๋จ์ํ ์ค์ ์ ์๋ฃํ๋ ๊ฒ์ ๊ทธ์น์ง ๋ง๊ณ , ๊ฐ ์ปดํฌ๋ํธ๊ฐ ๋ด๋ฑ๋ ์ํ ๋ฉ์์ง์ ๊ท๋ฅผ ๊ธฐ์ธ์ฌ ๋ณด์ญ์์ค ๋ฐ์ดํฐ๊ฐ ์ด๋ป๊ฒ ์ด์ ์์ง์ด๋์ง ์ดํดํ๋ ์๊ฐ, ์ฌ๋ฌ๋ถ์ ํด๋ฌ์คํฐ๋ ๊ทธ ์ด๋ค ๊ณ ๊ฐ์ ์ฅ๋น๋ณด๋ค ๊ฐ๋ ฅํ ์ ๋ขฐ์ฑ์ ์ ๊ณตํ ๊ฒ์ ๋๋ค ๋ค์ ์๊ฐ์๋ Ceph ์คํ ๋ฆฌ์ง์ ์ค์ ํ์ฉ๋๋ฅผ ๋์ฌ์ฃผ๋ 'RBD์ CephFS ํ ์์ฑ ๋ฐ ํ์ฉ'์ ๋ํด ์์๋ณด๊ฒ ์ต๋๋ค
๊ฐ์ข, ์์คํ , ๊ธฐ๋ฅ, ๋ฐ์ดํฐ, ์ ๋ต, ์์ ์ฑ, ์ต์ ํ, ์ ์ฑ , ์ธํ๋ผ, ๋คํธ์ํฌ, ๋ณด์, ์์, ๋์
์ต์ ์ ์ฑ๋ฅ, ์ต๊ณ ์ ๋น์ฉ ํจ์จ์ฑ! ๋น์ ์ ํ๋ก์ ํธ์ ๋ฑ ๋ง๋ Proxmox VE ๊ธฐ๋ฐ ํธ์คํ ์ ๊ฒฝํํด ๋ณด์ธ์. ๋ฃจ์ ํธ์คํ ๋ฐ๋ก๊ฐ๊ธฐ