CentOS7.2安装部署Ceph及添加PG-创新互联-成都快上网建站

CentOS7.2安装部署Ceph及添加PG-创新互联

前期准备:
准备三台CentOS 7.2系统,每台机器三块硬盘,关闭selinux,关闭iptables,做好时间同步,做好本地域名解析,并对每台机器做互信。
192.168.10.101 ceph-node1
192.168.10.22 ceph-node2
192.168.10.33 ceph-node3
每台机器上有三个osd,整个集群共九个osd。

目前创新互联公司已为上1000家的企业提供了网站建设、域名、网站空间网站托管运营、企业网站设计、承留网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

在每台机器上 /etc/yum.repos.d/目录下创建 ceph.repo然后写入以下内容

[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1


在ceph-node1创建文件夹,用ceph-deploy安装时,会生成很多文件。
mkidr /home/ceph && cd /home/ceph

安装ceph-depoly
yum install -y ceph-deploy

创建ceph集群
ceph-depoly new ceph-node1 ceph-node2 ceph-node3

ceph初始默认三副本,可以更改副本数。在生成的ceph.conf中加入(写入[global] 段下)
osd pool default size = 2

如果有多个网卡,可以把 public network 写入 ceph 配置文件的 [global] 段下
public network = 192.168.10.0/24

安装ceph
ceph-deploy install ceph-node1 ceph-node2 ceph-node3

向ceph集群上报osd
ceph-deploy osd prepare ceph-node1:/dev/sdb ceph-node1:/dev/sdc ceph-node1:/dev/sdd ceph-node2:/dev/sdb ceph-node2:/dev/sdc ceph-node2:/dev/sdd ceph-node3:/dev/sdb ceph-node3:/dev/sdc ceph-node3:/dev/sdd

激活集群中的osd
ceph-deploy osd activate ceph-node1:/dev/sdb ceph-node1:/dev/sdc ceph-node1:/dev/sdd ceph-node2:/dev/sdb ceph-node2:/dev/sdc ceph-node2:/dev/sdd ceph-node3:/dev/sdb ceph-node3:/dev/sdc ceph-node3:/dev/sdd

ceph -s 查看健康状况 创建完成!!!


[root@ceph-node1 local]# ceph -s
cluster dc045fd8-0851-4052-8791-25cb6e5b3e8e
health HEALTH_WARN
too few PGs per OSD (21 < min 30)
monmap e1: 3 mons at {ceph-node1=192.168.10.101:6789/0,ceph-node2=192.168.10.22:6789/0,ceph-node3=192.168.10.33:6789/0}
election epoch 8, quorum 0,1,2 ceph-node2,ceph-node3,ceph-node1
osdmap e44: 9 osds: 9 up, 9 in
flags sortbitwise,require_jewel_osds
pgmap v113: 64 pgs, 1 pools, 0 bytes data, 0 objects
971 MB used, 45009 MB / 45980 MB avail
64 active+clean

由于改集群是新建集群,只有一个池,由于pg过少导致每个osd上的pg未达到配置文件的上线所以存在告警

查看某个池的pg个数
ceph osd pool get rbd pg_num
pg_num: 64

pgs为64,因为是3副本的配置,所以当有9个osd的时候,每个osd上均分了64/9 *3=21个pgs,也就是出现了如上的告警 小于最小配置30个

修改rbd池的pg个数
ceph osd pool set rbd pg_num 256
set pool 0 pg_num to 256

gpg的个数要与pg个数一致 修改rbd池的pgp个数
sudo ceph osd pool set rbd pgp_num 256
set pool 0 pgp_num to 256
修改完成等待集群同步,故障解决。

注意:生产环境不可以批量添加pg,pgp。要没添加一个,等待同步完成再添加下一个pg。

每个池添加pg个数根据如下公式计算:

{(每个OSD的目标PG)x(OSD#)x(%数据)}/(尺寸)
1.每个OSD的目标PG约100个
2.如果上述计算的值小于(OSD#)/(大小)的值,则将该值更新为(OSD#)/(大小)的值。这是为了通过为每个池的每个OSD分配至少一个主要或辅助PG来确保均匀的负载/数据分发。
3.然后将输出值四舍五入到最接近的2的幂。
提示:最接近的2的幂提供了CRUSH算法效率的微小改进。
4.如果最接近的2的幂次方比原始值低25%以上,则使用下一个更高的2的幂。

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页标题:CentOS7.2安装部署Ceph及添加PG-创新互联
网页链接:http://kswjz.com/article/csdghj.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流