扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。
创新互联服务项目包括柳北网站建设、柳北网站制作、柳北网页制作以及柳北网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，柳北网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到柳北省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。
垂直扩展：增加更多的CPU和存储资源来扩展容量。
水平扩展：将数据集分布在多个服务器上。水平扩展即分片。
分片为应对高吞吐量与大数据量提供了方法。使用分片减少了每个分片需要处理的请求数，因此，通过水平扩展，集群可以提高自己的存储容量和吞吐量。举例来说，当插入一条数据时，应用只需要访问存储这条数据的分片,使用分片减少了每个分片存储的数据。
（1）mongos ：数据路由，和客户端打交道的模块。mongos本身没有任何数据，他也不知道该怎么处理这数据，去找config server
（2）config server：所有存、取数据的方式，所有shard节点的信息，分片功能的一些配置信息。可以理解为真实数据的元数据。
（3）shard：真正的数据存储位置，以chunk为单位存数据。
架构图
系统版本：CentOS Linux release 7.5.1804 (Core)
防火墙SE关闭
mongodb版本：mongodb-linux-x86_64-3.2.1.tgz
采用Mongodb多实例进行
解压移动mongodb安装包
tar zxvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/
cd /opt/
mv mongodb-linux-x86_64-3.2.1/ /usr/local/mongodb
建立软连接方便管理
cd /usr/local/mongodb/
cd bin/
ln -s /usr/local/mongodb/bin/mongo /usr/bin/mongo
ln -s /usr/local/mongodb/bin/mongod /usr/bin/mongod
mkdir -p /data/mongodb/mongodb{1,2,3,4}
cd /data/mongodb/
mkdir logs
cd logs/
touch mongodb{1,2,3,4}.log
chmod 777 *.log
优化进程以及打开文件数量
ulimit -u 25000
ulimit -n 25000
编辑配置文件（修改加粗项目）
cd /usr/local/mongodb/bin/
vim mongodb1.confport=37017
dbpath=/data/mongodb/mongodb1
logpath=/data/mongodb/logs/mongodb1.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
configsvr=true //指定为配置服务器
内存分摊：某节点内存不足时，从其他节点分配内存
sysctl -w vm.zone_reclaim_mode=0
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
复制修改2，3的配置文件（修改粗体处）
cp -p mongodb1.conf mongodb2.conf
vim mongodb2.conf
port=47017
dbpath=/data/mongodb/mongodb2
logpath=/data/mongodb/logs/mongodb2.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
cp -p mongodb2.conf mongodb3.conf
vim mongodb3.conf
port=47018
dbpath=/data/mongodb/mongodb3
logpath=/data/mongodb/logs/mongodb3.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
启动服务
mongod -f mongodb1.conf
mongod -f mongodb2.conf
mongod -f mongodb3.conf
开启路由模式
./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.137.13:37017 --chunkSize 1
到此复制集配置完成
登陆
[root@cent bin]# mongo
MongoDB shell version: 3.2.1
connecting to: test
Welcome to the MongoDB shell.
…
mongos> //这里显示用mongs登陆成功（配置服务器）
查看是否又分片服务器
mongos> sh.status()
]--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5b9e394051c099916cc7b236")
}
shards: //这里没有东西，那就是还没有创建分片服务器
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
No recent migrations
databases:
添加分片服务器
mongos> sh.addShard("192.168.137.13:47017") //添加47017
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("192.168.137.13:47018") //添加47018
{ "shardAdded" : "shard0001", "ok" : 1 }
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5b9e394051c099916cc7b236")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.137.13:47017" } //看到添加成功了
{ "_id" : "shard0001", "host" : "192.168.137.13:47018" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
No recent migrations
databases：
给数据库添加一些东西，看看它是否会分片。
mongos> use mood
switched to db mood
mongos> for(var i=1;i<=10000;i++)db.info.insert({"id":i,"name":"makee"+i})
WriteResult({
"writeError" : {
"code" : 70,
"errmsg" : "unable to target write op for collection mood.info :: caused by :: ShardNotFound No shards found"
}
})
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5ba24eeef6c5933feb7b6cf5")
}
shards:
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
No recent migrations
databases: //并没有
因为我们需要启动分片才可以，下面启动它
mongos> sh.enableSharding("mood") //开启数据库分片
{ "ok" : 1 }
mongos> db.info.createIndex({"id":1}) //创建表索引
{
"raw" : {
"192.168.137.13:47017" : {
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
},
"ok" : 1
}
mongos> sh.shardCollection("mood.info",{"id":1}) //表分片{ "collectionsharded" : "mood.info", "ok" : 1 }
mongos> sh.status() //查看结果
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5ba3b64dcc3cc1318414a128")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.137.13:47017" }
{ "_id" : "shard0001", "host" : "192.168.137.13:47018" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
1 : Success
databases:
{ "_id" : "mood", "primary" : "shard0000", "partitioned" : true }
mood.info
shard key: { "id" : 1 }
unique: false
balancing: true
chunks:
shard0000 2
shard0001 1
{ "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0001 Timestamp(2, 0) //已经开始分片了
{ "id" : 4682 } -->> { "id" : 9364 } on : shard0000 Timestamp(2, 1)
{ "id" : 9364 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 2)
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网