扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非
十多年的鞍山网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。网络营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整鞍山建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联从事“鞍山网站设计”,“鞍山网站推广”以来,每个客户项目都认真落实执行。
关系型数据库
)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比
SQL数据库
存储拥有更好的读写性能。
nosql四大分类:1、KV键值对。
2、文档型数据库。
3、列存储数据库。
4、图关系数据库。nosql是非关系型数据库,NoSQL(NotOnlySQL),意思是"不仅仅是SQL",指的是非关系型数据库,是对不同于传统的关系型数据库的数据库管理系统的统称。
NoSQL太火,冒出太多产品了,保守估计也成百上千了。
互联网公司常用的基本集中在以下几种,每种只举一个比较常见或者应用比较成功的例子吧。
1. In-Memory KV Store : Redis
in memory key-value store,同时提供了更加丰富的数据结构和运算的能力,成功用法是替代memcached,通过checkpoint和commit log提供了快速的宕机恢复,同时支持replication提供读可扩展和高可用。
2. Disk-Based KV Store: Leveldb
真正基于磁盘的key-value storage, 模型单一简单,数据量不受限于内存大小,数据落盘高可靠,Google的几位大神出品的精品,LSM模型天然写优化,顺序写盘的方式对于新硬件ssd再适合不过了,不足是仅提供了一个库,需要自己封装server端。
3. Document Store: Mongodb
分布式nosql,具备了区别mysql的最大亮点:可扩展性。mongodb 最新引人的莫过于提供了sql接口,是目前nosql里最像mysql的,只是没有ACID的特性,发展很快,支持了索引等特性,上手容易,对于数据量远超内存限制的场景来说,还需要慎重。
4. Column Table Store: HBase
这个富二代似乎不用赘述了,最大的优势是开源,对于普通的scan和基于行的get等基本查询,性能完全不是问题,只是只提供裸的api,易用性上是短板,可扩展性方面是最强的,其次坐上了Hadoop的快车,社区发展很快,各种基于其上的开源产品不少,来解决诸如join、聚集运算等复杂查询。
下载NoSQL(社区版、企业版):
如果没有还要下载JAVA:
把下载的kv-ce-2.1.3.zip解压到kv-ce-2.1.3目录里,
命令行窗口1:
cd kv-ce-2.1.3
java -jar lib/kvstore.jar kvlite
命令行窗口2:
cd kv-2.1.3
java -jar lib/kvstore.jar ping -host myhost -port 5000
编译并运行实例程序:
javac -cp examples:lib/kvclient.jar examples/hello/HelloBigDataWorld.java
java -cp examples:lib/kvclient.jar hello.HelloBigDataWorld
管理示例:
java -jar lib/kvstore.jar runadmin -host host01 -port 5000
kv- configure -name "mystore"
kv- plan deploy-datacenter -name MyDC -rf 3 -wait
kv- plan deploy-sn -dcname MyDC -host host01 -port 5000 -wait
kv- plan deploy-admin -sn sn1 -port 5001
kv- pool create -name MyPool
kv- pool join -name MyPool -sn sn1
kv- plan deploy-sn -dcname MyDC -host host02 -port 5000 -wait
kv- pool join -name MyPool -sn sn2
kv- plan deploy-sn -dcname MyDC -host host03 -port 5000 -wait
kv- pool join -name MyPool -sn sn3
kv- topology create -name MyStoreLayout -pool MyPool -partitions 100
kv- topology preview -name MyStoreLayout
kv- plan deploy-topology -name MyStoreLayout -wait
kv- show plans
kv- show topology
kv- verify
kv- quit
KV型存储系统是最常用的NoSQL存储系统之一。Memcached和Redis是其最具代表的两个产品。本文将详细介绍Memcached和Redis的常用场景及如何构建一个高可用和自动弹性伸缩的KV存储系统。
Cache加DB是最常见的存储层架构。时间局部性原理指出正在被访问的数据很可能会在近期再次被访问。根据这一原理应用程序将最近访问过的数据保存在Cache中,每次读取请求首先访问Cache,若Cache中保存有该数据则直接获取数据返回给前端。若Cache中该数据不存在则从DB获取数据并将该数据保存到Cache;若数据被更新或删除则将Cache中对应数据置为失效。使用Cache能够很好地缓解DB的读请求压力。KV存储系统既可以应用在Cache层也可以应用在DB层。
Memcached使用内存作为存储介质,因为内存数据的易失性Memcached主要应用在Cache层。Memcached常见的应用场景是存储一些读取频繁但更新较少的数据,如静态网页、系统配置及规则数据、活跃用户的基本数据和个性化定制数据、准实时统计信息等。并不是所有场景都适合Memcached加DB的架构,在某些场景下这一架构存在一些局限。例如这一架构不能提升写的性能,写数据时还是数据直接存储到DB,同时需要将Cache中数据置为失效,所以对以写请求为主的应用使用Cache提升性能的效果并不是很明显。如果应用的热点数据或者活跃用户分布较为分散也会降低Cache的命中率。如果遇到机器宕机,内存数据会丢失,那么机器重启后需要一段时间重新建立热点数据,建立热点数据的过程中会对DB会造成较大的压力,严重时会导致系统雪崩。
相比Memcached,Redis做了一些优化。首先,Redis对数据做了持久化,支持AOF和RDB两种持久化方式,机器重启后能通过持久化数据自动重建内存。其次,Redis支持主从复制,主机会自动将数据同步到从机,可以进行读写分离,主机负责写操作,从机负责读操作。那样既增加了系统的读写性能又提升了数据的可靠性。再次,Redis除了支持string类型的value外还支持string、hash、set、sorted set、list等类型的数据结构。因此,Redis既可以应用在Cache层,也可以替换或者部分替换DB存储持久化数据。使用Redis作为Cache时机器宕机后热点数据不会丢失,无须像Memcached一样重建热点数据。相比Cache加DB的架构方式,使用Redis存储持久化数据不仅能够提升读性能,还能提升写性能,而且不存在热点数据分布是否集中而影响命中率的问题。Redis丰富的数据结构也使其拥有更加丰富的应用场景。Redis的命令都是原子性的,可以简单地利用INCR和DECR实现计数功能。使用list可以实现获取最近N个数的操作。sort set支持对数据排序,可以应用在排行榜中。set集合可以应用到数据排重。Redis还支持过期时间设置,可以应用到需要设定精确过期时间的应用。只要可以使用Redis支持的数据结构表示的场景,就可以使用Redis进行存储。但Redis不是万能的,它不支持关系型数据库复杂的SQL操作。某些场景下,可结合Redis和关系型DB,将简单查询相关的数据保存在Redis中,复杂SQL操作由关系型DB完成。
虽然Redis集很多优点于一身,但在实际运营中也存在一些问题。首先,Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等待机器重启或者手动切换前端的IP才能恢复。如果主机宕机,宕机前有部分数据未能及时同步到从机,切换IP后还会引入数据不一致的问题,降低了系统的可用性。其次,Redis的主从复制采用全量复制,复制过程中主机会fork出一个子进程对内存做一份快照,并将子进程的内存快照保持为文件发送给从机,这一过程需要确保主机有足够多的空余内存。若快照文件较大,对集群的服务能力会产生较大的影响,而且复制过程是在从机新加入集群或者从机和主机网络断开重连时都会进行,也就是网络波动都会造成主机和从机间的一次全量的数据复制,这对实际的系统运营造成了不小的麻烦。最后,Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题,运维人员在系统上线时必须确保有足够的空间,这对资源造成了很大的浪费。
NoSQL(NoSQL
=
Not
Only
SQL
),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。
随着大数据的不断发展,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。现今的计算机体系结构在数据存储方面要有庞大的水平扩展性,而NoSQL也正是致力于改变这一现状。目前Google的
BigTable和Amazon
的Dynamo使用的就是NoSQL型数据库,本文介绍了10种出色的NoSQL数据库。
虽然NoSQL流行语火起来才短短一年的时间,但是不可否认,现在已经开始了第二代运动。尽管早期的堆栈代码只能算是一种实验,然而现在的系统已经更加的成熟、稳定。不过现在也面临着一个严酷的事实:技术越来越成熟——以至于原来很好的NoSQL数据存储不得不进行重写,也有少数人认为这就是所谓的2.0版本。这里列出一些比较知名的NoSQL工具,可以为大数据建立快速、可扩展的存储库。
给一个地址吧
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流