大数据是什么?如何挖掘

数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都做网站、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的蔚县网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

用于分析大数据的工具主要有开源与商用两个生态圈。

开源大数据生态圈：

1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。

3、NoSQL，membase、MongoDb

商用大数据生态圈：

1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

3、数据集市：QlikView、 Tableau 、 以及国内的REU-BDS 大数据

从零开始学数据分析，什么程度可以找工作，如何计划学习方案？

1. 第一阶段(一般岗位叫数据专员)

基本学会excel(VBA最好学会;会做透视表;熟练用筛选、排序、公式)，做好PPT。这样很多传统公司的数据专员已经可以做了

2. 第二阶段(数据专员~数据分析师)

这一阶段要会SQL，懂业务，加上第一阶段的那些东西。大多数传统公司和互联网小运营、产品团队够用了。

3. 第三阶段(数据分析师)

统计学熟练(回归、假设检验、时间序列、简单蒙特卡罗)，可视化，PPT和excel一定要溜。这些技术就够了，能应付大多数传统公司业务和互联网业务。

4. 第四阶段(分裂)

数据分析师(数据科学家)、BI等：这部分一般是精进统计学，熟悉业务，机器学习会使用(调参+选模型+优化)，取数、ETL、可视化啥的都是基本姿态。

可视化工程师：这部分国内比较少，其实偏重前端，会high charts，d3.js, echarts.js。技术发展路线可以独立，不在这四阶段，可能前端转行更好。

ETL工程师：顾名思义，做ETL的。

大数据工程师：熟悉大数据技术，hadoop系二代。

数据工程师(一部分和数据挖掘工程师重合)：机器学习精通级别(往往是几种，不用担心不是全部，和数据分析师侧重点不同，更需要了解组合模型，理论基础)，会组合模型形成数据产品;计算机基本知识(包括linux知识、软件工程等);各类数据库(RDBMS、NoSQL(4大类))

数据挖掘：和上基本相同。

爬虫工程师：顾名思义，最好http协议、tcp/ip协议熟悉。技术发展路线可以独立，不在这四阶段

发现回答的有点文不对题额，不过大致是所有从底层数据工作者往上发展的基本路径。往数据发展的基本学习路径可以概括为以下内容：

1. EXCEL、PPT(必须精通)

数据工作者的基本姿态，话说本人技术并不是很好，但是起码会操作;要会大胆秀自己，和业务部门交流需求，展示分析结果。技术上回VBA和数据透视就到顶了。

2. 数据库类(必须学)

初级只要会RDBMS就行了，看公司用哪个，用哪个学哪个。没进公司就学MySQL吧。

NoSQL可以在之后和统计学啥的一起学。基本的NoSQL血MongoDB和Redis(缓存，严格意义上不算数据库)，然后(选学)可以了解各类NoSQL，基于图的数据库Neo4j，基于Column的数据库BigTable，基于key-value的数据库redis/cassendra，基于collection的数据库MongoDB。

3. 统计学(必须学)

如果要学统计学，重要概念是会描述性统计、假设检验、贝叶斯、极大似然法、回归(特别是广义线性回归)、主成分分析。这些个用的比较多。也有学时间序列、bootstrap、非参之类的，这个看自己的意愿。

其他数学知识：线性代数常用(是很多后面的基础)，微积分不常用，动力系统、傅里叶分析看自己想进的行业了。

4. 机器学习(数据分析师要求会选、用、调)

常用的是几个线性分类器、聚类、回归、随机森林、贝叶斯;不常用的也稍微了解一下;深度学习视情况学习。

5. 大数据(选学，有公司要求的话会用即可，不要求会搭环境)

hadoop基础，包括hdfs、map-reduce、hive之类;后面接触spark和storm再说了。

6. 文本类(选学，有公司要求的话会用即可)

这部分不熟，基本要知道次感化、分词、情感分析啥的。

7. 工具类

语言：非大数据类R、Python最多(比较geek的也有用julia的，不差钱和某些公司要求的用SAS、Matlab);大数据可能还会用到scala和java。

数据挖掘中建立模型 采用的是什么研究方法

1.可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4. 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。

数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。

大数据的处理

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

目前哪些NoSQL数据库应用广泛，各有什么特点

特点：

它们可以处理超大量的数据。

它们运行在便宜的PC服务器集群上。

PC集群扩充起来非常方便并且成本很低，避免了“sharding”操作的复杂性和成本。

它们击碎了性能瓶颈。

NoSQL的支持者称，通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL友好格式的时间，执行速度变得更快。

“SQL并非适用于所有的程序代码，” 对于那些繁重的重复操作的数据，SQL值得花钱。但是当数据库结构非常简单时，SQL可能没有太大用处。

没有过多的操作。

虽然NoSQL的支持者也承认关系数据库提供了无可比拟的功能集合，而且在数据完整性上也发挥绝对稳定，他们同时也表示，企业的具体需求可能没有那么多。

Bootstrap支持

因为NoSQL项目都是开源的，因此它们缺乏供应商提供的正式支持。这一点它们与大多数开源项目一样，不得不从社区中寻求支持。

优点：

易扩展

NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

灵活的数据模型

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。

高可用

NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。

主要应用：

Apache HBase

这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。

Apache Storm

用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的操作方式，帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark

该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。

Apache Hadoop

该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill

你有多大的数据集？其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。

Apache Sqoop

也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据（如新的数据）导入到HDFS、Hive和Hbase中。

Apache Giraph

这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。

Cloudera Impala

Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。

Gephi

它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB

这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，纽约时报、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。（Couchbase服务器也作为一个参考）。

十大顶尖公司：

Amazon Web Services

Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和监控，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

Intel

和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。

MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

Microsoft

微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版，而且是为Azure量身定制的。

微软也有一些其他的项目，包括名为Polybase的项目，让Hadoop查询实现了SQLServer查询的一些功能。Forrester说：“微软在数据库、数据仓库、云、OLAP、BI、电子表格（包括PowerPivot）、协作和开发工具市场上有很大优势，而且微软拥有庞大的用户群，但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版，为此，Pivotal在开源Hadoop的基础上又添加了一些新的工具，包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术，Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止，Pivotal的用户还不到100个，而且大多是中小型客户。

Teradata

对于Teradata来说，Hadoop既是一种威胁也是一种机遇。数据管理，特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反，Teradata接受了Hadoop，通过与Hortonworks合作，Teradata在Hadoop平台集成了SQL技术，这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。

AMPLab

通过将数据转变为信息，我们才可以理解世界，而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域，努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark，开源分布式SQL查询引擎Shark也源于AMPLab，Shark具有极高的查询效率，具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代，而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案，以应对越来越复杂的各种难题。

数据挖掘中数据存储的重要性

首先数据固然蕴含着价值，但是如果不通过适当方式将其价值挖掘出来，数据就毫无用处，其次只有真实可靠的数据才有意义，如今大数据已成为一种资本，全国各大型技术公司无不基于大数据工作原理，在各种大数据用例中，通过持续分析数据，提高运营效率。

网站栏目：nosql数据挖掘,大数据 nosql
URL地址：http://kswjz.com/article/phjhgg.html