大数据_大数据概念_解决方案_分析工具

一、大数据概念

　　“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。智慧城市的核心“大数据”“大数据”首先是指数据体量大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量;其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

　　二、大数据解决方案

　　大数据需要有不同于传统的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术 ，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台 ，互联网时代的大数据，和可扩展的存储系统。

　　大数据解决方案，通常都是基于集群的物理设施平台上，通过分布式处理系统来实现对海量数据的处理和分析。也正是如此，这种解决方案更多的是侧重于软硬一体或者分布式的软件系统平台来实现。

　　在大数据解决方案中，最为常见的当属Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件 框架。Hadoop项目包括三部分，分别是Hadoop Distributed File System(HDFS)、HadoopMapReduce 编程模型，以及Hadoop Common。

　　英特尔：作为与Linux具有一样都具有革命性意义的Hadoop，英特尔还推出了基于该平台的发行版(包括免费发行版)，以帮助用户更轻松地构建架构和使用分布式计算平台，开发和处理海量数据。

　　在英特尔所提出的大数据方案之中，至强处理器将为大数据分析提供原动力。英特尔还展示了其即将发行的Hadoop发行版——Intel Hadoop Manager 2.0。英特尔的Hadoop发行版着重对英特尔平台上的Hadoop进行了优化，企业可即时实施，安装、配置都非常简单。

　　微软：为帮助企业快速采用其大数据解决方案，微软将在 Microsoft Windows Azure平台上提供基于云端的Hadoop服务，同时在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的丰富洞察可以与 Microsoft Business Intelligence (BI) 平台无缝结合，使客户能够借助Office和SharePoint以及公用的数据和服务来丰富他们的模型。

　　三、大数据分析工具

　　大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。

　　1、前端展现，用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

　　用于展现分析商用分析工具有Style Intelligence、Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 。

　　国内的有国云数据(大数据魔镜)，FineBI等等。

　　2、数据仓库有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

　　3、数据集市有QlikView、 Tableau 、Style Intelligence等等。