10个最流行的大数据分析工具,大数据处理平台

大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。大数据开发和大数据平台开发的工作都主要集中在1、2、3三层。总之，大数据平台开发工程师关注基础设施和工具。什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。

大数据开发跟大数据平台开发有区别吗？

我用一个比喻说说个人理解吧：大数据平台在一些地方被称为数据仓库，如果把数据仓库比作粮仓的话，大数据平台开发工程师提供工具，比如研发更快的收割机、设计更大的仓库等等；大数据开发工程师使用这些工具处理数据，比如将农田里的收割、晾晒、去皮、研磨成可以食用的大米面粉。数据科学金字塔上图的数据金字塔展示了数据科学领域各岗位的大致职能。

最底层是数据收集部分，主要是原始数据的生成和收集。这部分数据来自各种IoT设备、传感器、手机APP上的用户行为、外部数据、以及用户生成数据（类似抖音用户主动发布的视频）。第二层是数据存储部分，一般需要构建数据仓库，生成一系列数据流，将原始数据存储至大数据平台。第三层是数据清洗和转化部分，主要对数据进行清洗和预处理，将数据转化为更高层次的数据，为上层数据分析做准备。

第四层是数据聚合部分，主要做一些基础的数据分析和业务报表，进行一些数据挖掘，并构建机器学习的训练数据。第五层是机器学习部分，主要构建机器学习模型，将模型发布到生产系统，进行AB实验。最顶层是人工智能部分，顶级的科学家提出新算法或新架构。大数据开发和大数据平台开发的工作都主要集中在1、2、3三层。原始的数据就像农田里的麦子，需要经过层层工序，才能最终将其转化餐桌上的面包。

大数据开发和大数据平台开发打通了粮食收割、清理、制粉的整个流程，将原始的粮食转化成了面粉。大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。目前的大数据公司都建有自己的数据仓库，数据仓库中的一个子任务就是构建OLAP（Online Analytical Processing，联机分析处理）工具：主要是在Hadoop生态上，构建大数据分析平台。

大数据平台开发所做的工作包括提供HDFS、HBase、对象存储等数据存储服务；Hive和Spark批处理、Druid和Kylin预处理等数据分析工具；Spark Streaming、Flink等流式计算工具。总之，大数据平台开发工程师关注基础设施和工具。大数据开发大数据工程师的一个重要任务是ETL（Extract、Trasform、Load）：使用大数据平台开发工程师提供的基础设施和工具，在收集到的数据上做提取和转化，生成更高层次的数据。

这部分工程师关注业务相关的数据流。因为原始数据一般都是互相独立的，数据与数据之间关联性差，使用这些原始数据，几乎很难快速生成用户画像、广告收入等高层次数据分析结果，更不用提如何进行机器学习建模了。以今日头条内容推荐引擎为例，整个推荐引擎要接入不同类型的异构大数据源：每个用户在APP上的使用行为、公司购买的第三方数据（包括用户金融能力数据等）、自媒体产生的海量图文视频内容等等。

数据工程师的工作包括：将用户在APP内的点击行为与点击的内容做关联，生成用户兴趣画像；将用户的APP内部数据与第三方数据关联，生成用户的消费能力画像等。大数据开发工程师主要对收集过来的底层数据做处理，建立一系列数据管道，将来自不同数据源的原始数据经过层层转化，生成对数据分析和算法建模更有价值的中间数据，一般称这个流程为数据流。

小公司限于人力有限，数据流的响应时间有可能是天级或小时级；大公司对数据流的响应要求极高，有可能是分钟级、秒级甚至亚秒级。很多朋友都发现，在今日头条刚刚搜索过某一个内容，下一分钟就能收到相似内容的推荐了，因为大数据开发工程师提供了这种秒级数据管道。技能要求无论是大数据平台开发工程师还是大数据开发工程师都对从业人员的“编程开发”和“大数据”大数据要求比较高，而且数据量越大的公司，对技能要求越高。

公司一般要求工程师在Java和Scala语言上，基于Hadoop生态系统，构建实时或批量的数据流。但公司与公司的差异很大，整个技术栈和工作内容与公司架构高度相关。某招聘APP上对大数据开发工程师的技能要求：Java、Scala、Linux、Hadoop、Kafka、Spark、Flink等。面试时一般会重点考察候选人对Google大数据三大论文的理解，即MapReduce、GFS和BigTable，分别对应了开源的Hadoop MapReduce、HDFS和HBase，这三篇论文也被称为驱动大数据的三驾马车。

大数据平台是什么？什么时候需要大数据平台？

谢邀！最近我和我的团队一直在做一些大数据相关的工作，我来回答一下这个问题。首先是第一个问题，大数据平台是什么？当我们说到一个平台的时候，我们的意识里面往往就知道，这里面肯定不止一样东西，它是很多东西的一个集合，大数据平台也是一样，首先如果用几个字来描述它的话就是“它是一个数据解决方案”，进一步解析就是：大数据平台它是一个以分布式存储为基础，集成了数据获取，数据清洗，数据流转，数据分析，数据输出等工具集的一个数据解决方案。

它的核心使命是提供数据存储和数据分析服务给目标客户。那么它的核心组成部分是什么呢？实现的方法有多种，我就举一个最典型的大数据平台结构作为说明。目前无论是国内或者国外，应用最广泛也是最典型的大数据平台是以Hadoop为核心进行功能延伸的生态系统，业内把它叫做Hadoop生态，它开源并且免费使用，它长什么样子？它的面目基本上是这样：从上图我们得知，它就是一套以Hadoop分布式文件系统为核心的数据处理工具集，目的是为了向用户提供数据分析服务的一个集成解决方案。

什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。举例说，家用电脑目前一般是配置2TB大小的硬盘(存储容量约等于于18个128G的iPhone)，一般几万块钱的商用服务器容量大约在32TB容量，高端的单机存储器可以达到100TB以上，但是数据量如果再大比如上跳一个数量级1000TB,也就是1PB左右，单机系统就无能为力了，不单是存储容量无能为力，计算能力也无法应对了，因为我们知道，单台计算机的性能是有极限的，数据太多磁盘检索读取的速度就会变慢，CPU和内存压力也会变大，这个时候需要完成一个数据分析任务就要耗时很长，那么这个时候大数据平台就派上用场了，大数据平台的一个特性就是多台计算机组成一个集群集体并行作战，并且理论上可以无限拓展。

想查询行业数据，国内有哪些专业的数据平台推荐？

艾媒数据中心(data.iimedia.cn)是全球知名的新经济行业数据挖掘和分析机构iiMedia Research 艾媒咨询旗下行业研究数据库。基于自主研发6大数据处理系统，以及强大的大数据监测、处理和分析能力，艾媒数据中心有行业数据库、投融数据库、基础数据库、人群洞察数据几大板块，划分了524个垂直行业，包含5000多个数据主题、超2亿条数据，研究领域包含交运物流、金融行业、房地产、电子商务、媒体与广告、零售和贸易、能源和环境服务、农林牧渔、化工和原料、健康与制药、电信行业、IT行业及战略性新兴产业等。