什么是大数据工程师

大数据(Big Data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在不同的层次上工程师的职责和技能要求存在差异

 仓库开发工程师

根据企业的需求建立仓库系统(DW)是企业各个层面的决策过程。基于分析报告和决策支持的目的，为需要商业智能、业务流程紧迫性、监控时间、成本、质量和控制以及战略战略数据支持的企业提供指导。主要负责核心业务模块数据仓库的构建、数据模型设计、ETL实现、ETL性能优化、ETL数据监控等一系列技术问题的解决;构建用户主题、业务线主题、推荐主题、BI门户系统，维护全产品线数据字典，提升数据资产质量;

熟悉技能要求:

(1)要深刻理解常用的数据建模理论，独立控制数据仓库各层的设计;

熟悉Hive/SQL、Spark/Map-Reduce/MPI分布式计算框架;

(3)熟悉大数据的离线和实时处理，能够设计和开发海量数据模型;

算法挖掘工程师

在大工厂，创新研究，在小工厂，重新赋能，产品，有本质的区别，也分为很多类型，包括搜索算法，导航算法，NLP，视觉算法，图像识别，自动驾驶，安全算法，通信算法等，需要掌握的技能差异也很大，总的来说，有以下几个概率性。

熟悉技能要求:

①数据分析:通过编程语言，python, sql, spark，分布式计算框架Hadoop/ spark /Storm/ map-reduce/MPI进行科学分析;

②文献阅读:能够关注市场上主流的竞争算法应用，能够积累大量的学术、行业论坛、论文;

(3)创新思维:场景迁移/类比能力，例如在广告推荐中看到根本原因定位时，应能立即切换到安全中的异常追踪;

算法原理:机器学习、深度学习、强化学习、算法导论等。

⑤数学能力:扎实的数学功底，能够完成公式推导、调优;

龙头大数据公司有哪些?

• 国内：阿里巴巴、华为、百度、腾讯、浪潮、探码科技、中兴通讯、神州融、中科曙光、华胜天成、用友等。

• 国际：IBM、惠普、Splunk、戴尔、Opower、Teradata、甲骨文、微软、亚马逊、谷歌、New Relic、Alation等。

薪酬待遇水平

薪资爆料中，我们可以发现，大数据开发工程师硕士岗位月薪基本20k左右，而本科也在10k+，年终平均在2个月及以上，这对于刚毕业的大家来说，也算得上平均薪资以上的水平。