老婆漂亮的程序员，鄙视老婆不漂亮的程序员。

 

有老婆的程序员，鄙视没有老婆的程序员。

 

有女朋友的程序员，鄙视单身程序狗。

 

在单身狗之间，才有语言、编辑器和操作系统的互相鄙视。

 

 

看人家甜甜蜜蜜的，单身狗的你还不抓紧了找个妹子。

 

那么对于数据工程师来说，是不是也存在类似的一条鄙视链呢，今天我们不谈技术，我们谈谈技术背后的大数据工程师不同岗位之间的鄙视链：

 

大数据 ETL 开发工程师：

 

  • 负责数据仓库 ETL （数据的抽取、转换和导入）流程开发；

 

 

  • 精通 Hive SQL，掌握基本的 HQL 优化技能；

 

  • 熟练使用 MySQL/Postgres 等数据库；

 

  • 有Hadoop基础知识，熟练掌握PHP / Python / Java任一语言；

 

    （大数据金字塔的最底端，职业瓶颈非常有限）

 

大数据开发工程师：

 

  • 熟悉 Linux，熟悉 shell，perl，python，php 等脚本语言的一种或多种；

 

  • 扎实的 Java 基础编程，熟悉传统数据库 MySQL；

 

  • 熟悉 Hadoop，HBase，Hive，Spark，Storm 任意一项或多项技术；

 

 

 

  • 有大规模数据处理和日志处理经验的优先；

 

 

大数据开发工程师+数据平台J2EE开发工程师：

 

  • 数据平台J2EE开发工程师：3-5年的 Java 开发经验；

 

  • 慢慢往大数据方向来转，懂一点儿大数据的基础知识；

 

  • Hadoop、Spark、Storm、HBase 至少知道是怎么回事，能写一点简单的程序；

 

  • J2EE精通，提交计算任务（指定参数）、通过界面查看漂亮的报表和表格；

 

 

 

大数据平台高级开发工程师：

 

  • 精通 Hadoop、Spark、Storm（源码级别的），Kafka、Flume、ZooKeeper；

 

  • 精通 J2EE 技术，开源框架（Spring MVC、Spring、MyBatis）；

 

  • 精通 MySQL 性能调优，Java 虚拟机（JVM）调优；

 

 

  • 高并发系统架构（NoSQL、Redis、Memcached、Nginx、负载均衡、分布式）；

 

大数据平台高级架构师：

 

  • 研究与跟踪大数据新技术发展方向，针对公司大数据业务进行框架设计；  

 

  • 负责公司大数据产品的技术选型、设计、研发和维护，参与产品从立项到交付的全生命周期工作；

 

  • 参与研发团队的日常技术交流与分享，为其他同事提供技术指导与帮助；

 

 

  • 深入了解业务需求与业务逻辑，同产品、业务相关同事密切沟通和配合；

 

  • 研究未来数据模型和计算框架的创新与落地（数据计算框架轻量化、建立数据模型等）；

   

高端，高端，高端

大数据数据挖掘与机器学习工程师：

 

  • 一步一步往上走，走到大数据平台高级架构师级别；

 

  • 对数据结构和算法设计有较为深刻的理解；

 

  • 精通各种机器学习与数据挖掘的算法；（Spark MLlib，机器学习，GraphX，图计算，Hadoop Mahout）；

 

  • 反作弊研发经验、用户行为分析、社群关系挖掘；

 

  • 个性化推荐系统，用户意愿度分级系统，预测热卖产品走势，用户增长率等；

 

 

 

走到大数据金字塔的最顶端，用技术去直接为企业创造价值和利润，公司可以直接根据这些人计算出来的一些数据、方案等，去科学决策，调整公司的战略，是直接对公司的利润的提升、市场占有率的增加是有帮助的。

 

写在最后的话：

 

不管你智商多高，技术多牛逼，最重要的是要会落地，针对存在的问题提出解决方案，给公司创造价值，只有这样才能给自己带来实打实的回报，不然都是浮云啊。

 

其实很多时候是产品业务推动着技术人员的进步，比如某一天我们开发的产品就爆红了，带来了大量的用户访问，那你是不是就要着手解决高并发，海量数据存储等问题。

 

在没有碰到问题前，技术人员很多时候并不会意识到潜在的问题，就是在这样解决了一个又一个的问题之后，我们踩过了 N 个坑之后的经验就是我们成长的见证。

 

 

 

 

推荐阅读：

 

想成为云计算大数据Spark高手，看这里！戳我阅读

年薪50W的Java程序员转大数据学习路线戳我阅读

大数据人工智能发展趋势与前景  戳我阅读

最全最新的大数据系统交流路径！!戳我阅读

2019最新！大数据工程师就业薪资，让人惊艳！戳我阅读

更多推荐

谈谈大数据工程师的鄙视链