基本信息

姓名：简小历

年龄：29岁

电话：137****3334

邮箱：513965****@qq.com

经验：7年

意向：大数据工程师

教育背景

时间：2010-09 - 2014-07

学校：知页简历科技学院 | 专业：信息管理与信息系统 | 学历：本科

工作经历

工作时间：2016-01 - 至今

公司名称：知页简历信息技术有限公司 | 所在部门： | 所在岗位：大数据工程师

工作描述：

在分支任职大数据工程师，负责大数据产品项目组与咪咕音乐有限公司业务支撑中心部门项目开发及运维工作，主要负责工作内容：1、负责业务支撑中心的一级VGOP、咪咕杭州研发中心对外供数的所有数据维护以及新增接口的开发、增、删、修、调整字段类型等。

2、负责中央音乐平台对外全国分省供数业务，涉及到的业务有咪咕彩铃、铃音盒、客户端使用及发展、振铃、全曲及各大话单的数据业务开发及运维、新增加接口数据各省份需求。

3、一级VGOP对外稽核数据采集并取至基地服务器，由各负责人获取数据进行结算。

4、每月一级VGOP、中央音乐平台对外分省供数月报数据出数运维维护工作保障月报能按时对外供数。

5、wap门户小时数据的供数业务，对外供数给一级VGOP、咪咕杭研中心供数，CP月数据更新，VGOP号段更新业务数据等等。

6、主要用到的系统环境及开发，维护的工具有：Linux\Unix、AIX系统，Oracle 、PL/SQL,ETL运维工具、mysql数据库，shell脚本编程，crontab定点服务、python编程工具,CRT工具、UE编辑器。

7、给wap门户渠道做数据分析，并给出用户消费情况做计量图表，统计出用户的消费偏好数据信息，进行跟进分析然后研发出新产品提供给各类消费偏好者推荐使用。

8、咪咕指数分析，由数据库统计每个月的量收总额来做对比，进行数据分析及调整用户潜在的消费意识数据，如；有些客户端只是开通特级会员，特级会员功能有比较多的免费业务，还有赠送给其它客户端需求数据，拿进行跟进分析，然而可以从特级会员客户中挖掘潜在的客户进行推荐，这样就能咪咕消费指数业务增长。

2017年03月-开始负责搬迁老系统数据Oracle平台的数据资料表调度数据源供数（对外供数模块）到大数据平台供数，其中分省供数模块我用了半个月的时间把全国31个省份的接口全部重新开发完成，主要用到工具为hive、spark、python框架sql。

2017年7月出差到湖北移动做武汉经分spark报表开发，展示在市场部一线应用平台，主要用到的工具为移动的4A平台，DAC平台，多租户模式开发，涉及保密协议范围。

2017年8月做武汉移动业务支撑数据中心，迁移湖北渠道优化模块工作，程序开发数据质量核对，完善老系统无法满足的条件，主要用移动4A平台、DACP平台，Hadoop、HDFS、Map/Reduce、hive、spark工具开发。

工作时间：2017-07 - 至今

公司名称：知页简历信息科技有限公司 | 所在部门： | 所在岗位：IT 助理工程师，大数据助理工程师

工作描述：

[产线大数据自动化 专案]

编写生产线程式实现工业自动化，以及大数据化，并为生产线的运行提供技术支持。

通过对生产线上所有设备传送到Kafka的数据进行实时监听，并依据不同标准对所有数据进行处理，定时反馈给Kafka。同时对异常数据进行累计判断或者清零，对不同级别的异常抛送不同级别的警报到web service，以便送到相应的客户端，发出提示以及警报。后续分别将处理过的数据通过Nifi 传入MQTT和ElasticSearch。 本专案实作使用了loopback（strongloop），kafka，npm，ElasticSearch等大数据环境。使用VSCode编写，在nodejs环境下执行，编写使用javascript，Node.js，Angular.js等。实作部署使用MQTT，Nifi，HeidiSql，Xampp，FileZilla，Putty等。项目涉及MariaDB，maven，ZooKeeper，Spark，Flink等大数据环境。

项目经历

项目时间：2016-05 - 至今

项目名称：游戏数据分析 | 项目工具：Spark+flume+kafka+zookeeper+redis

项目描述：

项目介绍

该项目是为游戏公司开发的运营分析平台，数据由该游戏公司提供。通过使用Logstash从日志服务器中实时采集数据，下沉到kafka集群中，使用sparkstreaming对数据进行实时处理，获取到一些需要实时展现的指标，比如，当前在线人数，当日新增玩家用户,活跃玩家，玩家留存率，以及游戏习惯，实时充值金额，实时玩家区域分布等。将实时数据保存到redis中，并从redis中获取数据到前台展示

我的职责

1.参与了需求分析，架构分析，编写开发文档。

2.参与了新增玩家用户的分析及代码实现。

3.参与了活跃玩家用户的分析及代码实现。

4.参与了玩家留存率的分析及代码的实现。

5.参与了玩家流失率的分析。

6.优化代码以及对后期代码的测试。

项目时间：2016-09 - 至今

项目名称：交互式实时数据分析平台

项目描述：

项目介绍

项目名称 : 交互式数据分析系统（准实时数据分析平台）

技术架构 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

开发环境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

项目描述 : 该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去

分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据

支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务

参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线

程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量

数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,

利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。

项目职责 :负责项目的集群搭建部署，需求分析, 参与库表的设计及代码的编写和测试优化工作

开发步骤 : 数据收集阶段：Flume采集供应商接口上的数据,实现flume自定义拦截器,满足业务需求。

Kafka拉取flume上的数据传给sparkStreaming进行数据处理（实时ETL的程序），ETL处理的数据保存到Hdfs中。

数据处理阶段：SparkCore处理Hdfs上的数据，通过RDD进行离线处理和Dstream准实时处理之后保存到Hdfs中。

数据展示阶段：通过JDBC连接Hdfs处理好的数据，进行图表展示。

功能模块 : 用户访问会话（session）分析模块，页面跳出率统计分析模块，

各区域热门商品统计分析模块，广告点击流量实时统计分析模块

我的职责

个人评价

5年的大数据软件质量保证和性能调优从业经验；

熟悉Hadoop，Hive, Spark等大数据组件的基本运维及调优；

熟悉大数据测试基准（TPCx-BB， TPC-DS等），具有企业级云平台(AWS, AliCloud)的性能瓶颈分析及调优实战经验；

擅长使用自动化工具进行系统性能/功能测试及系统分析；

熟悉Linux及脚本语言，具有自动化测试工具开发经验；

8年以上软件测试经验，熟悉软件测试流程，具有一定的测试管理经验；

对机器学习、深度学习领域有所涉猎。

个人技能

1．能搭使用Hive和HBase的系统架构，和能用Hive进行海量数据的统计分析以及，能根据需求设计HBase表，能对Hive、HBase进行搭建Hadoop的系统架构和Hadoop集群。 2.能使用开源日志收集框架flume，Kafka消息队列。 3.能够使用Python2.7的版本，进行编程部署， 实现MapReducer框架，解决离线分析的场景和作业。 4.能够使用java,Scala进行项目的开发，能够实现Spark框架的研发作业。 5.能使用SparkStreaming进行实时数据的分析。 6.能使用MapReduce的原理和流程和其API开发应用程序 7．能使用Storm的原理和流程和使用API开发应用程序，以及Storm+Kafka实时流处理架构 8.清楚spark任务提交流程，对spark作业能进行调优 9.能操作MySQL、Oracle数据库 10.能使用Python进行网页爬虫，和Python与MySQL的交互

大数据开发工程师完整简历范文

基本信息

姓名：简小历

年龄：26岁

电话：159****6236

邮箱：300268****@qq.com

经验：4年

意向：大数据开发工程师

教育背景

时间：2010-09 - 2013-06

学校：知页简历科技学院 | 专业：计算机软件 | 学历：大专

工作经历

工作时间：2016-03 - 2017-02

公司名称：知页简历信息科技有限公司 | 所在部门： | 所在岗位：软件开发工程师

工作描述：

软件开发：

责任描述：

1、 参与项目的需求分析和项目构建。

2、 参与商品展示模块及搜索系统模块的开发及测试

3、 搜索系统服务接口的开发，及solrCloud的安装及配置

4、 使用Redis数据库做缓存

工作时间：2015-09 - 至今

公司名称：知页简历信息互动有限公司 | 所在部门：数据部 | 所在岗位：大数据开发工程师

工作描述：

1参与公司大数据平台的搭建与配置。

2.根据业务需求对移动设备数据和社交数据进行多维度分析，得出用户行为与游戏运营的各项指标。

3.将分析处理后的数据落地到RDBMS中，接入业务使用，为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。

4.使用SparkSQL高效分析处理用户行为数据。

5.平台的日常维护与优化。

项目经历

项目时间：2017-05 - 至今

项目名称：基站运营数据实时分析处理系统

项目描述：

项目介绍

使用技术：hdfs+spark+hive+mysql+sqoop+flume

项目描述：数据源通过ftp服务获取文件形式基站数据，利用flume对该文件目录进行实时采集，然后采用flume与sparkStreaming对接，sparkStreaming通过设置每个批处理的间隔时间，将流式计算分解成一系列批处理作业，实时的交给sparkStreaming清洗处理，获得实时的基站告警数据以及基站流量数据展示并存储到HDFS上，对保存在HDFS的数据利用hive建立外部分区表，通过定时任务执行，统计一天的基站告警信息；利用sqoop工具将结果存入MySQL，供前端展示。

我的职责

大数据工程师

参与需求分析，平台环境搭建 ，基站告警统计 ，基站流量监控。

项目时间：2015-11 - 至今

项目名称：鹿鸣呦呦即时通讯系统 | 项目工具：ubuntu

项目描述：

项目介绍

鹿鸣呦呦是一款定位于高端资源与人脉的对接平台，基于MQTT协议开发的，含聊天、商机、人脉与一体的即时通讯软件

我的职责

hadoop、spark、hbase、redis，服务器集群环境搭建维护，项目短信、隐私、商业圈功能性模块开发.flume日志信息收集处理。

个人评价

本人热爱编程，并对从事计算机IT行业的工作拥有浓厚的兴趣

具有良好的团队合作能力，能有效的与队友沟通

具有强烈的责任心

本人接受适应的能力和自学的能力较强，能尽快的熟悉工作环境克服困难

本人性格外向随和，能接受一定强度的加班和出差

个人技能

Web前端

sparkstreaming

spark-core

Oracle

Java

Hive

kafka

hbase

Hadoop

spark-sql

hdfs

MySQL

webservices

大数据工程师自我评价简历范文

自我评价（案例一）

[大数据技能]：熟悉javascript，Node.js，Angular.js等。实作过loopback，Kafka，NPM，ElasticSearch，MQTT，Nifi等。实作部署使用Xampp，FileZilla，Putty等。开发环境：VSCode，Loopback。

[数据交互技能]：Java交互数据库&ES，掌握PL/SQL，AngularJS。大数据交互Kafka + ElasticSearch + Nifi + MQTT + Nodejs + Web整合。数据库：SQL server，MySQL，Oracle。

[前端技能]：熟练JAVA，HTML，CSS，XML等；数据结构与算法；WEB开发技术，JSP(Servlet)技术，JQuery框架等。了解并使用过REST API。开发环境：Eclipse；SQL server，Google chrome。

[办公技能]：熟练使用Microsoft Office/Outlook/Lync/Skype

[语言能力]：大学英语六级CET-6。

[个人能力]：沟通能力良好，学习能力强。负责认真，协作意识强。code习惯良好。

自我评价（案例二）

参与过多个项目的开发，熟悉常见业务处理，能快速融入团队

有耐心能够在产品经理多次改变需求的情况下，沉着冷静地修改产品有认真钻研精神

责任心强喜欢与人沟通，有很强的团队协作能力具有强烈集体荣誉感

求知欲旺盛对事物有较强的分析能力，敢于接受新的挑战抗压能力强

喜欢接触学习新知识有良好的编码风格，有很强的学习能力适应能力和研究能力

自我评价（案例三）

1、有较好的英语读写能力，能够阅读Apache大数据官方文档；

2、有良好的自学习惯，能够快速学习新的技术能力；

3、有较强的适应能力，吃苦耐劳，能经常加班，能出差；

4、有良好的团队协作精神，有一定的组织及管理能力；

5、善于与团队沟通，勇于承担责任；

6、爱好旅行、爬山。

自我评价（案例四）

1、熟悉hadoop集群，熟悉分布式系统原理，期望从事hadoop大数据开发、分析等方向的工作

2、熟悉spark、hive、hbase、sqoop、zookeeper、flume等大数据生态圈组件及使用，掌握YARN的工作原理，以及Hadoop不同版本的新特性

3、熟悉java、MySQL、Oracle10g/11g、shell

4、熟悉Mapreduce及Hive的数据清洗、分析和hive的调优

5、熟练运用Xshell、SecureCRT、MyEclipse、FileZilla Client等可视化软件

6、熟悉spark以及掌握scala语言编写

7、了解Python，可以正常阅读代码

8、工作态度端正，有上进心，能承受较强压力，期望长期在公司工作，与公司共同发展

【免责声明】本站部分文章来自网络收集，仅供个人研究、交流学习使用，不涉及商业盈利目的。如侵犯了你的权益，请联系QQ：202543917进行删除。