基本信息

姓名：简小历

年龄：23岁

电话：159****4849

邮箱：368804****@qq.com

经验：1年

意向：大数据工程师

教育背景

时间：2011-09 - 2015-07

学校：知页简历大学 | 专业：计算机科学与技术 | 学历：本科

工作经历

工作时间：2010-03 - 2014-05

公司名称：知页简历信息技术有限公司 | 所在部门：软件与服务事业集团/数据解决方案事业部 | 所在岗位：高级软件测试工程师

工作描述：

1）进行测试需求分析，制定测试计划，合理分配测试资源；

2）设计开发测试用例，开发相关自动化测试框架及工具

3）负责产品集成测试（功能，性能，稳定性），报告并追踪产品问题，提供系统测试及验收报告

4）与开发团队紧密合作，分析系统性能瓶颈，提供优化意见

5）优化软件质量保证流程，提高效率及实用性

工作时间：2015-11 - 2017-09

公司名称：知页简历人才咨询有限公司 | 所在部门： | 所在岗位：大数据工程师

工作描述：

根据需求，负责相关大数据应用模块设计；

参与大数据产品的数据分析、数据模型、功能设计及产品研发工作；

研究各种数据清洗，修复方法；

研究大数据有关的数据分析方法；

负责有关大数据分析产品的设计和开发。

项目经历

项目时间：2016-09 - 2017-09

项目名称：交互式实时数据分析平台

项目描述：

项目介绍

项目名称 : 交互式数据分析系统（准实时数据分析平台）

技术架构 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

开发环境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

项目描述 : 该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去

分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据

支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务

参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线

程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量

数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,

利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。

项目职责 :负责项目的集群搭建部署，需求分析, 参与库表的设计及代码的编写和测试优化工作

开发步骤 : 数据收集阶段：Flume采集供应商接口上的数据,实现flume自定义拦截器,满足业务需求。

Kafka拉取flume上的数据传给sparkStreaming进行数据处理（实时ETL的程序），ETL处理的数据保存到Hdfs中。

数据处理阶段：SparkCore处理Hdfs上的数据，通过RDD进行离线处理和Dstream准实时处理之后保存到Hdfs中。

数据展示阶段：通过JDBC连接Hdfs处理好的数据，进行图表展示。

功能模块 : 用户访问会话（session）分析模块，页面跳出率统计分析模块，

各区域热门商品统计分析模块，广告点击流量实时统计分析模块

我的职责

项目时间：2014-11 - 2017-09

项目名称：Intel新一代数据中心平台的性能评测及调优

项目描述：

项目介绍

Intel内部合作项目 -- 对数据中心平台新一代产品发布提供性能评测及调优

我的职责

负责基于大数据测试基准(TPCx-BB，TPC-DS等)，对新一代数据中心平台进行基本性能评估。

负责对新一代数据中心平台进行性能调优（涉及Hadoop, Java, OS, BIOS等几个层面），充分挖掘系统软硬件资源的能力。

撰写内部技术报告，提交给数据中心部门进行审核。

个人评价

熟悉hadoop生态圈一些开源组件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉关

系型数据库mysql、oracle，熟悉数据仓库hive，会写SQL语句，熟悉yarn工作原理及

mapreduce原理，了解hbase，spark，spark_rdd

性格开朗，为人细心，做事一丝不苟，能吃苦耐劳，工作脚踏实地，有较强的责任心，

具有团队合作精神，又具有较强的独立工作能力，思维活跃。

个人技能

能够安装、部署、Hadoop2.x集群，熟悉Hadoop生态系统的相关产品，熟悉HDFS分布式文件系统，Sqoop数据库ETL工具，Flume日志收集，MapReduce分布式计算框架，熟练掌握Sql/Hql的编写，Zookeeper分布式协作，Yarn资源管理器，Hive数据仓库，HBase实时协作数据库，熟悉Spark内存计算，熟悉MySQL/ORACLE数据库安装、管理、调优、备份、容灾、安全等技能一般,熟悉MapReduce编程。熟悉Linux操作系统，熟悉shell，熟练运用SecureCRT, Xshell，MyEclipse，FileZilla Client等应用软件。

大数据工程师个人简历怎么写

基本信息

姓名：简小历

年龄：28岁

电话：139****8526

邮箱：802038****@qq.com

经验：6年

意向：大数据工程师

教育背景

时间：2011-09 - 2015-07

学校：知页简历财经大学 | 专业：计算机软件 | 学历：本科

工作经历

工作时间：2017-07 - 至今

公司名称：知页简历信息科技有限公司 | 所在部门： | 所在岗位：IT 助理工程师，大数据助理工程师

工作描述：

[产线大数据自动化 专案]

编写生产线程式实现工业自动化，以及大数据化，并为生产线的运行提供技术支持。

通过对生产线上所有设备传送到Kafka的数据进行实时监听，并依据不同标准对所有数据进行处理，定时反馈给Kafka。同时对异常数据进行累计判断或者清零，对不同级别的异常抛送不同级别的警报到web service，以便送到相应的客户端，发出提示以及警报。后续分别将处理过的数据通过Nifi 传入MQTT和ElasticSearch。 本专案实作使用了loopback（strongloop），kafka，npm，ElasticSearch等大数据环境。使用VSCode编写，在nodejs环境下执行，编写使用javascript，Node.js，Angular.js等。实作部署使用MQTT，Nifi，HeidiSql，Xampp，FileZilla，Putty等。项目涉及MariaDB，maven，ZooKeeper，Spark，Flink等大数据环境。

工作时间：2007-04 - 2010-03

公司名称：知页简历信息科技有限公司 | 所在部门：软件与服务事业集团/管理及中间件软件部 | 所在岗位：软件开发/测试工程师

工作描述：

1）负责产品的每日构建（daily build）和回归测试（regression test），报告并追踪产品问题。

2）对于阶段性的产品发布，负责部分功能模块产品漏洞的调试和修复。

3）进行产品部分功能模块的新功能开发（概要设计，详细设计，编码开发)

4）进行产品部分功能模块的功能及性能测试（制定测试计划，设计开发测试用例，开发相关自动化测试工具）

项目经历

项目时间：2015-12 - 2010-03

项目名称：摩尔龙商贷数据分析系统

项目描述：

项目介绍

网站是结合中国社会信用状况创建的借贷网络平台，主要针对网络投贷的管控和效益计算，

方便贷款方和借贷方的账目明细和抽成。

我的职责

1.参与使用hive对数据的ETL和程序在测试集群的调试；

2.分析各个年龄与他们的贷款额度，分析各个城市的家庭年收入

3.后期的测试与维护

项目时间：2016-02 - 2010-03

项目名称：伊的家电商购物平台离线数据分析平台

项目描述：

项目介绍

伊的家，这是一个基于hadoop生态圈的离线数据分析平台，使用CM搭建并部署了Hadoop HA高可用集群，通过Ngnix服务器生成用户行为日志，使用Flume周期性收集日志数据并上传至HDFS文件系统，使用MapReduce进行数据清洗，通过Hive从时间、地域、浏览器等多个维度对活跃用户数、新注册用户数、二跳率进行多维度分析统计；并将这些指标使用Hcharts表进行图表化展示给产品经理和甲方决策者看，借此指标分析进行女性商品精准营销与推荐；

我的职责

1、参与产品需求分析，技术方案选型，hadoop等开发环境的搭建；

2、编写、测试、优化MR程序对Flume收集上传到HDFS的数据进行清洗与过滤；

3、通过编写Hive HQL程序从时间、地域、浏览器等多个维度对pv，uv，活跃用户数、新注册用户数、二跳率等指标进行多维度分析统计;

4、编写Sqoop命令周期性或采用增量方式将处理好的结果表数据导入到MySQL中。

个人评价

1.积极的工作态度和强大的抗压性；

2.对大数据技术有钻研热情，具备高度的责任心及团结协作精神，善于沟通；

3.自我驱动，追求工作的成就感和价值；

4.能够主动快速学习新的工程技术，对于新鲜事物接收能力较强；

5.本人是计算机应用技术专业毕业，有丰富的编程知识体系做基础；

6.对于团队开发有一定基础，有过团队开发经验，善于分析和吸取经验；

7.较注重学习机会，希望能在贵公司提升自己的能力;

个人技能

Hadoop

PERL

Python

SQL

Hive

C/C++

Java

Linux

【免责声明】本站部分文章来自网络收集，仅供个人研究、交流学习使用，不涉及商业盈利目的。如侵犯了你的权益，请联系QQ：202543917进行删除。