基本信息

姓名：知页简历

年龄：22

电话：159****7747

邮箱：414740904@qq.com

经验：4年

意向：大数据开发工程师

教育背景

时间：2011-09到2015-06

学校：知页简历科技大学 | 专业：金融学 | 学历：本科

工作经历

工作时间：2015-09到至今

公司名称：知页简历网络科技有限公司 | 所在部门：数据部 | 所在岗位：大数据开发工程师

工作描述：

1参与公司大数据平台的搭建与配置。

2.根据业务需求对移动设备数据和社交数据进行多维度分析，得出用户行为与游戏运营的各项指标。

3.将分析处理后的数据落地到RDBMS中，接入业务使用，为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。

4.使用SparkSQL高效分析处理用户行为数据。

5.平台的日常维护与优化。

工作时间：2017-02到至今

公司名称：知页简历信息互动有限公司 | 所在部门： | 所在岗位：大数据开发工程师

工作描述：

将政府公共中心的数据导入mysql数据库，将网上爬取的与企业相关的信息的数据导入MongoDB数据库，在mysql数据库服务器利用存储过程对数据进行初步提取、转换并加载到ODS层的表中使用kettle对ODS层的数据做进一步的ETL处理，如调度上一环节的存储过程、增量更新除基础表等几张表外的数据到EDW层、对企业基本信息等做缓慢渐变维（SCDs）处理。

在前端客服系统上用js作埋点处理，获取用户的行为数据。将这些数据导入我所在的大数据处理中心，用机器学习、数据挖掘工具对用户的行为进行挖掘分析，并将分析结果反馈给后台服务器进行利用。

项目经历

项目时间：2016-07到至今

项目名称：x校园贷后端 | 项目工具：linux操作系统搭载的tomcat、jvm、mysql、redis、solr

项目描述：

项目介绍

此项目为一大学生校园贷款的后台，包括后台管理系统及前后端交互系统。而后台管理系统则包括员工（权限）管理系统、风控系统，此两个系统垂直交叉、相互协同。而前后端交互系统则主要负责app端（用户端）数据与数据库数据协同交互。此系统通过数据库的一致性达到各系统之间的解耦，同时保证了数据的一致和完备。而且根据业务需求在风控系统中嵌入了一个自行研发的风控模型，达到了业务与系统的和谐统一。

我的职责

1.接收前端传入的数据、处理后存入数据库

2.查询数据库数据、处理、封装成相应接口供pc端、app端调用

3.横向拦截逻辑处理（如sso等）

项目时间：2016-09到至今

项目名称：宜聚网数据统计分析

项目描述：

项目介绍

该项目为宜聚网数据统计分析项目，宜聚网是实名注册可小额抵押汽车、小额理财的一个平台。本项目通过对该平台用户海量借贷数据的获取，统计网站日点击量、注册用户数、各年龄层比率、放款次数金额、单笔募集时间等来分析网站运营情况，根据借贷人群、金额和来源情况的分析结果适度调整营销策略，促进网站长远的发展。

我的职责

1.搭建项目集群环境

2.Hive表的结构设计，如贴源表、明细表

3.分析处理每月贷款金额、每月注册用户数、各年龄层比率、用户地域分布排名、黑名单离线指标，实时统计单笔款项募集时间、实时点击量、实时成交额。

4.问题处理以及Spark和hive相关优化

个人评价

1.为了理想坚定不移地奋斗

2.富有逻辑，擅长分析、钻研艰深的难题

3.善于合作，长于协调团队与个人的关系

4.极强的学习能力，善于领悟、接受新事物和新技术

5.痴迷于机器学习及人工智能

个人技能

熟悉Java编程，有良好的算法和编码能力，熟悉面向对象编程；熟悉JavaWeb, JDBC, 熟悉Http协议； 熟悉Springmvc，Spring，MyBatis，了解Struts2, Hibernate等开源框架； 熟练使用Eclipse、SVN、Maven项目管理和项目构建工具。 熟悉应用服务器软件Tomcat等容器配置和部署，能够使用Linux操作系统；掌握JavaScript，Ajax，jQuery等前台开发技术；掌握MySql，熟练掌握sql语句。 掌握分布式文件系统fastDFS原理、fastDFS的Java接口应用；掌握solr集群搭建及solrJ集群版的Java接口应用；掌握redis集群搭建及redis集群版Java接口的应用 了解集群下的并发解决方案，支持(HA)高可用(采用nginx,lvs) 关于数据库的大数据量问题可采用水平拆分，库表散列，支持数据库的容灾及备份；会采用分布式缓存解决数据库压力。

kettle

python

spark

hadoop

姓名：知页简历

性别：女

年龄：23岁

经验：2年

手机：131****2630

邮箱：700106****@qq.com

意向：软件工程师/软件研发工程

学历：本科

Java

HTML/CSS/JS

MySQL

SpringMVC

JQuery

AngularJS

教育背景

2011/09 - 2015/07知页简历财经大学本科 - 计算机科学与技术

工作经历

2015/10 - 2017/08知页简历信息科技有限公司大数据工程师进行数据导入导出 sqoop，mr数据清洗，hive，spark分析统计，以及hadoop集群维护，日常数据维护等

项目经历

2016/03 - 2017/08联通黑指纹系统职责/工具项目介绍

基于联通各地区短信数据进行分析和挖掘：

1.联通短信数据日常离线分析：

将短信从黑指纹库（黑指纹数据库为Mysql）导入到

hadoop集群中(使用Sqoop工具),使用Spark分析每日新

增垃圾短信特征，从而调整算法，和增加新特征，从而划分人工核优选级。

2.月度分析、年度分析、各地区分析（分钟实时）：

能过Saprk_rdd与Hadoop_mr分析每月、每年短信的变化，如指纹的月使用率，年使用率，各地区黑指纹通用率，垃圾短信的变种率等

我的职责

1.利用sqoop工具对mysql数据库的增量抽取到HDFS

2.利用hive整合把得到的有效数据进行导入导出

3.将数据映射到hive中进行归类、划分、合并、定性分析、对关键字的分

析任务等

4.在Hive中根据业务需求参与相关表设计

5.对HDFS、Hive等进行调优，HQL语句进行编写、调优

6.根据业务的要求使用spark进行分钟实时分析

7.将数据的分析结果备份到HDFS中和业务层的数据库中（mysql）

8.web端或者报表的的形式进行展示。

自我评价

熟悉hadoop生态圈一些开源组件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉关

系型数据库mysql、oracle，熟悉数据仓库hive，会写SQL语句，熟悉yarn工作原理及

mapreduce原理，了解hbase，spark，spark_rdd

性格开朗，为人细心，做事一丝不苟，能吃苦耐劳，工作脚踏实地，有较强的责任心，

具有团队合作精神，又具有较强的独立工作能力，思维活跃。

技能描述

熟练掌握Hadoop相关组件、HDFS/HBase/mapreduce/Hive/Spark

熟练使用sqoop导入导出和flume抽取数据

熟练sql的编写

熟悉Mysql，Oracle关系型数据库

熟悉java语言以及开发工具MyEclise

熟悉spark以及scala语言

基本信息

姓名：简小历

年龄：26岁

电话：159****6236

邮箱：300268****@qq.com

经验：4年

意向：大数据开发工程师

教育背景

时间：2010-09 - 2013-06

学校：知页简历科技学院 | 专业：计算机软件 | 学历：大专

工作经历

工作时间：2016-03 - 2017-02

公司名称：知页简历信息科技有限公司 | 所在部门： | 所在岗位：软件开发工程师

工作描述：

软件开发：

责任描述：

1、 参与项目的需求分析和项目构建。

2、 参与商品展示模块及搜索系统模块的开发及测试

3、 搜索系统服务接口的开发，及solrCloud的安装及配置

4、 使用Redis数据库做缓存

工作时间：2015-09 - 至今

公司名称：知页简历信息互动有限公司 | 所在部门：数据部 | 所在岗位：大数据开发工程师

工作描述：

1参与公司大数据平台的搭建与配置。

2.根据业务需求对移动设备数据和社交数据进行多维度分析，得出用户行为与游戏运营的各项指标。

3.将分析处理后的数据落地到RDBMS中，接入业务使用，为公司产品部门和高层决策在广告领域的创新应用、商业效果改进等提供数据服务支持。

4.使用SparkSQL高效分析处理用户行为数据。

5.平台的日常维护与优化。

项目经历

项目时间：2017-05 - 至今

项目名称：基站运营数据实时分析处理系统

项目描述：

项目介绍

使用技术：hdfs+spark+hive+mysql+sqoop+flume

项目描述：数据源通过ftp服务获取文件形式基站数据，利用flume对该文件目录进行实时采集，然后采用flume与sparkStreaming对接，sparkStreaming通过设置每个批处理的间隔时间，将流式计算分解成一系列批处理作业，实时的交给sparkStreaming清洗处理，获得实时的基站告警数据以及基站流量数据展示并存储到HDFS上，对保存在HDFS的数据利用hive建立外部分区表，通过定时任务执行，统计一天的基站告警信息；利用sqoop工具将结果存入MySQL，供前端展示。

我的职责

大数据工程师

参与需求分析，平台环境搭建 ，基站告警统计 ，基站流量监控。

项目时间：2015-11 - 至今

项目名称：鹿鸣呦呦即时通讯系统 | 项目工具：ubuntu

项目描述：

项目介绍

鹿鸣呦呦是一款定位于高端资源与人脉的对接平台，基于MQTT协议开发的，含聊天、商机、人脉与一体的即时通讯软件

我的职责

hadoop、spark、hbase、redis，服务器集群环境搭建维护，项目短信、隐私、商业圈功能性模块开发.flume日志信息收集处理。

个人评价

本人热爱编程，并对从事计算机IT行业的工作拥有浓厚的兴趣

具有良好的团队合作能力，能有效的与队友沟通

具有强烈的责任心

本人接受适应的能力和自学的能力较强，能尽快的熟悉工作环境克服困难

本人性格外向随和，能接受一定强度的加班和出差

个人技能

Web前端

sparkstreaming

spark-core

Oracle

Java

Hive

kafka

hbase

Hadoop

spark-sql

hdfs

MySQL

webservices

【免责声明】本站部分文章来自网络收集，仅供个人研究、交流学习使用，不涉及商业盈利目的。如侵犯了你的权益，请联系QQ：202543917进行删除。