大数据工程技术人员💠 数字职业

职业信息

所属中类：工程技术人员

职业编码：2-02-38-03

职业分类路径：专业技术人员 › 工程技术人员 › 数字技术工程技术人员 › 大数据工程技术人员

“数据里藏着人的痕迹，读懂它才算真正在场。”

一句话定义

大数据工程技术人员是帮企业和机构把海量杂乱的数据变成能用、好看、值钱的信息的人。

常见叫法：平时大家叫数据工程师、大数据开发，也有叫数仓工程师的，侧重把数据整理好存起来方便以后用。

似曾相识

就像超市每天卖出几万样东西，得有人记下来什么好卖、什么时候人多、下次进多少货，这行干的就是从乱七八糟的买卖记录里找出这些门道。

要是没这帮人，医院攒了几十年的病历就是一堆废纸，银行看不出谁可能还不上钱，导航软件也不知道哪条路其实堵死了。

别人常以为这行就是算命预测未来，其实预测只是最后一环，前面花九成功夫在洗数据、修系统、防崩溃上。

主要工作任务

【搭架子与定规矩】琢磨怎么存海量数据才又快又省钱，比如把视频、账单、传感器记录这些不同类型的东西分门别类放好，解决数据一多就查不动、存不起的矛盾。
研究市面上各种大数据平台的门道，挑合适的或者自己搭一套，解决老板想上马大数据但不知道从哪下手的矛盾。
【造工具与接水管】把各种软硬件攒成能用的系统，反复测试别漏数据，解决数据从源头到目的地中间断链子、乱格式的矛盾。
【收庄稼与筛沙子】从各种角落把数据抓过来，去掉重复的、填上缺漏的、统一口径，解决原始数据脏得没法用的矛盾。
给数据建模型、做分析，挖出里头的规律，解决老板拍脑袋决策没依据的矛盾。
【看大门与擦屁股】盯着系统别崩，出毛病赶紧修，解决数据一停全公司抓瞎的矛盾。
防着数据被人偷、被改、被滥用，解决丢了数据要吃官司、砸牌子的矛盾。
外行人想上大数据项目时，给他说清楚这事能不能成、要花多大劲，解决不懂技术的人被忽悠或者不敢用的矛盾。

工作场景

这帮人最常待的地方分两头：一头是互联网公司、银行、大商场的数据中心或者办公楼，一头是给政府、医院、工厂做项目的现场。

身边最典型的是成排的电脑屏幕，有的跑满代码，有的跳着各种曲线图表，空调开得足，晚上也亮着灯。

打交道最多的是业务部门的人，比如销售、风控、产品的，他们提需求；还有管机房的、管网络的，一起保系统不宕。

容易混淆的工种

协作工种

数据库运行管理员一起保证数据存得进、取得出，崩了能恢复。

信息安全测试员一起查系统漏洞，防数据泄露和被黑。

项目管理工程技术人员一起掐时间、控成本，别让需求乱飞。

工作时间

这行节奏跟着项目走，平时朝九晚六也有，赶上线连轴转也有，半夜被叫起来修系统不算稀奇，忙闲不均。

节假日系统不能停，轮班盯着是常态，大促、年底结算这些时候基本全员在岗。

怎么入行

大多数人是从计算机、软件、统计这些相关专业毕业进来的，校招进互联网公司或者乙方集成商是主路。也有不少人原先干普通程序员、数据库管理，半路转过来的，通常得补分布式系统、数据仓库这些课。入行一般要通过用人单位的技术面试，有的单位要求有相关的职业资格认证，具体考什么因单位而异。这行对逻辑思维和排查问题的耐力有硬要求，坐不住、看见报错就烦的人干不长。