大數(shù)據(jù)工程師任職要求14篇

第1篇 貴金屬大數(shù)據(jù)工程師崗位職責(zé)

大數(shù)據(jù)工程師 工作職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)框架的研發(fā)設(shè)計(jì)工作。

2.通過(guò)對(duì)貴金屬業(yè)務(wù)規(guī)則的理解，完成對(duì)數(shù)據(jù)的分析和處理。

3.開(kāi)發(fā)數(shù)據(jù)后臺(tái)，將數(shù)據(jù)分析結(jié)果呈現(xiàn)到前端。

任職要求:

1.全日制本科以上學(xué)歷，計(jì)算機(jī)，數(shù)學(xué)或統(tǒng)計(jì)相關(guān)專(zhuān)業(yè)。

2.有數(shù)據(jù)分析，數(shù)據(jù)處理等相關(guān)領(lǐng)域的工作經(jīng)驗(yàn)。

3.有pb級(jí)別的文本數(shù)據(jù)的清洗和處理經(jīng)驗(yàn)。

4.熟悉常用的大數(shù)據(jù)技術(shù)。如:spark streaming，hbase，kafka 等。

5.熟悉java開(kāi)發(fā)語(yǔ)言。

第2篇 流媒體大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)直播端及服務(wù)端海量用戶(hù)行為數(shù)據(jù)的加工處理，數(shù)據(jù)洞察驅(qū)動(dòng)業(yè)務(wù)優(yōu)化；

2、打造業(yè)界領(lǐng)先的大數(shù)據(jù)平臺(tái)，支撐數(shù)據(jù)采集，加工，建模，分析，實(shí)驗(yàn)，可視化的全流程；

3、打造業(yè)界領(lǐng)先的分布式計(jì)算，存儲(chǔ)系統(tǒng)，解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問(wèn)題。

任職要求：

1、熱愛(ài)計(jì)算機(jī)科學(xué)和互聯(lián)網(wǎng)技術(shù)，優(yōu)秀的編碼能力，樂(lè)于快速學(xué)習(xí)和嘗試新技術(shù)、新工具；

2、對(duì)開(kāi)源大數(shù)據(jù)系統(tǒng)有相關(guān)經(jīng)驗(yàn)者優(yōu)先，包括但不限于hadoop/spark/hive/flink/kafka/druid 等；

3、對(duì)數(shù)據(jù)敏感，掌握量化分析方法，善于從數(shù)據(jù)中發(fā)現(xiàn)問(wèn)題者優(yōu)先。

第3篇 大數(shù)據(jù)工程師-數(shù)據(jù)流方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)字節(jié)跳動(dòng)所有產(chǎn)品線風(fēng)控方向的數(shù)據(jù)流和相關(guān)數(shù)據(jù)服務(wù)；

2、面向超大規(guī)模數(shù)據(jù)問(wèn)題，每天處理千億增量的用戶(hù)行為數(shù)據(jù)；

3、負(fù)責(zé)流式數(shù)據(jù)的實(shí)時(shí)傳遞，清洗，轉(zhuǎn)換，計(jì)算，并對(duì)外提供查詢(xún)服務(wù)；

4、負(fù)責(zé)相同數(shù)據(jù)集的批處理功能。

任職要求：

1、有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn)，編碼能力強(qiáng)悍，具備生產(chǎn)系統(tǒng)快速 trouble-shooting 的經(jīng)驗(yàn)和能力；

2、熟悉大數(shù)據(jù)處理工具/框架中的一項(xiàng)或多項(xiàng)，包括但不限于hadoop， mapreduce， hive， storm， spark， druid， kafka， hbase， canal，es等；

3、對(duì)開(kāi)源社區(qū)有過(guò)貢獻(xiàn)者優(yōu)先，請(qǐng)?jiān)诤?jiǎn)歷上說(shuō)明。

第4篇 微信安全大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

通過(guò)海量數(shù)據(jù)挖掘建立微信安全畫(huà)像和數(shù)據(jù)倉(cāng)庫(kù)，協(xié)助在線策略進(jìn)行安全控制

構(gòu)建機(jī)器學(xué)習(xí)無(wú)監(jiān)督或有監(jiān)督算法模型，協(xié)助精準(zhǔn)識(shí)別微信體系內(nèi)各種惡意行為

建立大規(guī)模文本內(nèi)容識(shí)別能力，包括但不限于文本分類(lèi)，聚類(lèi)等常見(jiàn)nlp任務(wù)模式

任職要求：

數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)、自然語(yǔ)言處理等相關(guān)專(zhuān)業(yè)碩士及以上學(xué)歷；或者三年以上互聯(lián)網(wǎng)數(shù)據(jù)分析和大數(shù)據(jù)開(kāi)發(fā)相關(guān)工作經(jīng)驗(yàn)；

熟悉經(jīng)典的聚類(lèi)、分類(lèi)等機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法，有大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；

熟練掌握c++/java/scala/python等至少一門(mén)編程語(yǔ)言。

有主流大數(shù)據(jù)平臺(tái)spark/hadoop/flink/storm等平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉分布式計(jì)算原理優(yōu)先

第5篇 增長(zhǎng)大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

負(fù)責(zé)用戶(hù)增長(zhǎng)方向的離線和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)體系建設(shè)工作，提升數(shù)據(jù)分析工作的效率；

結(jié)合內(nèi)外部數(shù)據(jù)，構(gòu)建完整的用戶(hù)生命周期行為數(shù)據(jù)體系；

構(gòu)建的支持用戶(hù)增長(zhǎng)的數(shù)據(jù)分析產(chǎn)品，支持快速的深度分析海量ab測(cè)試實(shí)驗(yàn)結(jié)果；

深度分析用戶(hù)行為、行業(yè)情況和ab測(cè)試數(shù)據(jù)，利用數(shù)據(jù)挖掘算法對(duì)多維數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析。

任職要求：

本科及以上學(xué)歷，計(jì)算機(jī)、統(tǒng)計(jì)、數(shù)學(xué)、通信等理工類(lèi)相關(guān)專(zhuān)業(yè)；

熟悉數(shù)據(jù)倉(cāng)庫(kù)理論和技術(shù)體系，熟練掌握sql/hive/mapreduce/spark/flink等大規(guī)模數(shù)據(jù)處理技術(shù)；

至少精通（python/java/scala/c++/r）一門(mén)編程語(yǔ)言，熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu) ；

有分布式計(jì)算、分布式存儲(chǔ)、數(shù)據(jù)挖掘經(jīng)驗(yàn)者優(yōu)先，有開(kāi)發(fā)設(shè)計(jì)用戶(hù)畫(huà)像方面經(jīng)驗(yàn)者優(yōu)先；

熟悉實(shí)時(shí)計(jì)算框架和相關(guān)處理技術(shù)者優(yōu)先；

熟悉growth hacking，或?qū)Υ朔较蛴信d趣者優(yōu)先。

第6篇 大數(shù)據(jù)工程師-廣告系統(tǒng)職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)字節(jié)跳動(dòng)海量用戶(hù)行為數(shù)據(jù)的處理，在分布式計(jì)算平臺(tái)基礎(chǔ)上建立高效、實(shí)時(shí)的數(shù)據(jù) pipeline；

2、負(fù)責(zé)推薦系統(tǒng)、廣告系統(tǒng)的數(shù)據(jù)分析，發(fā)現(xiàn)模式與規(guī)律，為實(shí)驗(yàn)解釋、系統(tǒng)改進(jìn)提供數(shù)據(jù)支持；

3、負(fù)責(zé) hadoop，spark 等大數(shù)據(jù)基礎(chǔ)設(shè)施和平臺(tái)的改進(jìn)，解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問(wèn)題。

任職要求：

1、2019屆畢業(yè)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)；

2、熱愛(ài)計(jì)算機(jī)科學(xué)和互聯(lián)網(wǎng)技術(shù)，優(yōu)秀的編碼能力，樂(lè)于快速學(xué)習(xí)和嘗試新技術(shù)、新工具；

3、對(duì)數(shù)據(jù)敏感，掌握量化分析方法，善于從數(shù)據(jù)中發(fā)現(xiàn)問(wèn)題，提出假設(shè)并使用數(shù)據(jù)進(jìn)行驗(yàn)證；

4、對(duì)至少一項(xiàng)分布式計(jì)算平臺(tái)有使用經(jīng)驗(yàn)，例如 hadoop，spark，hive，storm，kafka 等；

5、有參與開(kāi)源項(xiàng)目對(duì)社區(qū)有貢獻(xiàn)的經(jīng)歷，有互聯(lián)網(wǎng)公司實(shí)習(xí)經(jīng)歷，有大數(shù)據(jù)處理或用戶(hù)行為數(shù)據(jù)分析經(jīng)驗(yàn)者優(yōu)先。

第7篇 大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

這是一個(gè)為商業(yè)人工智能領(lǐng)域構(gòu)建實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)的工作機(jī)會(huì)。我們希望您具備計(jì)算機(jī)科學(xué)或者相關(guān)專(zhuān)業(yè)領(lǐng)域的專(zhuān)業(yè)背景，并擁有構(gòu)建分布式可擴(kuò)展數(shù)據(jù)處理及大數(shù)據(jù)存儲(chǔ)方面的豐富經(jīng)驗(yàn)。您將擔(dān)任跨職能的團(tuán)隊(duì)中的重要角色。我們希望您斗志昂揚(yáng)，注重結(jié)果，積極主動(dòng)，具備推動(dòng)產(chǎn)品的增長(zhǎng)和成功的成功經(jīng)驗(yàn)。

工作職責(zé)

?在云端或者本地集群上構(gòu)建可擴(kuò)展的實(shí)時(shí)數(shù)據(jù)處理流水線，收集、轉(zhuǎn)換、加載并管理各類(lèi)數(shù)據(jù)源

?構(gòu)建可擴(kuò)展的分布式數(shù)據(jù)存儲(chǔ)

?確保所構(gòu)建的數(shù)據(jù)處理管道具有高質(zhì)量并可審計(jì)

?開(kāi)發(fā)相關(guān)工具以?xún)?yōu)化數(shù)據(jù)的提取、分析及可視化效率

?評(píng)估數(shù)據(jù)工程領(lǐng)域的新技術(shù)，并開(kāi)發(fā)原型，以持續(xù)改善工作

?與框架和其他團(tuán)隊(duì)合作，確保系統(tǒng)運(yùn)行符合設(shè)計(jì)預(yù)期

工作要求

?全日制碩士以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，cet6

?具備大數(shù)據(jù)相關(guān)技術(shù)例如spark， kafka， hadoop， hbase， hive等的豐富經(jīng)驗(yàn)

?具備五年以上java、scala、python相關(guān)工作經(jīng)驗(yàn)，mysql， redshift等sql相關(guān)經(jīng)驗(yàn)

?具備三年以上可擴(kuò)展實(shí)時(shí)etl開(kāi)發(fā)經(jīng)驗(yàn)

?熟悉azure/aws/gcp相關(guān)工具與知識(shí)

?良好的書(shū)面/口頭溝通技巧

?具備機(jī)器學(xué)習(xí)算法方面工作經(jīng)驗(yàn)者優(yōu)先

第8篇 大數(shù)據(jù)工程師（電商行業(yè)）職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、基于hive的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、etl開(kāi)發(fā)；

2、使用hive/flink等平臺(tái)進(jìn)行分析內(nèi)部及外部的數(shù)據(jù)，配合業(yè)務(wù)團(tuán)隊(duì)進(jìn)行定量和定性分析，把數(shù)據(jù)轉(zhuǎn)化成為業(yè)務(wù)增值的信息；

3、探索、評(píng)估新的技術(shù)和解決方案，提高數(shù)據(jù)并行計(jì)算能力和運(yùn)行速度。

任職要求：

1、熟悉大數(shù)據(jù)相關(guān)技術(shù)：kafka/flink/hadoop/druid/hbase 等；

2、具備數(shù)據(jù)庫(kù)系統(tǒng)理論知識(shí)，掌握主流數(shù)據(jù)庫(kù)管理和應(yīng)用，精通sql；

3、了解統(tǒng)計(jì)以及數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能技術(shù)，會(huì)使用關(guān)聯(lián)分析、分類(lèi)預(yù)測(cè)、聚類(lèi)分析等常用分析方法；

4、熟練使用 java、python、php、go語(yǔ)言中的一種或者多種；

6、兩年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，有高性能分布式平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，有電商行業(yè)經(jīng)驗(yàn)優(yōu)先。

第9篇 高級(jí)大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé):

1、參與大數(shù)據(jù)開(kāi)放平臺(tái)基礎(chǔ)能力建設(shè)，承擔(dān)系統(tǒng)架構(gòu)、組件開(kāi)發(fā)、方案驗(yàn)證等工作；

2、參與構(gòu)建大數(shù)據(jù)系列產(chǎn)品，包括但不限于用戶(hù)畫(huà)像、用戶(hù)增長(zhǎng)與用戶(hù)經(jīng)營(yíng)、數(shù)據(jù)分析挖掘、實(shí)時(shí)計(jì)算、數(shù)據(jù)分發(fā)、機(jī)器學(xué)習(xí)平臺(tái)、風(fēng)控反欺詐等產(chǎn)品線；

任職要求：

1、 統(tǒng)招本科或以上學(xué)歷，5年以上大數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn)；

2、扎實(shí)的java基礎(chǔ)，能熟練使用java進(jìn)行軟件功能開(kāi)發(fā)；

3、熟練掌握基于hadoop生態(tài)的大數(shù)據(jù)開(kāi)發(fā)工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有實(shí)時(shí)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；

4、熟悉常用的數(shù)據(jù)挖掘算法，例如聚類(lèi)、回歸、決策樹(shù)等，有過(guò)nlp項(xiàng)目經(jīng)驗(yàn)優(yōu)先；

5、有過(guò)互聯(lián)網(wǎng)公司數(shù)據(jù)倉(cāng)庫(kù)、分析系統(tǒng)、用戶(hù)畫(huà)像、廣告平臺(tái)等產(chǎn)品開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

6、工作積極主動(dòng)，善于合作，敏而好學(xué)；

第10篇 大數(shù)據(jù)工程師崗位工作職責(zé)

簡(jiǎn)介:大數(shù)據(jù)(big data),指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)工程師職位描述(模板一)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開(kāi)發(fā);

2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;

3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開(kāi)發(fā)、維護(hù)、優(yōu)化;

4.對(duì)業(yè)務(wù)部門(mén)的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;

5.對(duì)公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。

任職要求:

1.計(jì)算機(jī)相關(guān)專(zhuān)業(yè),本科及以上學(xué)歷,3年以上java開(kāi)發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;

2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見(jiàn)項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開(kāi)發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫(kù);

4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計(jì),熟悉web開(kāi)發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開(kāi)發(fā)經(jīng)驗(yàn);

5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問(wèn)題的能力。大數(shù)據(jù)工程師職位描述(模板二)

崗位職責(zé):

1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);

2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);

3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。

任職要求:

1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專(zhuān)業(yè)畢業(yè);

2.具有扎實(shí)的java基礎(chǔ),精通sql、mysql以及2年以上軟件開(kāi)發(fā)經(jīng)驗(yàn);

3.熟悉hadoop平臺(tái)架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗(yàn);

4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁(yè)爬取;

5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、設(shè)計(jì)、優(yōu)化和落地;

2.負(fù)責(zé)數(shù)據(jù)etl開(kāi)發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開(kāi)發(fā)。

任職要求:

1.985院校計(jì)算機(jī)相關(guān)專(zhuān)業(yè)本科以上學(xué)歷;

2.有較扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);

3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)

崗位職責(zé):

1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開(kāi)發(fā)工作;

2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場(chǎng)景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營(yíng)指標(biāo);

3.對(duì)產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。

任職要求:

1.計(jì)算機(jī)或者相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握java開(kāi)發(fā)語(yǔ)言,熟悉多線程和線程調(diào)優(yōu),如懂scala開(kāi)發(fā)更佳;

3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;

4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開(kāi)發(fā),有大型集群開(kāi)發(fā)運(yùn)維經(jīng)驗(yàn)更佳;

5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲(chóng);

6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)

崗位職責(zé):

1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開(kāi)發(fā)工作;

2.利用hadoop yarn/storm/spark進(jìn)行開(kāi)發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);

3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿(mǎn)足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;

4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;

5.開(kāi)發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。

任職要求:

1.3年以上hadoop/storm/spark開(kāi)發(fā)經(jīng)驗(yàn),對(duì)分布式、并行計(jì)算理論有深刻理解;

2.精通java/scala/python任一語(yǔ)言;

3.對(duì)hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工作經(jīng)驗(yàn)者優(yōu)先;

4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;

5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫(xiě)能力。

第11篇 大數(shù)據(jù)工程師-流式計(jì)算職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1.負(fù)責(zé)對(duì)核心業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化/半自動(dòng)化抽取、清洗、轉(zhuǎn)化、標(biāo)注等工作；

2.負(fù)責(zé)根據(jù)需求建立數(shù)據(jù)模型、進(jìn)行全網(wǎng)數(shù)據(jù)在線抽取分析；

3.負(fù)責(zé)算法的工程化、產(chǎn)品化工作；關(guān)注機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等方向前沿研究，并能將具體場(chǎng)景建模后與之結(jié)合快速工程化并落地；

4.完成各種面向業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型的定義和應(yīng)用開(kāi)發(fā)規(guī)范的制定，并保證數(shù)據(jù)質(zhì)量；

5.負(fù)責(zé)大數(shù)據(jù)計(jì)算平臺(tái)的研發(fā)工作。

任職要求：

1.計(jì)算機(jī)、信息系統(tǒng)、數(shù)學(xué)或相近專(zhuān)業(yè)本科以上學(xué)歷，4年以上軟件研發(fā)經(jīng)驗(yàn)；

2.精通spark／hadoop/hive/hbase/并有實(shí)戰(zhàn)經(jīng)驗(yàn)；

3.有scala， java， python等開(kāi)發(fā)經(jīng)驗(yàn)，精通sql；

4.有海量在線、離線數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)；

5.精通主流數(shù)據(jù)挖掘算法及其原理，能根據(jù)業(yè)務(wù)場(chǎng)景，建立挖掘模型，選擇最合適和高效的算法并實(shí)現(xiàn)；

6.需要有責(zé)任心， 工作積極主動(dòng)， 思路清晰，擅長(zhǎng)溝通、有團(tuán)隊(duì)合作精神。

第12篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

【崗位職責(zé)】：

1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；

2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；

3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開(kāi)發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；

4、規(guī)劃與開(kāi)發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；

5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開(kāi)發(fā)流程的討論與優(yōu)化；

6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；

7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫(xiě)、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

【任職資格】：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)；

2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；

3、熟悉大數(shù)據(jù)開(kāi)發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；

5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫(kù)技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；

6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開(kāi)發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式

7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。

8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

第13篇 工業(yè)大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、針對(duì)工廠四大ai場(chǎng)景（機(jī)器視覺(jué)/圖像識(shí)別、機(jī)器學(xué)習(xí)/phm、知識(shí)發(fā)現(xiàn)、自然語(yǔ)言處理），給出有競(jìng)爭(zhēng)力的算法實(shí)現(xiàn)；

2、深入了解業(yè)務(wù)需求，能對(duì)算法和模型應(yīng)用效果進(jìn)行評(píng)估、分析和優(yōu)化等；

3、ai和大數(shù)據(jù)相關(guān)課程開(kāi)發(fā)培訓(xùn)；

任職要求：

1、全日制本科及以上學(xué)歷，有5年以上相關(guān)工作經(jīng)驗(yàn)；

2、曾經(jīng)實(shí)作過(guò)ai算法功能，有深度學(xué)習(xí)項(xiàng)目和相關(guān)經(jīng)驗(yàn)，圖像處理經(jīng)驗(yàn)優(yōu)先考慮；

3、熟悉流行的ai學(xué)習(xí)開(kāi)源工具，如tensorflow等，有計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

4、具備處理、清洗、核定分析數(shù)據(jù)能力，熟悉編程語(yǔ)言python等。

第14篇 大數(shù)據(jù)工程師（ elasticsearch/spark）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1、 負(fù)責(zé)基于elasticsearch的研發(fā)；

2、 負(fù)責(zé)基于spark生態(tài)系統(tǒng)的研發(fā)；

3、 負(fù)責(zé)elasticsearch/spark集群調(diào)優(yōu)；

4、 負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行建模。

任職要求：

1、 大學(xué)本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)；

2、 三年以上工作經(jīng)驗(yàn)；

3、 熟練掌握java/scala后端開(kāi)發(fā)，如多線程、網(wǎng)絡(luò)等；

4、 熟練掌握python、shell中的一種腳本語(yǔ)言；

5、 熟悉spark 生態(tài)系統(tǒng)組件，如：hadoop、flume、kafka、hbase、hive、pig、zookeeper；

6、 熟悉linu_開(kāi)發(fā)環(huán)境；

7、 熟悉elasticsearch、lucene優(yōu)先；

8、 能夠讀懂及書(shū)寫(xiě)英文文檔；

9、 有spark調(diào)優(yōu)、統(tǒng)計(jì)學(xué)知識(shí)的優(yōu)先考慮；

10、 有機(jī)器學(xué)習(xí)經(jīng)驗(yàn)者優(yōu)先考慮；

11、 對(duì)新技術(shù)有孜孜不倦的熱情。