數(shù)據(jù)開發(fā)工程師
10000-15000元
和田地區(qū)
應(yīng)屆畢業(yè)生
本科
和田地區(qū)
應(yīng)屆畢業(yè)生
本科
- 全勤獎(jiǎng)
- 節(jié)日福利
- 不加班
- 周末雙休
職位描述
該職位還未進(jìn)行加V認(rèn)證,請(qǐng)仔細(xì)了解后再進(jìn)行投遞!
崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)庫Doris集群的部署;
2、負(fù)責(zé)基于Hadoop/Hive/Spark/Flink構(gòu)建企業(yè)級(jí)離線/實(shí)時(shí)數(shù)據(jù)倉庫,支撐PB級(jí)數(shù)據(jù)存儲(chǔ)與計(jì)算;
3、設(shè)計(jì)并優(yōu)化ETL流程,實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)(如MySQL、ORACLE、Kafka)的清洗、轉(zhuǎn)換與加載;
4、參與數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì),開發(fā)數(shù)據(jù)服務(wù)接口(如RESTful API)供業(yè)務(wù)系統(tǒng)調(diào)用;
5、診斷并解決Flink實(shí)時(shí)作業(yè)出現(xiàn)問題,通過調(diào)整并行度或優(yōu)化算子邏輯提升吞吐量;
6、保障數(shù)據(jù)中臺(tái)穩(wěn)定運(yùn)行,實(shí)現(xiàn)自動(dòng)巡檢與實(shí)時(shí)告警,報(bào)表需求閉環(huán)管理,保證業(yè)務(wù)正常使用;
7、實(shí)現(xiàn)數(shù)據(jù)庫性能優(yōu)化和高可用、災(zāi)備設(shè)計(jì)方案。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)或相關(guān)專業(yè),有3-5年行業(yè)工作經(jīng)驗(yàn);
2、精通Java/Scala/Python其中一項(xiàng),熟悉Linux環(huán)境及Shell腳本編寫。
3、深入理解Hadoop生態(tài)(HDFS、YARN、Hive、Spark、Flink),掌握MapReduce/DAG計(jì)算模型
4、具備百萬級(jí)TPS場(chǎng)景調(diào)優(yōu)經(jīng)驗(yàn)。
5、精通帆軟FineReport/FineBI,熟悉其數(shù)據(jù)集、參數(shù)、模板等核心功能,掌握DolphinScheduler架構(gòu),熟練使用。
6、熟悉Oracle/MySQL/Hive等數(shù)據(jù)庫,具備SQL調(diào)優(yōu)能力(如索引優(yōu)化、執(zhí)行計(jì)劃分析)。
7、主導(dǎo)過至少1個(gè)PB級(jí)數(shù)據(jù)倉庫建設(shè)項(xiàng)目,有Spark SQL優(yōu)化實(shí)戰(zhàn)經(jīng)驗(yàn),能通過執(zhí)行計(jì)劃分析解決數(shù)據(jù)傾斜問題,熟悉Doris/ClickHouse等OLAP引擎,具備列式存儲(chǔ)優(yōu)化經(jīng)驗(yàn)。
1、負(fù)責(zé)數(shù)據(jù)庫Doris集群的部署;
2、負(fù)責(zé)基于Hadoop/Hive/Spark/Flink構(gòu)建企業(yè)級(jí)離線/實(shí)時(shí)數(shù)據(jù)倉庫,支撐PB級(jí)數(shù)據(jù)存儲(chǔ)與計(jì)算;
3、設(shè)計(jì)并優(yōu)化ETL流程,實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)(如MySQL、ORACLE、Kafka)的清洗、轉(zhuǎn)換與加載;
4、參與數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì),開發(fā)數(shù)據(jù)服務(wù)接口(如RESTful API)供業(yè)務(wù)系統(tǒng)調(diào)用;
5、診斷并解決Flink實(shí)時(shí)作業(yè)出現(xiàn)問題,通過調(diào)整并行度或優(yōu)化算子邏輯提升吞吐量;
6、保障數(shù)據(jù)中臺(tái)穩(wěn)定運(yùn)行,實(shí)現(xiàn)自動(dòng)巡檢與實(shí)時(shí)告警,報(bào)表需求閉環(huán)管理,保證業(yè)務(wù)正常使用;
7、實(shí)現(xiàn)數(shù)據(jù)庫性能優(yōu)化和高可用、災(zāi)備設(shè)計(jì)方案。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)或相關(guān)專業(yè),有3-5年行業(yè)工作經(jīng)驗(yàn);
2、精通Java/Scala/Python其中一項(xiàng),熟悉Linux環(huán)境及Shell腳本編寫。
3、深入理解Hadoop生態(tài)(HDFS、YARN、Hive、Spark、Flink),掌握MapReduce/DAG計(jì)算模型
4、具備百萬級(jí)TPS場(chǎng)景調(diào)優(yōu)經(jīng)驗(yàn)。
5、精通帆軟FineReport/FineBI,熟悉其數(shù)據(jù)集、參數(shù)、模板等核心功能,掌握DolphinScheduler架構(gòu),熟練使用。
6、熟悉Oracle/MySQL/Hive等數(shù)據(jù)庫,具備SQL調(diào)優(yōu)能力(如索引優(yōu)化、執(zhí)行計(jì)劃分析)。
7、主導(dǎo)過至少1個(gè)PB級(jí)數(shù)據(jù)倉庫建設(shè)項(xiàng)目,有Spark SQL優(yōu)化實(shí)戰(zhàn)經(jīng)驗(yàn),能通過執(zhí)行計(jì)劃分析解決數(shù)據(jù)傾斜問題,熟悉Doris/ClickHouse等OLAP引擎,具備列式存儲(chǔ)優(yōu)化經(jīng)驗(yàn)。
工作地點(diǎn)
地址:和田地區(qū)策勒縣kpark四號(hào)樓16層
??
點(diǎn)擊查看地圖
詳細(xì)位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財(cái)物(如體檢費(fèi)、置裝費(fèi)、押金、服裝費(fèi)、培訓(xùn)費(fèi)、身份證、畢業(yè)證等),均涉嫌違法,請(qǐng)求職者務(wù)必提高警惕。
職位發(fā)布者
1589..HR
無錫拈花灣文化投資發(fā)展有限公司
-
旅游·酒店·餐飲服務(wù)
-
1000人以上
-
國有企業(yè)
-
環(huán)山西路68號(hào)

最近更新
1464人關(guān)注
注:聯(lián)系我時(shí),請(qǐng)說是在江蘇人才網(wǎng)上看到的。
