欧美中文字幕在线播放,2017av在线,亚洲国产视频网

小小千想和您聊一聊

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

加入收藏

加關(guān)注領(lǐng)取全套視頻

關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

北京(總部)

A - N

北京｜大連｜廣州｜成都｜杭州｜長沙｜哈爾濱｜合肥｜貴陽｜南京｜濟(jì)南

O - Z

上海｜深圳｜武漢｜鄭州｜西安｜青島｜重慶｜太原｜沈陽｜南昌

400-811-9990

首頁 品質(zhì)課程 教研師資 校企服務(wù) 技術(shù)干貨行業(yè)資訊職場就業(yè) 面試題問答庫 關(guān)于千鋒

定制大數(shù)據(jù)學(xué)習(xí)方案

現(xiàn)在了解 >

了解未來發(fā)展趨勢

現(xiàn)在了解 >

免費(fèi)領(lǐng)取學(xué)習(xí)資料

一鍵獲取 >

了解老學(xué)員薪資

立即查看 >

為什么學(xué)習(xí)大數(shù)據(jù)+數(shù)據(jù)智能？

大數(shù)據(jù)浪潮席卷全球，應(yīng)用領(lǐng)域?qū)拸V，產(chǎn)業(yè)規(guī)模空前
就業(yè)口徑寬廣，價(jià)值堪比黃金石油，“錢途”無量

應(yīng)用范圍廣

大數(shù)據(jù)時(shí)代，大數(shù)據(jù)幾乎沒有
行業(yè)限制

崗位天花板高

時(shí)代大趨勢，未來前景好，職場
雙渠道發(fā)展

崗位起薪高

大數(shù)據(jù)人才缺口大，人才薪資
待遇好

物流

醫(yī)療

科技

新能源

農(nóng)業(yè)

工業(yè)

大數(shù)據(jù)
應(yīng)用廣泛

交通

醫(yī)療

教育

信用

傳媒

金融

電信

P線

數(shù)據(jù)科學(xué)家

大數(shù)據(jù)研究員

大數(shù)據(jù)架構(gòu)師

大數(shù)據(jù)專家

M線

CTO

數(shù)據(jù)總監(jiān)

項(xiàng)目經(jīng)理

大數(shù)據(jù)高級工程師

大數(shù)據(jù)中級工程師

大數(shù)據(jù)近年來薪資變化趨勢

12.0K

2016年

18.4K

2017年

22.8K

2018年

21.9K

2019年

21.8K

2020年

24.9K

2021年

27.7K

2022年

此處數(shù)據(jù)來源職友集，樣本選取截止日期為2023年3月23日，僅作內(nèi)容展示，不作效果承諾

更多大數(shù)據(jù)行業(yè)前景

千鋒大數(shù)據(jù)課程特色優(yōu)勢

主流實(shí)用技術(shù)

理論到實(shí)踐，根據(jù)企業(yè)市場需求，聚焦數(shù)據(jù)倉庫+數(shù)據(jù)開發(fā)，掌握實(shí)用技術(shù)

大廠實(shí)戰(zhàn)項(xiàng)目

大廠實(shí)際業(yè)務(wù)場景與案例，大廠PB級項(xiàng)目 1:1 引進(jìn)課堂，多類型聯(lián)合項(xiàng)目，沉浸式學(xué)習(xí)

特色課程體系

實(shí)戰(zhàn)項(xiàng)目貫穿教學(xué)過程，理論+實(shí)戰(zhàn)+就業(yè)，一站式培養(yǎng)優(yōu)秀人才

實(shí)戰(zhàn)老師授課

千鋒總監(jiān)級導(dǎo)師授課，豐富實(shí)戰(zhàn)及教學(xué)經(jīng)驗(yàn)，實(shí)力助力學(xué)習(xí)

豐富學(xué)習(xí)資源

大廠授課平臺，線上云實(shí)驗(yàn)環(huán)境、企業(yè)級數(shù)據(jù)集、項(xiàng)目案例、畢業(yè)設(shè)計(jì)案例等

未來職場賦能

老學(xué)員一次學(xué)習(xí)長期職場賦能，定期直播、論壇、講座，多方位職場進(jìn)階

更多課程優(yōu)勢

大數(shù)據(jù)多元化課程滿足不同學(xué)習(xí)需求

大數(shù)據(jù)面授班

大數(shù)據(jù)時(shí)代開啟職場新起點(diǎn)

從0到1，小白到精英，入門+進(jìn)階課程

理論+實(shí)戰(zhàn)深入技術(shù)源碼

學(xué)前+學(xué)習(xí)+生活+求職+職后”一站式服務(wù)

全國20+校區(qū)分布，可就近學(xué)習(xí)

學(xué)完能找到什么工作

大數(shù)據(jù)職后課

跟隨時(shí)代腳步未來職場加油站

職場人拓展技術(shù)棧，增加職場核心競爭力

數(shù)據(jù)"采、傳、存、算、用、管"企業(yè)高頻技術(shù)

有技術(shù)經(jīng)驗(yàn)者轉(zhuǎn)型、突破職場瓶頸

隨時(shí)隨地碎片化時(shí)間學(xué)

課程要學(xué)多久

四大核心階段系統(tǒng)掌握實(shí)用技能

第一階段 Java SE編程 & MySQL+Java EE開發(fā)（1-6周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動山搖”。

本階段可以說是大數(shù)據(jù)研發(fā)人員不可或缺的一部分，內(nèi)容涵蓋基礎(chǔ)理論、實(shí)踐操作、綜合練習(xí)及項(xiàng)目等，專注于Java SE編程、MySQL關(guān)系型數(shù)據(jù)庫、JDBC、Maven、Git和SpringBoot等實(shí)用技術(shù)，為大數(shù)據(jù)的深入學(xué)習(xí)打下堅(jiān)實(shí)根基。

0基礎(chǔ)

入門，易學(xué)習(xí)，上手快

200+

核心知識點(diǎn)

10+

真場景實(shí)戰(zhàn)及解決方案

100+

高頻面試點(diǎn)

實(shí)用技術(shù)（部分）

Java 基礎(chǔ)語法、Java面向?qū)ο蟆⒊Ｓ妙悺惓！⒓稀ava多線程、IO、MySQL+JDBC、Maven、Git、SpringBoot

學(xué)完收獲

1 掌握J(rèn)ava編程語法與規(guī)范、面向?qū)ο蠹跋嚓P(guān)實(shí)踐

2 掌握J(rèn)ava常用數(shù)據(jù)結(jié)構(gòu)、常用類和異常等

3 掌握多線程、數(shù)據(jù)流、并發(fā)和IO操作

4 掌握MySQL相關(guān)SQL編寫操作和JDBC

5 掌握企業(yè)級SprigBoot與Java EE開發(fā)工具等

第二階段 Hadoop生態(tài)技術(shù) & 數(shù)據(jù)倉庫開發(fā)（7-12周）

Hadoop生態(tài)技術(shù)與數(shù)據(jù)倉庫開發(fā)堪稱大數(shù)據(jù)鼻祖，占據(jù)企業(yè)大數(shù)據(jù)研發(fā)半壁江山。

本階段理論結(jié)合實(shí)踐，專注數(shù)據(jù)倉庫及周邊，覆蓋Linux、Shell、Zookeeper、Hadoop、Hive、Hue、DBeaver、Kettle、Superset、FineBI、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫方法論等實(shí)用技術(shù)及企業(yè)級離線數(shù)據(jù)倉庫項(xiàng)目實(shí)踐。助力從0到1掌握大數(shù)據(jù)硬技術(shù)，直擊企業(yè)大數(shù)據(jù)所需。

數(shù)據(jù)倉庫

著重SQL，輔助代碼

10+

真場景實(shí)戰(zhàn)項(xiàng)目教學(xué)

50+

大廠顧問，復(fù)刻企業(yè)真實(shí)場景

500+

核心技能，攻略企業(yè)技術(shù)棧

實(shí)用技術(shù)（部分）

Linux操作系統(tǒng)、Shell腳本編程、Zookeeper、Hadoop生態(tài)技術(shù)、Hive、Hue、Kettle、FineBI && FineReport、Superset、BI分析與可視化項(xiàng)目、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫技術(shù)、離線數(shù)據(jù)倉庫項(xiàng)目、基于ODPS電商數(shù)據(jù)倉庫項(xiàng)目、自研數(shù)據(jù)倉庫項(xiàng)目

學(xué)完收獲

1 掌握數(shù)據(jù)Hadoop生態(tài)相關(guān)技術(shù)及實(shí)踐

2 掌握數(shù)據(jù)倉庫ETL工具實(shí)踐與性能調(diào)優(yōu)

3 掌握數(shù)據(jù)分析與可視化工具的應(yīng)用

4 掌握數(shù)據(jù)倉庫方法論、建設(shè)流程和規(guī)范

5 掌握企業(yè)級數(shù)據(jù)倉庫實(shí)施流程及問題與解決方案

第三階段 Spark生態(tài)技術(shù) & 企業(yè)級項(xiàng)目開發(fā)（13-18周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動山搖”。

專注Spark

原理及代碼研發(fā)

強(qiáng)化SQL

編程能力

200+

大廠解決方案

企業(yè)級

項(xiàng)目實(shí)戰(zhàn)，手把手帶你學(xué)

實(shí)用技術(shù)（部分）

Scala高級編程、Kafka、Redis、ClickHouse、SparkCore核心、SparkSQL、Structured Streaming、趣頭條準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉庫工程實(shí)踐、趣頭條用戶畫像工程實(shí)踐、企業(yè)級推薦系統(tǒng)工程實(shí)踐

學(xué)完收獲

1 掌握Scala高級編程技能，涵Scala面向?qū)ο蟆⒎椒ê瘮?shù)、模式匹配和隱式轉(zhuǎn)換等

2 掌握Spark Core相關(guān)核心概念和操作實(shí)踐

3 掌握SparkSQL數(shù)據(jù)抽象、SQL編寫、函數(shù)應(yīng)用和執(zhí)行流程與優(yōu)化

4 掌握Kafka、Redis和ClickHouse等相關(guān)工具概念及應(yīng)用

5 掌握企業(yè)級大數(shù)據(jù)用戶畫像和推薦系統(tǒng)等項(xiàng)目開發(fā)

第四階段 Flink批流一體技術(shù) & 實(shí)時(shí)數(shù)據(jù)開發(fā)（19-20周）

Flink批流一體生態(tài)技術(shù)與實(shí)時(shí)數(shù)據(jù)開發(fā)是大數(shù)據(jù)當(dāng)前流行和較為成熟的技術(shù)，應(yīng)用場景增多，企業(yè)要求不斷提高。

本階段內(nèi)容契合市場需求，覆蓋Flink、FlinkSQL、Canal、Maxwell、CDC、實(shí)時(shí)數(shù)據(jù)倉庫和基于阿里云的Flink等核心技能，同時(shí)也包含實(shí)時(shí)數(shù)據(jù)開發(fā)和實(shí)時(shí)數(shù)倉開發(fā)實(shí)戰(zhàn)。助力學(xué)員全面掌握大數(shù)據(jù)實(shí)時(shí)研發(fā)技術(shù)生態(tài)，直達(dá)企業(yè)級大數(shù)據(jù)全棧工程師。

專注大數(shù)據(jù)

實(shí)時(shí)研發(fā)技術(shù)Flink及生態(tài)

加強(qiáng)SQL

解決企業(yè)級實(shí)時(shí)需求

大廠顧問

聯(lián)合共研，直擊企業(yè)所需

100+企業(yè)級

高頻實(shí)時(shí)技術(shù)問題

實(shí)用技術(shù)（部分）

Flink批流技術(shù)、Canal、maxwell、FlinkSQL編程、基于阿里云大數(shù)據(jù)實(shí)時(shí)項(xiàng)目、實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目、高頻面試題、簡歷制作

學(xué)完收獲

1 掌握Flink批流一體實(shí)用技術(shù)概念與實(shí)踐

2 掌握實(shí)時(shí)數(shù)據(jù)采集工具Canal和Maxwell原理與應(yīng)用

3 掌握Flink SQL數(shù)據(jù)類型、連接器、函數(shù)、CDC與Hive整合等

4 掌握基于原生和商業(yè)Flink的實(shí)時(shí)數(shù)據(jù)開發(fā)

一鍵查看詳細(xì)課程大綱

課程全新升級重構(gòu)業(yè)務(wù)知識體系

覆蓋場景
更廣全

企業(yè)級項(xiàng)目與自研項(xiàng)目結(jié)合

1:1還原大廠實(shí)際業(yè)務(wù)場景，數(shù)據(jù)倉庫類項(xiàng)目為主，數(shù)據(jù)開發(fā)類項(xiàng)目為輔，自研企業(yè)項(xiàng)目，錘煉企業(yè)開發(fā)實(shí)戰(zhàn)能力。

自研企業(yè)級數(shù)據(jù)倉庫項(xiàng)目

企業(yè)級推薦系統(tǒng)

數(shù)據(jù)分析與可視化項(xiàng)目

實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目

用戶畫像工程實(shí)踐

符合
主流趨勢

與一線大廠共研主流技術(shù)

企業(yè)主流應(yīng)用技術(shù)體系，開源與商業(yè)環(huán)境共用，理論輔助實(shí)踐，強(qiáng)化場景應(yīng)用與優(yōu)化。

Hadoop、Spark和Flink生態(tài)及優(yōu)化

Hive、SparkSQL、Kettle和數(shù)據(jù)倉庫方法論

FineBI和Superset數(shù)據(jù)分析與可視化體系

DolphinScheduler企業(yè)級任務(wù)調(diào)度

兼具
深度廣度

大數(shù)據(jù)技術(shù)生態(tài)源碼深入

直擊Hadoop、Spark和Flink等生態(tài)技術(shù)源碼，深入剖析運(yùn)行原理和性能調(diào)優(yōu)。

HDFS存儲、Checkpoint和MapReduce執(zhí)行流程源碼

Hive運(yùn)行源碼、DataX任務(wù)切分源碼

Spark提交和SQL執(zhí)行流程源碼

沉浸式
實(shí)戰(zhàn)

企業(yè)級項(xiàng)目與自研項(xiàng)目結(jié)合

企業(yè)級大數(shù)據(jù)云服務(wù)與環(huán)境實(shí)踐，云主機(jī)、云數(shù)據(jù)庫、大數(shù)據(jù)云服務(wù)與部署等，直擊企業(yè)所需。

ECS云主機(jī)

云數(shù)據(jù)庫實(shí)踐

云上大數(shù)據(jù)服務(wù)

了解升級課程

引進(jìn)大廠項(xiàng)目在實(shí)戰(zhàn)中夯實(shí)大數(shù)據(jù)技能

專注大數(shù)據(jù)中、高階工程師技能

多學(xué)科協(xié)作

覆蓋前端、中臺、后臺全流程，精進(jìn)高難度大型項(xiàng)目實(shí)戰(zhàn)能力

跨平臺實(shí)施

項(xiàng)目交叉融合PC端、移動端、智能端，各平臺功能實(shí)現(xiàn)

真場景實(shí)操

還原企業(yè)真實(shí)開發(fā)場景，學(xué)實(shí)用實(shí)用技術(shù)

全流程參與

項(xiàng)目交叉融合PC端、移動端、智能端，各平臺功能實(shí)現(xiàn)

高標(biāo)準(zhǔn)驗(yàn)收

覆超高驗(yàn)收標(biāo)準(zhǔn)，確保項(xiàng)目無BUG，流暢運(yùn)行

數(shù)據(jù)
倉庫

團(tuán)隊(duì)
協(xié)作能力

核心
競爭力

落地
實(shí)踐

溝通
表達(dá)能力

多場景
實(shí)戰(zhàn)

職場
賦能

企業(yè)業(yè)務(wù)
解決方案

理論
+實(shí)踐

源碼
深入

數(shù)據(jù)
開發(fā)

電商數(shù)據(jù)分析與可視化

電商離線數(shù)據(jù)倉庫

基于ODPS離線數(shù)據(jù)倉庫

云學(xué)習(xí)平臺用戶畫像（三選一）

電商平臺自研項(xiàng)目（三選一）

問答大數(shù)據(jù)平臺

企業(yè)級工程推薦系統(tǒng)

電商數(shù)據(jù)分析與可視化

數(shù)據(jù)BI與可視化項(xiàng)目是大數(shù)據(jù)典型的應(yīng)用之一，也是大數(shù)據(jù)中非常重要的項(xiàng)目，本項(xiàng)目主要使用：Kettle、MySQL和FineBI等相關(guān)技術(shù)構(gòu)建，對數(shù)據(jù)倉庫已經(jīng)加工好的數(shù)據(jù)進(jìn)行報(bào)表展示、趨勢研判和數(shù)據(jù)大屏展示等，為企業(yè)高層決策提供支持。

技術(shù)架構(gòu)

Kettle+MySQL+FineBI+FineReport

項(xiàng)目職責(zé)

1.商數(shù)據(jù)報(bào)表和看板需求分析
2.電商數(shù)據(jù)庫連接，使用Kettle進(jìn)行數(shù)據(jù)ETL加工處理
3.對用戶和訂單等主題域的數(shù)據(jù)進(jìn)行報(bào)表和看板制作
4. 全國地圖圖表數(shù)據(jù)加工和數(shù)據(jù)綁定
5.電商的復(fù)購分析、RFM和留存等常見模型分析開發(fā)
6.可視化看板域報(bào)表的權(quán)限配置、分享和發(fā)布

電商離線數(shù)據(jù)倉庫

離線數(shù)據(jù)倉庫是大數(shù)據(jù)中的一個(gè)基礎(chǔ)性項(xiàng)目，幾乎有數(shù)據(jù)的企業(yè)都需要的一個(gè)項(xiàng)目。離線數(shù)倉有很多實(shí)現(xiàn)方式，項(xiàng)目主要基于：DataX、Hadoop、Flume、Hive、Spark、DolphinScheudler、Python、Shell等技術(shù)搭建。整個(gè)項(xiàng)目包括商城數(shù)據(jù)同步、數(shù)倉分層、數(shù)據(jù)清洗、數(shù)據(jù)ETL和數(shù)據(jù)可視化應(yīng)用等。

技術(shù)架構(gòu)

MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

項(xiàng)目職責(zé)

1.基于電商的業(yè)務(wù)數(shù)據(jù)需求分析和指標(biāo)體系建立
2.原始數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù))探索
3.用戶、商品、訂單、訂單詳情、訂單支付、收獲地址、供應(yīng)商、時(shí)間維度、地區(qū)維度等相關(guān)業(yè)務(wù)數(shù)據(jù)全量和增量同步
4.業(yè)務(wù)數(shù)據(jù)同步任務(wù)開發(fā)、上線、測試及數(shù)據(jù)同步問題的數(shù)據(jù)補(bǔ)跑
5.用戶瀏覽、點(diǎn)擊、交互、啟動、安裝、滑動、輸入和搜索等相關(guān)行為數(shù)據(jù)采集和任務(wù)上線運(yùn)行
6.廣告投放外部數(shù)據(jù)采集和任務(wù)上線運(yùn)行
7.用戶、訂單、交易、營銷等主題的DWD、DWS和ADS層開發(fā)
8.維度層數(shù)據(jù)加工與開發(fā)處理
9.ADS層數(shù)據(jù)導(dǎo)出到MySQL，配置相關(guān)任務(wù)，上線運(yùn)行
10.使用Superset BI可視化工具實(shí)現(xiàn)各個(gè)主題報(bào)表配置、看板配置與看板發(fā)布

基于ODPS離線數(shù)據(jù)倉庫

當(dāng)前，一站式商業(yè)大數(shù)據(jù)服務(wù)繁多，ODPS采用抽象的作業(yè)處理框架將不同場景的各種計(jì)算任務(wù)統(tǒng)一在同一個(gè)平臺之上，共享安全、存儲、數(shù)據(jù)管理和資源調(diào)度，將不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。基于ODPS的電商大數(shù)據(jù)是將電商相關(guān)用戶、訂單、交易、營銷、商品、店鋪和活動等業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換和分析等處理，最終使用QuickBI進(jìn)行BI報(bào)表展示和挖掘其它價(jià)值，輔助運(yùn)營，實(shí)現(xiàn)商城健康發(fā)展。

技術(shù)架構(gòu)

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

項(xiàng)目職責(zé)

1 部署一站式ODPS大數(shù)據(jù)環(huán)境
2 探索商城多種C端、B端和物流端等業(yè)務(wù)與數(shù)據(jù)，梳理相關(guān)業(yè)務(wù)指標(biāo)體系
3 ODS層建立對應(yīng)模型，應(yīng)用ODPS的數(shù)據(jù)集成模塊，將業(yè)務(wù)數(shù)據(jù)同步至ODS層
4 DWD和DIM層數(shù)據(jù)建模，將ODS層數(shù)據(jù)加工處理到DWD和DIM層
5 構(gòu)建DWS層用戶行為、商品、購物車和訂單等寬表模型，并將DWD層數(shù)據(jù)加工到對應(yīng)的寬表
6 ADS面向應(yīng)用構(gòu)建需求模型，將DWS層的數(shù)據(jù)再次加工到ADS層各個(gè)表中
7 使用QuickBI制作數(shù)據(jù)報(bào)表與可視化看板操作
8 數(shù)據(jù)質(zhì)量監(jiān)控開發(fā)和數(shù)據(jù)權(quán)限控制設(shè)置

云學(xué)習(xí)平臺用戶畫像（三選一）

學(xué)習(xí)平臺用戶畫像是基于學(xué)習(xí)平臺數(shù)據(jù)倉庫之上的項(xiàng)目，即需要先搭建學(xué)習(xí)平臺的數(shù)據(jù)倉庫，然后基于數(shù)據(jù)倉庫，再擴(kuò)展用戶、課程等畫像標(biāo)簽體系。本項(xiàng)目使用 Hadoop、Hive、Spark、DolphinScheudler、Hue 等技術(shù)構(gòu)建，主要解決畫像標(biāo)簽計(jì)算，實(shí)現(xiàn)標(biāo)簽設(shè)計(jì)、人群定位和用戶精細(xì)化運(yùn)營等。

技術(shù)架構(gòu)

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

項(xiàng)目職責(zé)

1 用戶和課程標(biāo)簽體系建設(shè)
2 ID-Mapping打通
3 用戶基礎(chǔ)標(biāo)簽與聚合標(biāo)簽?zāi)Ｐ蜆?gòu)建與加工
4 物品基礎(chǔ)標(biāo)簽與聚合標(biāo)簽的模型構(gòu)建與加工等
5 畫像標(biāo)簽落盤與維護(hù)
6 畫像標(biāo)簽的應(yīng)用與服務(wù)

電商平臺自研項(xiàng)目（三選一）

隨著互聯(lián)網(wǎng)發(fā)展，電商累積了訂單、用戶、流量等各類數(shù)據(jù)，但數(shù)據(jù)分散在各個(gè)業(yè)務(wù)系統(tǒng)中，隨著業(yè)務(wù)發(fā)展，新主題模型不斷產(chǎn)生，數(shù)據(jù)量不斷增加，如何管理各類主題模型以及海量數(shù)據(jù)，需要對數(shù)據(jù)倉庫進(jìn)行科學(xué)架構(gòu)。另外，數(shù)據(jù)倉庫是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵和基礎(chǔ)，良好的數(shù)倉結(jié)構(gòu)能夠幫助用戶快速理解現(xiàn)有數(shù)據(jù)能力，并且在當(dāng)前信息基礎(chǔ)上，對未來企業(yè)狀況做出預(yù)測。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大數(shù)據(jù)服務(wù)

項(xiàng)目職責(zé)

1 電商業(yè)務(wù)需求討論與評審
2 業(yè)務(wù)評審、架構(gòu)評審和技術(shù)評審
3 電商相關(guān)指標(biāo)體系，用戶、訂單、交易和商品等主題劃分
4 相關(guān)類別、地域和品牌等維度層數(shù)據(jù)加工，數(shù)據(jù)倉庫各層模型構(gòu)建
5 電商業(yè)務(wù)數(shù)據(jù)同步和指標(biāo)計(jì)算的任務(wù)排期、任務(wù)測試與上線部署
6 使用BI工具進(jìn)行主題數(shù)據(jù)報(bào)表和看板制作與發(fā)布
7 企業(yè)級大屏數(shù)據(jù)抽取、加工、推送、露出全流程數(shù)據(jù)加工流轉(zhuǎn)方式

問答大數(shù)據(jù)平臺

問答系統(tǒng)近些年發(fā)展迅猛，尤其最近ChatGPT類及似產(chǎn)品流行，這將會積累海量問、答和互動數(shù)據(jù)，需要運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)加工、處理和分析，從而回饋用戶更佳的答案，保持問和答等核心模塊健康良好發(fā)展。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

項(xiàng)目職責(zé)

1 問答系統(tǒng)業(yè)務(wù)需求討論與評審
2 問答系統(tǒng)數(shù)據(jù)倉庫架構(gòu)構(gòu)建
3 問答系統(tǒng)相關(guān)指標(biāo)體系，用戶、問答和互動等主題劃分及各層模型建設(shè)
4 業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)的同步與采集
5 用戶、問答、互動和行為相關(guān)指標(biāo)的計(jì)算
6 使用可視化工具對相關(guān)指標(biāo)和數(shù)據(jù)進(jìn)行展示
7 相關(guān)任務(wù)調(diào)度與上線配置

企業(yè)級工程推薦系統(tǒng)

推薦系統(tǒng)企業(yè)工程實(shí)戰(zhàn)項(xiàng)目作為大數(shù)據(jù)基礎(chǔ)應(yīng)用的延伸，構(gòu)建于用戶畫像項(xiàng)目之上，旨在讓學(xué)員學(xué)習(xí)企業(yè)級推薦系統(tǒng)構(gòu)建的基本思路，深入講解推薦系統(tǒng)中的兩個(gè)最重要的環(huán)節(jié)召回和排序，各環(huán)節(jié)基于Spark-Mllib引入相關(guān)算法，比如召回層ItemCF,ALS兩路召回算法，融合排序?qū)右隚BDT+LR，在理解算法的同時(shí)更偏重工程實(shí)戰(zhàn)，我們會從原始數(shù)據(jù)的特征抽取，轉(zhuǎn)換，算法模型設(shè)計(jì)到編程實(shí)現(xiàn)做深入的講解，同時(shí)也會對算法模型的跨平臺部署方案做實(shí)際的案例，讓學(xué)員學(xué)習(xí)到算法模型是如何在實(shí)際工程中部署運(yùn)用的。

技術(shù)架構(gòu)

本項(xiàng)目工程組件： Spark MLlib + SpringBoot + Redis +HBase+ Milvus
本項(xiàng)目涉及算法: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
監(jiān)控架構(gòu)依然采用：Prometheus + Grafana + IM
本項(xiàng)目的組件監(jiān)控：推薦API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

項(xiàng)目職責(zé)

1 項(xiàng)目協(xié)同過濾模型
2 基于ItemCF模型的召回，將召回的特征數(shù)據(jù)桶方式存儲HBase中
3 基于ALS模型的召回，將召回的特征數(shù)據(jù)以HBase的桶方式裝載到HBase中
4 物品的基礎(chǔ)特征向量加工和存儲HBase
5 用戶基礎(chǔ)特征向量加工處理與存儲HBase
6 物品和用戶嵌入向量的加工處理與存儲HBase
7 推薦系統(tǒng)排序階段解析，LR和GBDT模型構(gòu)建、訓(xùn)練和測試
8 PMML跨平臺構(gòu)建，Jpmml-SparkML的源碼研發(fā)，實(shí)現(xiàn)自定義Transformer，PMML模型文件保存
9 多路召回模型特征向量進(jìn)行Union，并存儲HBase中
10 PMML模型文件加載，應(yīng)用線上數(shù)據(jù)，對外開發(fā)推薦服務(wù)API
11 基于Promethuse和Grafana架構(gòu)的推薦API服務(wù)監(jiān)控

查看更多項(xiàng)目

導(dǎo)師一點(diǎn)勝庸師百言

千鋒好程序員師資篩選自干鋒百人教研團(tuán)隊(duì)及
互聯(lián)網(wǎng)一線大廠實(shí)用技術(shù)人才，5維嚴(yán)選錄取率僅1%

免費(fèi)學(xué)習(xí)大數(shù)據(jù)視頻課程

立即學(xué)習(xí)