-
大小: 106B文件類型: .txt金幣: 1下載: 1 次發(fā)布日期: 2021-05-19
- 語言: Java
- 標(biāo)簽: Spark??機(jī)器學(xué)習(xí)??實(shí)戰(zhàn)??
資源簡(jiǎn)介
根據(jù)圖識(shí),項(xiàng)目將分為三個(gè)部分。整個(gè)項(xiàng)目基本思路是如何通過爬蟲爬取大量數(shù)據(jù)放到Hbase,然后通過ETL工具初步轉(zhuǎn)化篩選將數(shù)據(jù)存到mongodb,抽取mongodb的數(shù)據(jù)進(jìn)行清洗處理算出模型放到hdfs。后續(xù)進(jìn)來數(shù)據(jù)通過模型運(yùn)算出數(shù)據(jù)的類型。項(xiàng)目系統(tǒng)主要包括前端+后端+機(jī)器學(xué)習(xí),前端采用React Native,Native,后端采用Dubbo+Spring+java,機(jī)器學(xué)習(xí)采用Spark進(jìn)行實(shí)現(xiàn),本項(xiàng)目機(jī)器學(xué)習(xí)-spark代碼運(yùn)行在mesos上。
代碼片段和文件信息
評(píng)論
共有 條評(píng)論