-
大小: 14.5MB文件類型: .pdf金幣: 1下載: 0 次發(fā)布日期: 2023-07-26
- 語言: 數(shù)據(jù)庫
- 標簽: ebay??iteblo??過往記憶??
資源簡介
本次主要分享關(guān)于遷移實際案例與最佳實踐更加深入的探討。在遷移過程中,我們遇到了很多的預(yù)料之外的問題,如字符集問題,數(shù)字進位問題,各種OOM等等,更加深入地了解了Spark和RDMBS之間的差異。在彌補鴻溝和解決問題的過程中,我們做了很多的實踐,貢獻給了社區(qū)很多的反饋,也解決了很多的bug。即便對于Spark當前不能處理的場景,比如recurisve query,也有了一些可行的探索。此外,我們現(xiàn)在還開發(fā)了一套自動化框架來幫助加速遷移工作。在這次分享中,我們會深入遷移的關(guān)鍵步驟,并分享踩過的一些坑,最后會介紹我們的自動化工具,如SQL Converter等。相信對正工作在類似的任務(wù)或者即將開展類似工作的工程師們會有所幫助。
下面是PPT原文:關(guān)注 Hadoop技術(shù)博文 并回復(fù) ebay_spark 獲取本文PPT。
代碼片段和文件信息
評論
共有 條評論