業(yè)界最大數據湖0故障遷上阿里云!數據量達500PB
來源:快科技 編輯:非小米 時間:2024-11-06 18:15人閱讀
快科技11月6日消息,今天阿里云宣布,小紅書技術團隊近日完成了一項業(yè)界前所未有的壯舉,將業(yè)界最大數據湖0故障遷移至阿里云。
作為中國頭部互聯(lián)網公司之一,小紅書月活用戶已超過3億,其數據湖存儲了過去11年的所有原始數據,包括結構化、半結構化和非結構化數據。
隨著業(yè)務的高速增長,小紅書對在線處理數據的需求不斷增加,同時離線處理所積累的歷史問題也提高了切換的難度。
2023年11月,小紅書共有1500人參與遷云項目——計劃一年內,把小紅書的數據湖搬上阿里云,彼時即便是業(yè)界體量最大的案例,也遠小于小紅書的本次遷移。
2024年5月,項目正式進入雙跑階段,作為切換到正式環(huán)境前最后的測試,是穩(wěn)定性最大的保障。
在這一階段,團隊需要解決的問題數不勝數,每周平均新增500多個問題。
在阿里云團隊的全力保障下,小紅書技術團隊順利完成了割接,沒有發(fā)生任何一個P2及以上故障。
2024年11月,小紅書遷云項目正式宣告結束,在沒有故障的情況下,遷移數據500PB,任務11萬,參與人數1500人,涉及部門40多個。
分享到:
本站所有文章、數據、圖片均來自互聯(lián)網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com