12 月 27 日, 阿里云正式發(fā)布云原生開源大數(shù)據(jù)平臺 EMR 2.0，升級后的開源大數(shù)據(jù)平臺在成本持平的情況下，擴(kuò)縮容性能最高可提升 6 倍。

據(jù)悉，阿里云 EMR2.0 為用戶提供了全新的平臺、開發(fā)、資源形態(tài)、分析場景等更優(yōu)的產(chǎn)品體驗(yàn)，通過 EMR Doctor 健康檢查、全面的服務(wù)巡檢和事件通知、節(jié)點(diǎn)故障補(bǔ)償?shù)冗\(yùn)維能力的升級，預(yù)估運(yùn)維成本可降低 20%-30%。新平臺致力于為客戶快速構(gòu)建高性價(jià)比、安全可靠、兼容生態(tài)的開源大數(shù)據(jù)平臺。

EMR2.0 與 EMR1.0 彈性擴(kuò)容速度對比

云原生趨勢下，開源大數(shù)據(jù)處于重構(gòu)之中，以 Hadoop 為核心的開源大數(shù)據(jù)體系，開始轉(zhuǎn)變?yōu)槎嘣夹g(shù)并行發(fā)展。阿里云 EMR 產(chǎn)品負(fù)責(zé)人何源介紹，阿里云 EMR 于 2009 年開始服務(wù)阿里巴巴集團(tuán)內(nèi)部客戶，2016 年將過往的技術(shù)能力產(chǎn)品化開放，為客戶提供商業(yè)化服務(wù)。作為開源大數(shù)據(jù)領(lǐng)域的引領(lǐng)產(chǎn)品，EMR 2.0 通過云原生能力重構(gòu)平臺層、數(shù)據(jù)層、計(jì)算層，滿足數(shù)千客戶流處理、數(shù)據(jù)可視化、交互式分析、數(shù)據(jù)湖等多場景需求，重新定義了新一代開源大數(shù)據(jù)平臺。為客戶構(gòu)建新一代開源大數(shù)據(jù)基礎(chǔ)設(shè)施。

EMR 2.0 產(chǎn)品架構(gòu)圖

客戶基于 EMR2.0 平臺可實(shí)現(xiàn)更加低成本、高效率、智能化的大數(shù)據(jù)集群管控和應(yīng)用開發(fā)。通過使用搶占式實(shí)例，生產(chǎn)實(shí)證最多可降低百分之八十以上的成本。開啟故障實(shí)例自動補(bǔ)償，在全場景集群下，穩(wěn)定性可以提高 1 個(gè) 9。全新發(fā)布的 EMR Doctor，通過健康檢查服務(wù)的集群日報(bào)功能，查看集群是否存在資源浪費(fèi)；通過任務(wù)評分倒排 Top N，找到資源浪費(fèi)最多的作業(yè)進(jìn)行優(yōu)化；通過持續(xù)優(yōu)化，幫助客戶最大化利用資源，避免浪費(fèi)。同時(shí)，還可以幫助客戶提前發(fā)現(xiàn)一些風(fēng)險(xiǎn)并進(jìn)行處理。EMR Studio，提供 Notebook 和 Workflow 服務(wù)。全托管 Notebook，兼容 用戶 Jupyter 使用習(xí)慣，可以無縫對接 EMR 各計(jì)算、存儲引擎，進(jìn)行交互式的大數(shù)據(jù)開發(fā)和調(diào)試，已經(jīng)開發(fā)和調(diào)試完的作業(yè)可以加入 Workflow 工作流里進(jìn)行調(diào)度和上線。此外 EMR Studio 的 Workflow 服務(wù)也還支持 Flink 等的作業(yè)。

2022 年 6 月，阿里云 EMR 聯(lián)合 OSS、 DLF、DataWorks 等構(gòu)建的云原生數(shù)據(jù)湖產(chǎn)品方案通過信通院評測認(rèn)證，是國內(nèi)首批且唯一滿分的產(chǎn)品方案，該方案為用戶提供「全托管湖存儲、全面湖加速、統(tǒng)一湖管理、多模態(tài)湖計(jì)算和智能湖治理」等全面數(shù)據(jù)湖能力。（國內(nèi)首批！阿里云云原生數(shù)據(jù)湖產(chǎn)品通過信通院評測認(rèn)證）

國內(nèi)知名廣告營銷服務(wù)商匯量科技已使用 EMR 產(chǎn)品 4 年。在業(yè)務(wù)快速增長的大好形勢下，匯量科技面臨越來越多的困擾：如數(shù)據(jù)來源復(fù)雜、數(shù)據(jù)量大、數(shù)據(jù)維度多、實(shí)時(shí)運(yùn)營業(yè)務(wù)秒級數(shù)據(jù)新鮮度需求等業(yè)務(wù)需求；本次升級后，匯量科技在素材平臺、熱力引擎等業(yè)務(wù)的大數(shù)據(jù)平臺搭建上，數(shù)據(jù)同步和及查詢效率有數(shù)倍提升，系統(tǒng)穩(wěn)定性顯著提升，未再出現(xiàn)之前 cpu、mem、io 負(fù)載高等情況。

隨著阿里云 EMR2.0 的發(fā)布，阿里云 EMR 將技術(shù)引領(lǐng)優(yōu)勢，轉(zhuǎn)化為云上產(chǎn)品服務(wù)能力。重新定義的新一代 EMR 產(chǎn)品，將為各行業(yè)廣大客戶構(gòu)建開源大數(shù)據(jù)平臺提供最扎實(shí)的基座保障。