2015年12月10日至12日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，CCF大數(shù)據(jù)專(zhuān)家委員會(huì)承辦，中國(guó)科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦的2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)在北京盛大開(kāi)幕。京東受邀參加，多位技術(shù)專(zhuān)家就大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)平臺(tái)、大數(shù)據(jù)在廣告中的應(yīng)用、京東大數(shù)據(jù)生態(tài)等話題進(jìn)行了分享，全面展示大數(shù)據(jù)技術(shù)研究和應(yīng)用成果，顯示出京東通過(guò)業(yè)務(wù)和技術(shù)雙驅(qū)動(dòng)的強(qiáng)勁競(jìng)爭(zhēng)力。 劉海鋒：大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)JIMDB 在2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)首日全體會(huì)議中，京東云平臺(tái)總架構(gòu)師、系統(tǒng)技術(shù)部負(fù)責(zé)人劉海鋒帶來(lái)了名為《大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)JIMDB：從2014到2016》的主題演講。他介紹了大規(guī)模的以內(nèi)存為中心的新型數(shù)據(jù)庫(kù)——JIMDB，包括它過(guò)去兩年的發(fā)展歷程、技術(shù)脈絡(luò)以及是怎么支撐起京東的電商業(yè)務(wù)。 電商業(yè)務(wù)需要非常迅捷的數(shù)據(jù)訪問(wèn)，這不僅是用戶體驗(yàn)的需求，也是技術(shù)開(kāi)發(fā)人員提升效率的需求，因此，京東延續(xù)數(shù)據(jù)庫(kù)領(lǐng)域的泰斗級(jí)人物Jim?Gray的“Memory?is?the?new?disk（內(nèi)存是新的磁盤(pán)）”理念，從2014年開(kāi)始啟動(dòng)了JIMDB。 JIMDB的全稱(chēng)為Jingdong?In-Memory?Database，是一種新型的以內(nèi)存為中心的全托管、全管理服務(wù)化的數(shù)據(jù)庫(kù)，主要針對(duì)靈活類(lèi)型、半結(jié)構(gòu)化數(shù)據(jù)的快速存取訪問(wèn)。 JIMDB最早基于Redis，但京東團(tuán)隊(duì)對(duì)它進(jìn)行了持續(xù)的改進(jìn)與重新實(shí)現(xiàn)。目前，JIMDB已能滿足電商業(yè)務(wù)所需要的自動(dòng)故障切換、在線彈性擴(kuò)展、靈活復(fù)制與全自動(dòng)化運(yùn)維等需求，在生產(chǎn)環(huán)境達(dá)到數(shù)千機(jī)器、數(shù)萬(wàn)容器實(shí)例的大規(guī)模應(yīng)用，支撐了京東海量的在線業(yè)務(wù)。 劉海鋒舉出了JIMDB的實(shí)際成效案例，“內(nèi)存存儲(chǔ)帶來(lái)了極佳的、非常穩(wěn)定的性能。以京東線上某個(gè)比較重要的集群為例，在雙11期間它整體的QPS超過(guò)200多萬(wàn)，而且99%的請(qǐng)求在2毫秒之內(nèi)返回。JIMDB讓用戶體驗(yàn)更好，讓我們的業(yè)務(wù)開(kāi)發(fā)起來(lái)更加簡(jiǎn)單，讓運(yùn)維工作更加省心、更加輕松。” 劉海鋒透露，京東未來(lái)還將從專(zhuān)署集群過(guò)渡到聚合各個(gè)IDC的RAM資源，聚合整個(gè)RAM資源，讓數(shù)據(jù)動(dòng)態(tài)流動(dòng)、降低整體硬件成本。他認(rèn)為，“內(nèi)存是存儲(chǔ)的未來(lái)”一定是趨勢(shì)所在。 劉彥偉：讓更多人玩轉(zhuǎn)大數(shù)據(jù) 京東大數(shù)據(jù)平臺(tái)研發(fā)負(fù)責(zé)人劉彥偉做了題為《京東實(shí)時(shí)數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)和應(yīng)用》的主題演講。他表示，京東希望通過(guò)打造一個(gè)優(yōu)秀的大數(shù)據(jù)基礎(chǔ)平臺(tái)，降低京東大數(shù)據(jù)消費(fèi)的門(mén)檻，讓更多的人能夠玩轉(zhuǎn)大數(shù)據(jù)，讓每個(gè)人都成為大數(shù)據(jù)的專(zhuān)家。 京東這兩年發(fā)展非常快，大數(shù)據(jù)也呈現(xiàn)了同步快速發(fā)展態(tài)勢(shì)。截止2015年Q3京東大數(shù)據(jù)基礎(chǔ)平臺(tái)整體容量突破90PB，每天新增超過(guò)1PB數(shù)據(jù)，每日掃描數(shù)據(jù)量超過(guò)了5PB，每天約有20萬(wàn)個(gè)作業(yè)運(yùn)行。 京東大數(shù)據(jù)平臺(tái)是以平臺(tái)化的思維為整個(gè)京東提供大數(shù)據(jù)基礎(chǔ)服務(wù)，其中包括硬件資源、平臺(tái)工具、數(shù)據(jù)服務(wù)、用戶畫(huà)像、技術(shù)輸出等，希望通過(guò)基礎(chǔ)設(shè)施和工具的建設(shè)，讓更多的用戶可以自助地在平臺(tái)上做自己的大數(shù)據(jù)業(yè)務(wù)。 劉彥偉介紹說(shuō)，整個(gè)京東大數(shù)據(jù)平臺(tái)分兩部分，一部分是離線的數(shù)據(jù)平臺(tái)，一部分是實(shí)時(shí)的數(shù)據(jù)平臺(tái)。2014年之前還是離線的數(shù)據(jù)處理為主，2014年之后，不論是業(yè)務(wù)上還是技術(shù)上，對(duì)實(shí)時(shí)的要求越來(lái)越迫切，因此京東打造了實(shí)時(shí)數(shù)據(jù)平臺(tái)。 從京東商城、京東金融、京東智能、京東到家的各個(gè)業(yè)務(wù)條線，每天都在產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)通過(guò)統(tǒng)一的平臺(tái)“數(shù)據(jù)直通車(chē)JDBUS”實(shí)時(shí)接入，統(tǒng)一在JDQ實(shí)時(shí)數(shù)據(jù)總線實(shí)時(shí)存儲(chǔ)，再通過(guò)實(shí)時(shí)計(jì)算平臺(tái)JRC完成實(shí)時(shí)計(jì)算，可供精準(zhǔn)化營(yíng)銷(xiāo)、實(shí)時(shí)運(yùn)營(yíng)決策、實(shí)時(shí)監(jiān)控等領(lǐng)域使用。 京東大數(shù)據(jù)平臺(tái)通過(guò)技術(shù)解決了三大難題：第一數(shù)據(jù)接入的問(wèn)題，第二數(shù)據(jù)存儲(chǔ)的問(wèn)題，第三數(shù)據(jù)計(jì)算的問(wèn)題。在京東首頁(yè)“猜你喜歡”的模塊，就是基于離線的用戶畫(huà)像、商品畫(huà)像并結(jié)合用戶的實(shí)時(shí)瀏覽行為，經(jīng)過(guò)復(fù)雜的實(shí)時(shí)推薦算法提供的。在站外的廣告位，比如新浪，也會(huì)基于實(shí)時(shí)的模式打造個(gè)性化推薦。而在對(duì)商家服務(wù)的京東數(shù)據(jù)羅盤(pán)中，為商家提供的數(shù)據(jù)決策支持系統(tǒng)也是一個(gè)典型應(yīng)用。商家可以看到實(shí)時(shí)的訂單、用戶、瀏覽等營(yíng)銷(xiāo)數(shù)據(jù)，幫助商家提升自己的運(yùn)營(yíng)效率、效果。 萬(wàn)昊：大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用 京東數(shù)字營(yíng)銷(xiāo)大數(shù)據(jù)高級(jí)總監(jiān)萬(wàn)昊發(fā)表了《大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用》的主題演講，分享了京東在廣告上大數(shù)據(jù)的實(shí)踐。 萬(wàn)昊認(rèn)為，大數(shù)據(jù)并不必然就一定有效果。除非人們能從中發(fā)現(xiàn)有用的信息和規(guī)律，這才是大數(shù)據(jù)真正重要的地方。傳統(tǒng)營(yíng)銷(xiāo)中人群定向是一種退而求其次的方法，廣告主直接找到他的核心或潛在用戶才是最直接的。而京東大數(shù)據(jù)就可以實(shí)現(xiàn)這種直接的定向，比如定向看過(guò)或買(mǎi)過(guò)指定商品的、指定品牌和店鋪的用戶。 京東怎么知道用戶在京東的體驗(yàn)得到滿足了呢？這也有可以量化的指標(biāo)衡量：用戶購(gòu)買(mǎi)的商品總額和商品數(shù)。京東廣告將此兩個(gè)指標(biāo)作為主要優(yōu)化目標(biāo)，實(shí)現(xiàn)的方法是大規(guī)模機(jī)器學(xué)習(xí)、標(biāo)簽標(biāo)引。 萬(wàn)昊說(shuō)，京東的搜索廣告和推薦位廣告是一套架構(gòu)。同一個(gè)廣告單元，可以有兩種定向：購(gòu)物行為定向和搜索定向，排序根據(jù)質(zhì)量因子×出價(jià)決定。所謂質(zhì)量因子就是機(jī)器學(xué)習(xí)模型起效的地方，比如用戶看了兩個(gè)商品，卻只買(mǎi)了其中一個(gè)，肯定是對(duì)一個(gè)感興趣，對(duì)另一個(gè)興趣不大。京東廣告使用深度學(xué)習(xí)技術(shù)來(lái)預(yù)估用戶的興趣，根據(jù)結(jié)果選擇讓何種廣告處在更顯眼的位置上。這樣，用戶買(mǎi)到了他想買(mǎi)的東西，廣告商推廣賣(mài)出了自己的東西，京東幫助用戶選到了心儀的商品，同時(shí)也從廣告商那收到了廣告費(fèi)，達(dá)到三贏的狀態(tài)。 杜宇甫：構(gòu)建大數(shù)據(jù)生態(tài)環(huán)境 京東集團(tuán)云平臺(tái)數(shù)據(jù)首席架構(gòu)師杜宇甫發(fā)表了題為《構(gòu)建大數(shù)據(jù)生態(tài)環(huán)境》的主題演講，他的演講內(nèi)容包括大數(shù)據(jù)的產(chǎn)生歷史，大數(shù)據(jù)的分析過(guò)程以及對(duì)于大數(shù)據(jù)生態(tài)的思考。 杜宇甫表示：生態(tài)的意義在于整個(gè)系統(tǒng)中包含了數(shù)據(jù)的生產(chǎn)者、分解者和消費(fèi)者。每次信息革命，人類(lèi)的數(shù)據(jù)都在不斷增大，當(dāng)“互聯(lián)網(wǎng)+信息”爆發(fā)的時(shí)候也即是人類(lèi)進(jìn)入大數(shù)據(jù)時(shí)代的開(kāi)端。杜宇甫將大數(shù)據(jù)生態(tài)分為：數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)建模和分析、數(shù)據(jù)應(yīng)用五個(gè)階段。五個(gè)階段環(huán)環(huán)相扣，讓數(shù)據(jù)在生態(tài)中進(jìn)行自主運(yùn)轉(zhuǎn)。 杜宇甫認(rèn)為，消費(fèi)不足并不是因?yàn)樾枨蟛蛔悖怯捎诋a(chǎn)能供給不足，只有創(chuàng)新才能激發(fā)新的消費(fèi)空間。 針對(duì)創(chuàng)新激發(fā)需求這個(gè)問(wèn)題，京東建立了數(shù)據(jù)云平臺(tái)，目的是想建立一個(gè)大的數(shù)據(jù)生態(tài)環(huán)境，讓數(shù)據(jù)能在這個(gè)生態(tài)中循環(huán)起來(lái)。在這個(gè)生態(tài)里，任何一個(gè)人，在任何一個(gè)環(huán)節(jié)上都能夠用起來(lái)，玩起來(lái)。“當(dāng)用戶數(shù)據(jù)不足，無(wú)法用于決策和優(yōu)化推廣的時(shí)候，我們可以為用戶提供咨詢服務(wù)，幫用戶做數(shù)據(jù)收集；我們也有數(shù)據(jù)市場(chǎng)（京東萬(wàn)象數(shù)據(jù)開(kāi)放平臺(tái)）可以進(jìn)行數(shù)據(jù)共享和交易；如果用戶不懂?dāng)?shù)據(jù)價(jià)值，我們可以提供數(shù)據(jù)專(zhuān)家?guī)椭脩敉诰騼r(jià)值；如果用戶無(wú)法支持海量數(shù)據(jù)分析，我們可以提供分布式數(shù)據(jù)集群，硬件和軟件資源幫用戶處理數(shù)據(jù)；在上層我們提供數(shù)據(jù)生成工具，把整個(gè)數(shù)據(jù)環(huán)節(jié)串聯(lián)起來(lái)，最終幫用戶將數(shù)據(jù)變現(xiàn)和產(chǎn)生更多商業(yè)價(jià)值。數(shù)據(jù)的交易和增值，開(kāi)放和共享不僅給企業(yè)自身帶來(lái)價(jià)值，同時(shí)也會(huì)為其他的企業(yè)和整個(gè)社會(huì)帶來(lái)積極的影響。” 京東數(shù)據(jù)云生態(tài)包含：數(shù)據(jù)采集工具、離線+流式數(shù)據(jù)分析平臺(tái)（BDS：Big?Data?Service）、實(shí)時(shí)數(shù)據(jù)分析平臺(tái)（RAS：Real-time?Analytic?Service）、數(shù)據(jù)集成平臺(tái)（DAG：Data?API?Gateway）、數(shù)據(jù)交易平臺(tái)（萬(wàn)象），以及云海數(shù)據(jù)。為用戶提供咨詢服務(wù)、數(shù)據(jù)專(zhuān)家、數(shù)據(jù)分析能力、數(shù)據(jù)開(kāi)放支持、數(shù)據(jù)增值服務(wù)等全業(yè)務(wù)線解決方案。京東數(shù)據(jù)云依托京東基礎(chǔ)云穩(wěn)定強(qiáng)大的IAAS底層服務(wù)系統(tǒng)，在基礎(chǔ)云之上架設(shè)了數(shù)據(jù)云生態(tài)系統(tǒng)，值得用戶信賴(lài)。 京東的精彩分享引發(fā)了大數(shù)據(jù)技術(shù)大會(huì)與會(huì)者的強(qiáng)烈關(guān)注，也成為現(xiàn)場(chǎng)互動(dòng)最為熱烈的幾個(gè)場(chǎng)次。業(yè)界人士認(rèn)為，京東的大數(shù)據(jù)技術(shù)分享務(wù)實(shí)而前瞻，體現(xiàn)了京東在電商技術(shù)和大數(shù)據(jù)應(yīng)用領(lǐng)域的行業(yè)領(lǐng)袖地位以及技術(shù)對(duì)推動(dòng)京東高速成長(zhǎng)的顯著貢獻(xiàn)，其對(duì)先進(jìn)技術(shù)的應(yīng)用和緊貼業(yè)務(wù)發(fā)展的實(shí)踐為行業(yè)提供了非常有價(jià)值的參考，對(duì)提升互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)應(yīng)用水平起到了推動(dòng)作用。