IJCAI 2018 現場,阿裏媽媽以 Ad Tech 為主題舉辦了 Workshop,阿裏媽媽資深算法專家朱小強、高級算法專家林偉(wěi),分享了將深度學習引入工業級展示廣告和搜索(suǒ)廣告領域的創新與探索。
隨著(zhe)人工智能產學研的不斷融合,企業(yè)與學(xué)術會(huì)議(yì)之間的合作也更加(jiā)頻繁和多樣。此前,新智元曾經報道過(guò),IJCAI國(guó)際廣告算法大賽,中國團隊包攬(lǎn)冠亞季軍。這個競賽實際上就是(shì)阿裏集團與IJCAI的一個合作(zuò)項目(mù),阿裏通過IJCAI的(de)平台吸引更多人關注阿裏,IJCAI則通過阿(ā)裏的大賽吸引更多人關注和支持IJCAI。
IJCAI(International Joint Conference on Artificial Intelligence)被認為(wéi)是人工智能領域最頂級的學術會議之一,涵蓋機器學(xué)習、計算可(kě)持續性、圖像識別、語音技術、視(shì)頻技術等,對全球(qiú)人工智能行業具有巨大影響力。
今年的合作競賽由(yóu)阿裏媽媽承辦。作為阿裏巴巴旗下(xià)大數據營銷平台,阿裏媽媽身處於阿裏巴巴龐(páng)大的交易場景之中,在人(rén)工智能(néng)領域也早有(yǒu)布局,構建了超(chāo)大規模的學習(xí)模型,每天訓練近100T的數據,有上千億的樣本。
IJCAI 2018 現場,阿裏媽媽(mā)以 Ad Tech 為主題開展了workshop。阿裏媽媽(mā)資深算法專家朱小強、高級算法專家(jiā)林偉,以展示廣告技術的兩個最重要技術模塊——Matching和Ranking為例,分享了他們(men)在將深度學習引入工業級展示廣告和(hé)搜索廣告領域所做的創(chuàng)新與探索。
深度學習將業界技術迭代提升10~100倍
朱小強在演講中表示,展(zhǎn)示廣告是互聯網(wǎng)行業的主要營銷模式之一。阿裏(lǐ)巴(bā)巴有各種(zhǒng)不同的展示廣告形式,比如橫幅、單品、信息流帖子等等(děng)。每天有數億的用戶訪問(wèn)阿裏的係統(tǒng),團隊需要針對每(měi)位用戶(hù)的個性化興(xìng)趣偏好,在幾十毫秒內,從數千(qiān)萬廣告集合中,尋找最優匹配結果進行展示。
超大規模的(de)數據以及問題的高度非線性,對(duì)展示廣(guǎng)告技術構成了巨大的挑戰。過去兩年裏,阿裏媽媽團隊創(chuàng)造性地將(jiāng)深度學習引入到展示廣告技術中,自主研發了一係列(liè)麵(miàn)向工業級尺度的端到端深度模型,推動了展示廣告技術的全麵革新,達到了世界領先的水平。
朱(zhū)小(xiǎo)強認為,深度(dù)學習給工(gōng)業界掀起了一場生產力革命。在深度學習(xí)時代,模型的(de)設計變成組件化,優化(huà)的方法變(biàn)成標準化,而且設計和優化是解耦的。這些特點驅動了以深度學習為代表的(de)AI技術迅速普及,而且將整(zhěng)個業界的技術迭代速度提升(shēng)了1-2個數量級。
“過去兩三年,深度學習在廣告、搜索和推薦等核心(xīn)工業界場景(jǐng)中野蠻生長,掀(xiān)起(qǐ)了(le)一股(gǔ)1.0的掘金浪潮;未來,我們判斷深度學習將(jiāng)進一步完善為工業級基礎設施,邁入2.0的(de)工匠(jiàng)時(shí)代,技術的發展將由粗獷顛覆轉變為精細化打磨(mó)。”
朱小強說:“10多年前(qián),機器學習大規模地被引入到核心工業領域,由此開創了一個技術的黃金發展周期,我們預期深度學習技(jì)術(shù)會繼續引領新的一輪技術增長。”
基於圖的深度學(xué)習方法有廣闊的應用空間
林偉在演講中(zhōng)表示,搜索廣告(gào)場景下,傳統的觀點一直認(rèn)為匹配(Matching)的主要優化目標(biāo)是尋找最相關的候選廣告集。他們團隊重新定義了這個目標,認為在電商場景下,Matching的主要優化目標是尋(xún)找相關性滿足約束下,最符合業務目標(例如(rú)期望(wàng)收益等)的候選(xuǎn)廣告集。基於對目標的重(chóng)新認識,最(zuì)近幾年Matching算法的改進,大幅提升了直(zhí)通車的營收。
林偉(wěi)介紹(shào),Matching主要(yào)問題(tí)可抽象為:1)對(duì)用戶意圖(tú)和候選廣告之間(jiān)是否可以建立鏈接的識別,以及2)對鏈接(jiē)強度的預測。
圖(Graph)是一種非常適合用來刻畫這個問題(tí)的結構,基於(yú)圖的深度學習方法在Matching上擁有(yǒu)廣(guǎng)闊的(de)應用空間(jiān)。
目前,阿裏媽媽已經構建了一套支持超大規(guī)模異構圖表征學習的算法(fǎ),並在Matching上成功落(luò)地。未來,他們將進一步深耕圖深度學習(Graph-based Deep Learning)的方(fāng)法及(jí)應用。
如今在淘寶場景中,圖(tú)像因素(sù)越來越(yuè)重(chóng)要,用戶的行為模式也越來越複雜。對於排序問題(Ranking),傳統(tǒng)的一些模型在識(shí)別用戶意圖上存在諸多限製,需要更精巧和更強大的模型來更好地理解用戶。阿裏媽媽團隊分別提出了(le)很好的圖像網絡(luò)和記憶網絡設計方法(fǎ),增加Ranking模(mó)型識別用戶意圖的能力,經過實際測試(shì)都(dōu)取得了不錯的效果(guǒ)。
同時,此前在戛納國際創意節首發的AI智能文案,在IJCAI也再度引發關注。這個產品基於深度神(shén)經網絡的Sequence2Sequence模型(xíng),融合(hé)了注意力機製、位置編碼、copy機製等,讓機器模(mó)仿人寫文案。
朱小(xiǎo)強認為,“技術本身並不複雜和高(gāo)深,但因為做到了從場景的實際(jì)需求出發,用技術和算法來驅動優化,也讓技術和算法施展出最大的(de)空間。”
本屆 IJCAI 大會首席讚助官、悉尼科(kē)技大學傑出教授(shòu)張(zhāng)成奇,阿裏巴巴人工智能實驗室(shì)研究員聶再清也到場做了分享(xiǎng)。