第七十五章 論文再投稿！

　　【學(xué)長(zhǎng)學(xué)長(zhǎng)，你的復(fù)試結(jié)束了么？】

　　蘇飛剛從企鵝會(huì)議上下線，VX就收到了林依曼的消息。

　　這小學(xué)妹還附著一個(gè)哇庫哇庫.jpg。

　　【嗯嗯，剛結(jié)束?！?p>　　【感覺如何？】

　　對(duì)面秒回。

　　【應(yīng)該沒什么問題?！?p>　　【不愧是學(xué)長(zhǎng)！】

　　小學(xué)妹發(fā)來了一個(gè)棒棒的表情包。

　　額，蘇飛覺得，在表情包上，這小學(xué)妹和老趙應(yīng)該會(huì)很有話題。

　　【你呢？昨天國競(jìng)應(yīng)該就結(jié)束了吧？感覺如何？】

　　【還是蠻難的，但學(xué)長(zhǎng)押對(duì)了作文題，而且聽力考的專業(yè)范圍也和學(xué)長(zhǎng)預(yù)料的差不多，我感覺有機(jī)會(huì)前三！】

　　小學(xué)妹又發(fā)了個(gè)顏文字的表情包。

　　蘇飛看到這句話和附帶的表情包，都能想象到這小學(xué)妹那激動(dòng)的樣子。

　　看來這次競(jìng)賽，她還蠻有把握的。

　　不過蘇飛隨即就想起，林依曼對(duì)她自己的廚藝和象棋好像也蠻有把握的……算了算了，還是聽天由命吧。

　　蘇飛也不強(qiáng)求林依曼的這個(gè)任務(wù)能成功，畢竟這小學(xué)妹是差點(diǎn)沒進(jìn)國賽的水平，讓她在一個(gè)月內(nèi)突擊到國賽前三，這難度屬實(shí)是地獄級(jí)，當(dāng)然，如果能完成任務(wù)拿到獎(jiǎng)勵(lì)那是最好不過了。

　　蘇飛這邊發(fā)了個(gè)很棒的表情包過去，結(jié)束了和小學(xué)妹的對(duì)話。

　　接下來的幾分鐘，他又分別收到了老趙、舍友們甚至他老爸老媽的詢問，蘇飛一一回復(fù)。

　　在搞定所有事情后，他便離開了為了參加面試而訂的鐘點(diǎn)房。

　　在宿舍面試的話，蘇飛怕樓道間吵鬧的聲音影響到教授們，而校園里的一些會(huì)議室他又沒權(quán)使用，也不想因?yàn)檫@點(diǎn)小事就去麻煩老趙，所以在外邊訂了個(gè)鐘點(diǎn)房。

　　事實(shí)證明，隔音效果還真不錯(cuò)，怪不得每次周末這個(gè)時(shí)間段鐘點(diǎn)房都是滿滿的。

　　…

　　…

　　接下來了半周，蘇飛沉迷于圖書館，一直在機(jī)器學(xué)習(xí)這本書和深度學(xué)習(xí)的一些教材上打轉(zhuǎn)。

　　而在周三這一天，他的Transformer模型終于再次跑完了機(jī)器翻譯任務(wù)。

　　在蘇飛再次更改和微調(diào)參數(shù)后，Transformer的機(jī)器翻譯任務(wù)評(píng)價(jià)提升到了28.4分，但是所花的時(shí)間比上次也多了一天。

　　這個(gè)分?jǐn)?shù)蘇飛是很滿意了，在如今機(jī)器翻譯的國際評(píng)價(jià)普遍只有26分上下的時(shí)代，28.4分已經(jīng)遠(yuǎn)遠(yuǎn)超越了如今的所有主流模型，速度上雖然不如上次的結(jié)果，但也比主流模型快了百分之十。

　　蘇飛想了想，決定把上次的模型參數(shù)和這次的模型參數(shù)一起上傳，上次的實(shí)驗(yàn)結(jié)果在速度上比這次快，但分?jǐn)?shù)只有27.3，而這次的實(shí)驗(yàn)結(jié)果雖然速度慢了點(diǎn)，但分?jǐn)?shù)又漲了1分。

　　這歸根結(jié)底，其實(shí)是第一次實(shí)驗(yàn)時(shí)參數(shù)比較少，所以計(jì)算量小，速度快，精度低。

　　但無論哪次實(shí)驗(yàn)結(jié)果，無論速度還是精度，都大大優(yōu)于目前的主流模型。

　　既然如此，就把第一次的模型命名為Transformer（base），意為基礎(chǔ)版本的Transformer，而把第二次添加參數(shù)后的模型命名為Transformer（big），意為加強(qiáng)版本的Transformer。

　　額，我算不算自己給自己打補(bǔ)丁？

　　蘇飛突然感覺自己的做法有些奇怪，搞得像是游戲代碼的維修老師傅一樣。

　　因?yàn)檎撐牡目蚣苤熬鸵呀?jīng)打好了，這次蘇飛直接做好圖和數(shù)據(jù)，添加進(jìn)論文里，《Attention is all you need》這篇論文就完稿了。

　　蘇飛登錄ACL的收稿網(wǎng)站，直接把論文和代碼庫一起傳了上去。

　　ACL這個(gè)頂會(huì)的審稿效率比AAAI要高得多。

　　ACL采用滾動(dòng)審稿機(jī)制，這個(gè)審稿機(jī)制能保證投稿人的論文在一個(gè)月內(nèi)被審稿，這也就保證了不會(huì)出現(xiàn)一篇論文因?yàn)檫t遲不審稿而錯(cuò)過截止日期的尷尬情況。

　　也正是有這種滾動(dòng)審稿機(jī)制，原本許多想投AAAI的論文轉(zhuǎn)投到了ACL這邊，就是因?yàn)檫@邊有保障啊。

　　投到AAAI那邊，審稿時(shí)間就是看審稿人心情，質(zhì)量好的論文還好說，只要能一輪完成審稿，幾乎都趕得上時(shí)間，但問題是投這種頂會(huì)的很多論文都是不上不下，卡在及格線邊緣的，這些論文趕不趕得上截止日期純憑運(yùn)氣。

　　隨著蘇飛提交成功，論文狀態(tài)被修改為“已分配AC”，意思是蘇飛的論文被提交給了領(lǐng)域主席，ACL的領(lǐng)域主席和AAAI的技術(shù)編輯很像，就是先初篩一遍這篇論文，如果是垃圾論文，那就沒必要轉(zhuǎn)交給審稿人了，順便再查下實(shí)驗(yàn)內(nèi)容有沒有違反道德或者論文表述過不過關(guān)之類的。

　　‘系統(tǒng)，使用插隊(duì)卡?！?p>　　上次蘇飛買了一張插隊(duì)卡還沒用，這次直接就用上了。

　　由于ACL的獨(dú)特機(jī)制，他倒不擔(dān)心會(huì)因?yàn)閷徃鍐栴}而錯(cuò)過截止日期，但如果能盡快出結(jié)果他也是十分樂意的。

　　差不多十幾分鐘，蘇飛的郵箱就收到了提示，他的論文狀態(tài)被修改為“正在審稿”。

　　不過，這個(gè)過程估計(jì)得蠻久的，審稿的流程上，ACL和AAAI有些類似，也是采用完全的盲審制度，但與AAAI不同的是，ACL只會(huì)聘請(qǐng)三位審稿人，一輪審?fù)?，然后最神奇的來了，最后把審稿意見還得返還給領(lǐng)域主席，由審稿人和領(lǐng)域主席一起討論，決定錄不錄用這篇論文，這個(gè)討論的過程可能會(huì)耗點(diǎn)時(shí)間。

　　前前后后搞了差不多一個(gè)多月的Transformer終于被投了出去，蘇飛也是伸了個(gè)懶腰。

　　這篇論文他傾注的心血不可謂不多啊，系統(tǒng)的兩張靈感激發(fā)卡，又死皮賴臉地向老趙借了一個(gè)月的服務(wù)器使用權(quán)限，而且還把這服務(wù)器給霸權(quán)了。

　　為了讓模型的性能達(dá)到最佳，他兩次調(diào)參實(shí)驗(yàn)，因?yàn)樗幌胱孴ransformer像ELMo一樣，在實(shí)驗(yàn)任務(wù)和一些細(xì)節(jié)上顯得粗糙，他想盡量讓這個(gè)模型達(dá)到完美。

　　近十年來，有多少深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的專家們都在嘗試用注意力機(jī)制做文章，每個(gè)人都知道注意力機(jī)制有大用，但又都無法將它的功效發(fā)揮的淋漓盡致。

　　注意力機(jī)制就像是深度學(xué)習(xí)這顆大樹上的誘人的粉嫩果實(shí)，每個(gè)人都想踮起腳尖去采摘這水嫩嫩的嫣紅，然而從沒人真正品嘗到它的魅力。

　　而今天，蘇飛算是把這果實(shí)連枝帶葉一起帶走了。