作者 | 陳大鑫
昨晚,EMNLP 2020在線上正式開幕啦!
作為國際語言學會(ACL)下屬的 SIGDAT 小組主辦的自然語言處理領域的頂級國際會議。EMNLP 每年舉辦一次,去年則與 IJCNLP 聯合,在香港舉辦,今年由於疫情轉為線上舉辦。
也許很多小夥伴昨晚錯過了開幕式,不急,AI科技評論現帶大家全方位讀懂EMNLP 2020開幕式!
1
大會投稿數據一覽
據EMNLP 2020大會程序聯合主席,英國沃里克大學教授Yulan He介紹,EMNLP 2020大會共收到投稿3677份,其中有效投稿為3359份。
圖註:Yulan He教授
論文投稿數據:
上圖展示了2017年以來 EMNLP 論文投稿的情況,從上圖數據不難看出,這幾年來EMNLP的投稿量每年都在瘋狂遞增,相較於去年,今年的投稿量增加了了16%, 如果按照這個增長率,明年EMNLP的投稿量毫無疑問將會超過4000。
論文接收率:
上圖展示了2017年以來EMNLP論文總接受率和長/短篇的接受率,一眼望去整體數據相差不多。
但從上圖不難看出無論是總接收率(藍色柱體)還是長篇(橙色柱體)或短篇(白色)論文的接受率,今年的接受率都是近四年以來最低。
本次EMNLP 2020在主會上共接受了752篇論文,其中長篇602篇、短篇150篇。
其中,長篇論文接受率為24.6%,和前幾年相差不多,而短篇論文接受率卻明顯低於過去幾年。
以國家為單位的論文投稿/接收率排名:
本次大會共有來自57個不同的國家的投稿,上圖僅展示了論文投稿數量超過十篇的國家。
論文投稿數量的前七名國家分別是:
美國、中國、英國、德國、印度、加拿大、日本......
另外和去年一樣,中美兩國本次都有超過1000篇論文投稿,穩居世界前兩名。
然而上圖數據中,中美兩國的論文接收率卻不是前兩名,反而是英國、新加坡和丹麥,這三個國家位居前列,擁有30%左右的接受率,而美國也有26.6%的接受率。
反觀中國,論文接受率僅有13.2%,遠低於大會的平均接收率。
2
更多數據
今年,EMNLP 2020帶來了一項創新:「Findings of ACL: EMNLP 2020」。
這是一種新的接收論文類型,EMNLP表示,這將使更多高質量的論文(短篇和長篇)被接收。它用於刊登在主會上未被接收,但經過程序委員會評估為足夠solid的工作,其實質、質量和新穎性有足夠保證。這些論文將作為ACL選集的一部分被收錄。
AI科技評論曾對Findings做過詳細介紹,感興趣的讀者可以移步EMNLP 2020 錄取結果已出,聽說你中的是Findings?一文。
主會和Findings對比數據:
上圖展示了主會和《Findings》接受論文的平均評審得分。
可以看出,大多數主會論文有超過3.67的平均評審得分,平均分超過3.5的論文有很大的概率被主會接收。
而論文平均分在3.17-3.5之間的論文更有可能被《Findings》接收。
大會論文主題分類數據:
今年的投稿被大會分為20個主題,其中有8類主題都收到了超過200篇投稿。
NLP的機器學習和NLP應用最多,有超過300篇投稿,機器翻譯、信息抽取、對話系統、語言生成和句級語義分析隨後,也都超過了20篇。
另外在今年,NLP可解釋性和模型分析主題的投稿數量有顯著上升,這是ACL2020新引入的主題,ACL2020共收到95篇論文投稿。這一數字在EMNLP 2020上翻了倍,這展現了社區對NLP可解釋性和模型分析這一主題上的興趣增長十分迅速。
主會上所以主題的接收率都超過了20%,可解釋性和模型分析這一主題的接受率有27%,小的主題如語音學、形態學和字詞分割、句法學、辭彙語義學和語言理論也有超過27%的接受率。
3
審稿過程
圖註:Trevor Cohn
在大會程序聯合主席Yulan He之後,本次大會的另一程序主席,墨爾本大學教授Trevor Cohn介紹了本次會議的審稿過程。
本次評審會有超過3000名成員,評審工作按照分級結構開展:
大會要求所有論文至少提名一位作者作為審稿人,並把他們分入不同的研究領域。
對每位審稿人也使用他們的學術資料數據來抓取他們的論文/出版物記錄,以識別出更多的高級審稿人。
審稿人發表論文的情況:
上圖顯示了每位審稿人過去出版物的數量,與ICLR 2019將近一半的審稿人沒有在相應領域發過論文的事實相比,EMNLP 2020的審稿人情況似乎要好很多。
Findings:
被《Findings》接收的論文會在workshop展示,為了檢驗《Findings》這一創新是否成功,組委會在超過100篇的Findings投稿中詢問作者是否要撤回稿件,最後,有86%的作者並沒有選擇撤回。
4
中國/華人高產學者
據AI科技評論不完全統計,達摩院自然語言智能實驗室邴立東博士團隊、Salesforce AI的 Xiong Caiming 團隊在本年度EMNLP大會上有9篇論文入選主會,成為全球入選主會論文最多的作者。
與此同時,清華大學劉知遠團隊有8篇論文入選主會,哈工大劉挺教授團隊有7篇主會論文入選,韓家煒教授、周明教授、黃萱菁教授團隊各自有6篇論文入選。
以下AI科技評論對這幾位學者本次EMNLP 2020 論文錄取情況做簡單介紹。
達摩院邴立東
邴立東博士目前在達摩院自然語言智能實驗室,他於香港中文大學獲得博士學位,曾是卡耐基梅隆大學機器學習博士後研究員。他的研究興趣包括低資源自然語言處理、情感分析、文本生成/摘要、信息提取、知識庫等。
個人主頁:https://lidongbing.github.io/
以下是邴立東博士團隊所有主會錄取論文:
1、《ENT-DESC: Entity Description Generation by Exploring Knowledge Graph》Liying Cheng, Dekun Wu, Lidong Bing, Yan Zhang, Zhanming Jie, Wei Lu and Luo Si.
2、《APE: Argument Pair Extraction from Peer Review and Rebuttal via Multi-task Learning》Liying Cheng, Lidong Bing, Qian Yu, Wei Lu and Luo Si.
3、《DAGA: Data Augmentation with a Generation Approach forLow-resource Tagging Tasks》BOSHENG DING, Linlin Liu, Lidong Bing, Canasai Kruengkrai, Thien Hai Nguyen, Shafiq Joty, Luo Si and Chunyan Miao.
4、《Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation》Yan Zhang, Zhijiang Guo, Zhiyang Teng, Wei Lu, Shay B. Cohen, ZUOZHU LIU and Lidong Bing.
5、《Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training》Hai Ye, Qingyu Tan, Ruidan He, Juntao Li, Hwee Tou Ng and Lidong Bing.
6、《Partially-Aligned Data-to-Text Generation with Distant Supervision》Zihao Fu, Bei Shi, Wai Lam, Lidong Bing and Zhiyuan Liu.
7、《Position-Aware Tagging for Aspect Sentiment Triplet Extraction》Lu Xu, Hao Li, Wei Lu and Lidong Bing.
8、《An Unsupervised Sentence Embedding Method by Mutual Information Maximization》Yan Zhang, Ruidan He, ZUOZHU LIU, Kwan Hui Lim and Lidong Bing.
9、《Aspect Sentiment Classification with Aspect-Specific Opinion Spans Lu Xu, Lidong Bing, Wei Lu and Fei Huang》Lu Xu, Lidong Bing, Wei Lu and Fei Huang.
清華大學劉知遠
劉知遠,清華大學計算機科學與技術系長聘副教授。他分別於2006年和2011年從清華大學計算機科學與技術系獲得工學學士學位和博士學位。他的研究興趣包括自然語言處理與社會計算。他已經在國際期刊與會議上發表了超過90篇論文,包括ACM Transactions、IJCAI、AAAI、ACL和EMNLP等 。
個人主頁:http://nlp.csai.tsinghua.edu.cn/~lzy/
以下是劉知遠團隊EMNLP 2020錄取論文:
1、《Coreferential Reasoning Learning for Language Representation》Deming Ye, Yankai Lin, Jiaju Du, Zhenghao Liu, Peng Li, Maosong Sun and Zhiyuan Liu.
2、《Dynamic Anticipation and Completion for Multi-Hop Reasoning over Sparse Knowledge Graph》
Xin Lv, Xu Han, Lei Hou, Juanzi Li, Zhiyuan Liu, Wei Zhang, YICHI ZHANG, Hao Kong and Suhui Wu.
3、《Learning from Context or Names? An Empirical Study on Neural Relation Extraction》Hao Peng, Tianyu Gao, Xu Han, Yankai Lin, Peng Li, Zhiyuan Liu, Maosong Sun and Jie Zhou.
4、《Exploring and Evaluating Attributes, Values, and Structures for Entity Alignment》Zhiyuan Liu, Yixin Cao, Liangming Pan, Juanzi Li, Zhiyuan Liu and Tat-Seng Chua.
5、《MAVEN: A Massive General Domain Event Detection Dataset》Xiaozhi Wang, Ziqi Wang, Xu Han, Wangyi Jiang, Rong Han, Zhiyuan Liu, Juanzi Li, Peng Li, Yankai Lin and Jie Zhou.
6、《Partially-Aligned Data-to-Text Generation with Distant Supervision》
Zihao Fu, Bei Shi, Wai Lam, Lidong Bing and Zhiyuan Liu.
7、《Train No Evil: Selective Masking for Task-Guided Pre-Training》Yuxian Gu, Zhengyan Zhang, Xiaozhi Wang, Zhiyuan Liu and Maosong Sun.
8、《Denoising Relation Extraction from Document-level Distant Supervision》Chaojun Xiao, Yuan Yao, Ruobing Xie, Xu Han, Zhiyuan Liu, Maosong Sun, Fen Lin and Leyu Lin.
Xiong Caiming
目前,Xiong Caiming是Salesforce AI的高級研究總監。2014年6月至2015年9月,他於加州大學洛杉磯分校(UCLA)擔任博士後研究員。2014年他在紐約州立大學布法羅分校計算機科學與工程系獲得博士學位(由Jason J. Corso教授指導)。他分別於2005年和2007年在華中科技大學獲得計算機科學學士學位和碩士學位。
個人主頁:http://cmxiong.com/
以下是Xiong Caiming團隊EMNLP 2020錄取論文:
哈工大劉挺
劉挺,哈爾濱工業大學教授,現任哈工大計算學部主任兼計算機學院院長,國家「萬人計劃」科技創新領軍人才 。中國計算機學會理事,中國中文信息學會常務理事/社會媒體處理專委會(SMP)主任 ,曾任國際頂級會議ACL、EMNLP領域主席。
主要研究方向為人工智慧、自然語言處理和社會計算。2012-2017年在自然語言處理領域頂級會議發表的論文數量列世界第8位(據劍橋大學統計)。
以下是劉挺團隊本次EMNLP 2020主會錄取論文:
1、《Discourse Self-Attention for Discourse Element Identification in Argumentative Student Essays》. Wei Song, Ziyao Song, Ruiji Fu, Lizhen Liu, Miaomiao Cheng and Ting Liu.
2、《Profile Consistency Identification for Open-domain Dialogue Agents》. Haoyu Song, Yan Wang, Wei-Nan Zhang, Zhengyu Zhao, Ting Liu and Xiaojiang Liu.
3、《Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting》. Sanyuan Chen, Yutai Hou, Yiming Cui, Wanxiang Che, Ting Liu and Xiangzhan Yu.
4、《Counterfactual Off-Policy Training for Neural Dialogue Generation》. Qingfu Zhu, Wei-Nan Zhang, Ting Liu and William Yang Wang.
5、《Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection》. Shaolei Wang, Zhongyuan Wang, Wanxiang Che and Ting Liu.
6、《Multi-Stage Pre-training for Automated Chinese Essay Scoring》. Wei Song, Kai Zhang, Ruiji Fu, Lizhen Liu, Ting Liu and Miaomiao Cheng.
7、《Is Graph Structure Necessary for Multi-hop Question Answering?》. Nan Shao, Yiming Cui, Ting Liu, Shijin Wang and Guoping Hu.
伊利諾伊大學韓家煒
韓家煒,美國伊利諾伊大學香檳分校計算機系教授,IEEE和ACM院士,美國信息網路學術研究中心主任。曾擔任KDD、SDM和ICDM等國際知名會議的程序委員會主席,創辦了ACM TKDD學報並任主編。在數據挖掘、資料庫和信息網路領域發表論文600餘篇,在數據挖掘領域具有極高的威望。
以下是韓家煒團隊本次EMNLP 2020主會錄取論文:
1、《Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning》
. Yuning Mao, Yanru Qu, Yiqing Xie, Xiang Ren and Jiawei Han.
2、《Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding》
. Jiaming Shen, Heng Ji and Jiawei Han.
3、《SynSetExpan: An Iterative Framework for Joint Entity Set Expansion and Synonym Discovery》.
Jiaming Shen, Wenda Qiu, Jingbo Shang, Michelle Vanni, Xiang Ren and Jiawei Han.
4、《Understanding the Difficulty of Training Transformers》
. Liyuan Liu, Xiaodong Liu, Jianfeng Gao, Weizhu Chen and Jiawei Han.
5、《Text Classification Using Label Names Only: A Language Model Self-Training Approach》
. Yu Meng, Yunyi Zhang, Jiaxin Huang, Chenyan Xiong, Heng Ji, Chao Zhang and Jiawei Han.
6、《Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding》
. Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji and Jiawei Han
微軟亞洲研究院周明
周明,微軟亞洲研究院副院長、國際計算語言學協會(ACL)主席、中國計算機學會理事、中文信息技術專委會主任、術語工作委員會主任、中國中文信息學會常務理事、哈爾濱工業大學、天津大學、南開大學、山東大學等多所學校博士導師。
個人主頁:https://www.microsoft.com/en-us/research/people/mingzhou/
以下是周明團隊本次EMNLP 2020主會錄取論文:
1、《Pre-training for Abstractive Document Summarization by Reinstating Source Text》
. Yanyan Zou, Xingxing Zhang, Wei Lu, Furu Wei and Ming Zhou.
2、《Neural Deepfake Detection with Factual Structure of Text》.
Wanjun Zhong, Duyu Tang, Zenan Xu, Ruize Wang, Nan Duan, Ming Zhou, Jiahai Wang and Jian Yin.
3、《Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space》
. Dayiheng Liu, Yeyun Gong, Jie Fu, Yu Yan, Jiusheng Chen, Jiancheng Lv, Nan Duan and Ming Zhou.
4、《Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection》
. Ruize Wang, Duyu Tang, Nan Duan, Wanjun Zhong, Zhongyu Wei, Xuanjing Huang, Daxin Jiang and Ming Zhou.
5、《BERT-of-Theseus: Compressing BERT by Progressive Module Replacing》.
Canwen Xu, Wangchunshu Zhou, Tao Ge, Furu Wei and Ming Zhou.
Short Papers
6、《Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction》
.Mengyun Chen, Tao Ge, Xingxing Zhang, Furu Wei and Ming Zhou.
黃萱菁
黃萱菁,復旦大學計算機科學學院教授,2008年至2009年,UMass Amherst CIIR的訪問學者。她的研究興趣包括自然語言處理、信息檢索、人工智慧、深度學習等。她在頂級會議上發表了數十篇論文,包括SIGIR、ACL、ICML、IJCAI、AAAI、CIKM、ISWC、EMNLP、WSDM和COLING。她曾擔任NLPCC 2017、CCL 2016、SMP 2015和SMP 2014的PC聯合主席......
谷歌學術主頁:https://scholar.google.com/citations?user=RGsMgZA4H78C&hl=en
以下是黃萱菁團隊本次EMNLP 2020主會錄取論文:
1、《Tasty Burgers, Soggy Fries: Probing Aspect Robustness in Aspect-Based Sentiment Analysis》.
Xiaoyu Xing, Zhijing Jin, Di Jin, Bingning Wang, Qi Zhang and Xuanjing Huang.
2、《A Knowledge-Aware Sequence-to-Tree Network for Math Word Problem Solving》.
Qinzhuo Wu, Qi Zhang, Jinlan Fu and Xuanjing Huang.
3、《Uncertainty-Aware Label Refinement for Sequence Labeling》.
Tao Gui, Jiacheng Ye, Qi Zhang, Zhengyan Li, Zichu Fei, Yeyun Gong and Xuanjing Huang.
4、《Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection》
. Ruize Wang, Duyu Tang, Nan Duan, Wanjun Zhong, Zhongyu Wei, Xuanjing Huang, Daxin Jiang and Ming Zhou.
5、《PathQG: Neural Question Generation from Facts》
. Siyuan Wang, Zhongyu Wei, Zhihao Fan, Zengfeng Huang, Weijian Sun, Qi ZHANG and Xuanjing Huang.
6、《RethinkCWS: Is Chinese Word Segmentation a Solved Task?》
. Jinlan Fu, Pengfei Liu, Qi Zhang and Xuanjing Huang.
最後,AI科技評論祝中國學者在EMNLP 2020最佳論文上獲得好的成績~