顶会信息

资讯

AI Conference Deadlines顶会截止时间
Conference Ranks
【2021-7-19】AI顶会大全，持续更新
【2021-8-17】顶会截止时间大全，实时更新
【2022-1-6】计算机顶会论文投稿指南, CCF划分的A/B/C类会议
人工智能子领域会议投稿参考：
- NLP领域四大顶会及2019年接收率：ACL (25.7%)，NAACL (26.3%)，EMNLP (25.5%)，COLING (33%)，除此之外推荐投稿 NLPCC，AAAI，NIPS 等；
- CV领域三大顶会：ICCV，CVPR和ECCV；
- 语音领域顶会：ICASSP，ICSLP 和 InterSpeech。
论文要求
- 注册会员：一般国内外的会议投稿都能在softconf平台完成,从会议征稿页面的论文提交链接进入，然后填写个人信息注册会员即可。一次注册，多地使用
论文编写：latex格式论文推荐用Overleaf写，多人协同编辑的平台，包含了大量 LaTeX 插件，编辑功能相当完善；编辑完内容还能实时预览效果。
提交论文前，必须确认自己和其他作者的 profile 和 global profile 信息填写完整，否则可能会被拒稿哦。

【2022-1-18】AAAI跟KDD都是CCF A类，但是从认知来说，kdd难度比aaai大多了。aaai、ijcai、cvpr都是灌水会，都是a类；ICDM还是CIKM也有过类似的

【2023-10-17】如何看待大语言模型会议COLM（Conference on Language Modeling)?

之前看有大佬在呼吁需要一个新的，专门用于LLM的会议，没想到这么快就组织出来了，之前看有大佬在呼吁需要一个新的，专门用于LLM的会议，没想到这么快就组织出来了，Call for papers里面的topics非常有看点，可以说罗列了（基本上）所有LLM相关的方向
ACL的投稿周期太长了，匿名期使得很多工作要很长的时间才可以公开出来，但如今LLM这个领域发展太快了，长时间不能公开自己工作，会严重削弱这个工作的影响力，现在挺好的，有一个专门关注LLM的会，这样大家就不用一窝蜂去卷ML三大会了

跟李沐学AI

【2022-11-19】跟李沐学AI, paper-reading

OpenAI Whisper 精读【论文精读】

KDD

【2022-1-18】Call for Applied Data Science Track Papers

录用论文

【2021-8-19】KDD2021工业界搜推广nlp论文整理,KDD21的Accepted Papers[1]中，工业界在搜索、推荐、广告、nlp上的文章。
【2020-7-18】2020 IJCAI，ICML 2020
【2021-2-5】2021年AAAI论文录取
【2021-8-6】ACL 2021 一文详解美团技术团队7篇精选论文,美团在事件抽取、实体识别、意图识别、新槽位发现、无监督句子表示、语义解析、文档检索等自然语言处理任务上的一些技术沉淀和应用。
- 针对于事件抽取，我们显示地利用周边实体的语义级别的论元角色信息，提出了一个双向实体级解码器（BERD）来逐步对每个实体生成论元角色序列；
- 针对于实体识别，我们首次提出了槽间可迁移度的概念，并为此提出了一种槽间可迁移度的计算方式，通过比较目标槽与源任务槽的可迁移度，为不同的目标槽寻找相应的源任务槽作为其源槽，只基于这些源槽的训练数据来为目标槽构建槽填充模型；
- 针对于意图识别，我们提出了一种基于监督对比学习的意图特征学习方法，通过最大化类间距离和最小化类内方差来提升意图之间的区分度；
- 针对于新槽位发现，我们首次定义了新槽位识别（Novel Slot Detection, NSD）任务，与传统槽位识别任务不同的是，新槽位识别任务试图基于已有的域内槽位标注数据去挖掘发现真实对话数据里存在的新槽位，进而不断地完善和增强对话系统的能力。

研究

【2020-8-28】【Eric的博士生生存指南】《Syllabus for Eric’s PhD students - Google Docs》by Eric Gilbert

研究思路

【2022-5-18】写论文过程形象描述：构思 → 框架 → 初稿 → 终稿

科研方法论

【2023-9-24】你在科研路上遇到过什么如有神助的经历？ - 科研大喵叫喵大的回答

两大方法思路

探索式的思路走不通，就试试验证式，当然还可以两者结合

三大课题方向

灵感、文献、数据结合起来，综合考虑找课题

四大思维模式

正向、逆向、往复、整体考虑，不要陷入思维的死胡同

五大文献考虑

文献的来源有很多，考虑文献的实效性、系统性、权威性、学术性和理论性，结合自己的需要，高效获取文献信息

六大写作阶段

方向确定、文献阅读、数据收集、数据分析、论文写作、定稿投出，这条路不可能一帆风顺,不要卡在一个点，停滞不前的之后可以跳跃进行

十六种科研风格

做颜色不一样的，paper machine

二十个论文要点

一篇学术论文只需要解决20个小问题，掰开了揉碎了，难题就迎刃而解了

好的想法从哪里来

做过一些研究的同学会有感受，仅阅读自己研究方向的文献，新想法还是不会特别多。这是因为读到的都是该研究问题已经完成时的想法，它们本身无法启发新的想法。
如何产生新的想法呢？有三种可行的基本途径：
- 实践法。即在研究任务上实现已有最好的算法，通过分析实验结果，例如发现这些算法计算复杂度特别高、训练收敛特别慢，或者发现该算法的错误样例呈现明显的规律，都可以启发你改进已有算法的思路。现在很多自然语言处理任务的Leaderboard上的最新算法，就是通过分析错误样例来有针对性改进算法的 [1]。
- 类比法（迁移）。即将研究问题与其他任务建立类比联系，调研其他相似任务上最新的有效思想、算法或工具，通过合理的转换迁移，运用到当前的研究问题上来。例如，当初注意力机制在神经网络机器翻译中大获成功，当时主要是在词级别建立注意力，后来我们课题组的林衍凯和沈世奇提出建立句子级别的注意力解决关系抽取的远程监督训练数据的标注噪音问题 [2]，这就是一种类比的做法。
- 组合法。即将新的研究问题分解为若干已被较好解决的子问题，通过有机地组合这些子问题上的最好做法，建立对新的研究问题的解决方案。例如，我们提出的融合知识图谱的预训练语言模型，就是将BERT和TransE等已有算法融合起来建立的新模型 [3]。
与阅读论文、撰写论文、设计实验等环节相比，如何产生好的研究想法，是一个不太有章可循的环节，很难总结出固定的范式可供遵循。像小马过河，需要通过大量训练实践，来积累自己的研究经验。不过，对于初学者而言，仍然有几个简单可行的原则可以参考。
- （1）一篇论文的可发表价值，取决于它与已有最直接相关工作间的Delta。我们大部分研究工作都是站在前人工作的基础上推进的。牛顿说：如果说我看得比别人更远些，那是因为我站在巨人的肩膀上。在我看来，评判一篇论文研究想法的价值，就是看它站在了哪个或哪些巨人的肩膀上，以及在此基础上又向上走了多远。反过来，在准备开始一项研究工作之前，在形成研究想法的时候，也许要首先明确准备站在哪个巨人的肩膀上，以及计划通过什么方式走得更远。与已有最直接相关工作之间的Delta，决定了这个研究想法的价值有多大。
- （2）兼顾摘果子和啃骨头。人们一般把比较容易想到的研究想法，叫做Low Hanging Fruit（低垂果实）。低垂果实容易摘，但同时摘的人也多，选择摘果子就容易受到想法撞车的困扰。例如，2018年以BERT为首的预训练语言模型取得重大突破，2019年中就出现大量改进工作，其中以跨模态预训练模型为例，短短几个月里 arxiv上挂出了超过六个来自不同团队的图像与文本融合的预训练模型。设身处地去想，进行跨模态预训练模型研究，就是一个比较容易想到的方向，你一定需要有预判能力，知道世界上肯定会有很多团队也同时开展这方面研究，这时你如果选择入场，就一定要做得更深入更有特色，有自己独特的贡献才行。相对而言，那些困难的问题，愿意碰的人就少，潜下心来啃硬骨头，也是不错的选择，当然同时就会面临做不出来的风险，或者做出来也得不到太多关注的风险。同学需要根据自身特点、经验和需求，兼顾摘果子和啃骨头两种类型的研究想法。
- （3）注意多项研究工作的主题连贯性。同学的研究训练往往持续数年，需要注意前后多项研究工作的主题连贯性，保证内在逻辑统一。需要考虑，在个人简历上，在出国申请Personal Statement中，或者在各类评奖展示中，能够将这些研究成果汇总在一起，讲出自己开展这些研究工作的总目标、总设想。客观上讲，人工智能领域研究节奏很快，技术更新换代快，所以成果发表也倾向于小型化、短平快。我有商学院、社科的朋友，他们一项研究工作往往需要持续一年甚至数年以上；高性能计算、计算机网络方向的研究周期也相对较长。人工智能这种小步快跑的特点，决定了很多同学即使本科毕业时，也会有多篇论文发表，更不用说硕士生、博士生。在这种情况下，就格外需要在研究选题时，注意前后工作的连贯性和照应关系。几项研究工作放在一起，到底是互相割裂说不上话，还是在为一个统一的大目标而努力，格外反映研究的大局意识和布局能力。例如，下图是我们课题组涂存超博士2018年毕业时博士论文《面向社会计算的网络表示学习》的章节设置，整体来看就比《社会计算的若干重要问题研究》等没有内在关联的写法要更让人信服一些。当然，对于初学者而言，一开始就想清楚五年的研究计划，根本不可能。但想，还是不去想，结果还是不同的。
- （4）注意总结和把握研究动态和趋势，因时而动。
  - 2019年在知乎上有这样一个问题：“2019年在NLP领域，资源有限的个人/团队能做哪些有价值有希望的工作？”
  - 我当时的回答如下：
    - 我感觉，产业界开始集团化搞的问题，说明其中主要的开放性难题已经被解决得差不多了，如语言识别、人脸识别等，在过去20年里面都陆续被广泛商业应用。看最近的BERT、GPT-2，我理解更多的是将深度学习对大规模数据拟合的能力发挥到极致，在深度学习技术路线基本成熟的前提下，大公司有强大计算能力支持，自然可以数据用得更多，模型做得更大，效果拟合更好。
    - 成熟高新技术进入商用竞争，就大致会符合摩尔定律的发展规律。现在BERT等训练看似遥不可及，但随着计算能力等因素的发展普及，说不定再过几年，人人都能轻易训练BERT和GPT-2，大家又会在同一个起跑线上，把目光转移到下一个挑战性难题上。
    - 所以不如提前考虑，哪些问题是纯数据驱动技术无法解决的。NLP和AI中的困难任务，如常识和知识推理，复杂语境和跨模态理解，可解释智能，都还没有可行的解决方案，我个人也不看好数据驱动方法能够彻底解决。更高层次的联想、创造、顿悟等认知能力，更是连边还没碰到。这些正是有远见的研究者们应该开始关注的方向。
- 需要看到，不同时期的研究动态和趋势不同。把握这些动态和趋势，就能够做出研究社区感兴趣的成果。不然的话，即使研究成果没有变化，只是简单早几年或晚几年投稿，结果也会大不相同。例如，2013年word2vec发表，在2014-2016年之间开展词表示学习研究，就相对比较容易得到ACL、EMNLP等会议的录用；但到了2017-2018年，ACL等会议上的词表示学习的相关工作就比较少见了。
周志华：做研究与写论文

写作

【2020-7-4】【论文写作相关资源大列表】’Paper Writing’ by wangdongdut GitHub

术语

消融实验

【2023-11-15】论文里频频出现的消融实验(ablation experiment)是什么意思?

三个贡献点：A、B、C。

去掉A，其它保持不变，发现效果降低了，那说明A确实有用。
去掉B，其它保持不变，发现效果降的比A还多，说明B更重要。
去掉C，其它保持不变，发现效果没变，那C就是凑字数的

类似控制变量法

上海交大 IEEE Fellow 过敏意

【2022-1-18】IEEE Fellow 过敏意：从IEEE汇刊主编视角看如何提升科技论文质量

问题陈述部分需要和读者产生共鸣，让读者读了这部分之后，即使不看后面的具体方法，也能自己琢磨相应的解决方案，从而让读者在阅读后面的解决方案的时候有与作者对话的感觉，产生迎刃而解的感觉。

写作建议：
1. 临近区域同个词避免重复出现。中英文论文中如果临近区域重复出现一个词汇，会导致非常差的阅读体验，可以用其他相同含义的词汇表达同一意思。上图“红圈”地方就是一个直观例子。
2. 避免and开头。一方面 and让读者感觉不专业，另一方面和中国人的习惯不同，在英文表达中需要用一些连接词进行逻辑整理，例如On one hand，On the other hand，however等等。
3. 避免长句子。学会分段和分句。
4. 避免过于晦涩难懂的词汇。中国学生写论文尤爱使用生晦的词，喜欢查词典找同义词，认为不常用的词非常“高大上”，这其实违反了让读者有愉悦感的原则。

在具体的论文中，标题和摘要是主编和审稿人的兴趣入口。主编往往可以从这两部分找出文章的缺点以及贡献和亮点。这两部分的标准是：标题足够凝练，摘要足够突出论文的核心创新和贡献。值得一提的是，计算机领域论文的摘要中不需要包含太多的公式。

论文中的引言（introduction）部分需要陈述问题的背景和意义，以及简述过去在这个方向的工作，并指出当前工作的不足之处，以及投稿论文的主要创新点。这部分最能体现作者的功底，展现作者的调研能力。撰写引言不宜过长，简介主要突出关键点，能够方便主编快速地大体确认论文方向，针对性地挑选编委以及吸引读者进一步阅读论文。吸引读者的技巧可以借鉴中国画中的留白技法。

在撰写论文相关工作时，要注意一方面要概述过去工作的贡献，另一方面也要突出过去工作的不足，从而凸显自己工作的先进性。这部分的撰写需要不断打磨，既不无限抬高别人，也不能刻意贬低别人。其中技巧只可意会，不可言传，文章被拒的次数多了，自然就能领悟真谛。

撰写相关工作的大忌是罗列，它只能告诉读者“谁做了什么工作，谁又做了什么工作”，无法让读者获取深度信息。一定要逻辑地整理相关工作，让读者阅读这部分时确实能够看到这个小领域的发展，而不是简单地知道谁做了什么。

在论文主题部分，需要注意问题陈述和创新方法的撰写。其中问题陈述是比摘要和简介中更进一步的清晰陈述，问题要让人容易理解，在可能的情况下，举例说明会更清淅；创新方法中“为什么”比“怎么做”还重要，聚焦于“怎么做”容易陷入技术报告，缺乏逻辑串联，聚焦于“为什么”会吸引评委和读者思考，从而得到认同，并且能够自然地带出“怎么做”。

在论文实验部分，牢记“实验是对所提方案的验证”，有三个要素不可缺少。一是可重复性，要有公认的实验场景和配置；二是可解释性，图片清晰，避免出现图片“误用”；三是要可分析性，即佐证结论。

反例：作图不专业、实验单调、标题不清晰、没有对比等等，从而使得图没有自解释性。好的实验图应该让读者读完文字之后，能通过图片验证想法。左图是一个正确的案例，显然能够达到佐证的效果：对比清晰，可以不是和state of the art进行比较，至少要让读者感觉你对自己的方法有信心；用了专业的作图工具，且考虑了黑白打印的效果。

在写总结部分时候，很容易写成摘要。其实总结还有一层含义：Takeaway。它指的是：建立在读者已经阅读了论文后，和作者一起产生了共鸣，希望读者忘却论文的工作细节后，还能留下一些印象。因此，可以在有进一层理解的基础上再次总结论文的主要贡献，也即拔高。

佛靠金装，人靠衣装。论文排版非常重要，请尽量使用LaTex进行排版，看起来专业、漂亮。虽然我们不能以貌取人，但人是视觉动物，很难保障主编不会“以貌取文”。此外，尽量使用指定的论文模板，虽然IEEE的主编接收Springer模板的论文也无伤大雅，但与人方便就是与己方便，还是应该考虑接收信息的成本。

哥大博士总结

【2021-1-1】如何让文章写的更好？源自：哥大读博五年总结
总体思路：
- 先给一个Talk。写paper最难的是构思storyline，最好的方法就是做一个slides，给周围的人present一遍。这个过程中，梳理好自己的思路，画好文中的figure，准备好实验结果的table，周围的人给你提意见，帮助你完善，等这个talk给完了，后面写paper就会顺畅自然了。其实准备投一个paper，当做了一段时间后，就会按照最终presentation的思路，准备slides，用在每周给老板们report时。开头先快速review一下做的task和提出的方法，remind一下context，然后重点focus在那周做的新东西上，所以每周汇报的slides可能80%都是跟上一周一样的，然后新的方法和实验结果的那几页slides是新的，有比较多的细节。
- 用Google doc做语法检查。刚写好的paper有typo和语法错误是很难避免的，但常常会被reviewer揪着不放。大家写paper如今大都在overleaf上，但overleaf的查错还是不够好，建议可以写完paper后，贴到Google doc里面。几年前开始，估计是由于deep learning对Google NLP的改进很大，感觉Google自动改的质量已经非常高了。
- Rationale很重要。不光是要讲清楚怎么做的，更要justify为什么这么做；不光要讲结果比baseline好，更要解释为什么好；读者看到的不应是一个“使用手册”。有时候花了很多篇幅写了实现细节，更重要的是解释“为什么”，这个背后的逻辑和insights。
大部分paper都是提出一个新的方法，这类paper都可以套这个框架：
- Introduction：可以分为以下几个部分：
  - Problem definition
  - Previous methods and their limits
  - 简单描述你是提出了什么技术来overcome上面的limits
  - 一个图，非常high-level的解释前人工作的limits和你的工作怎么解决了这些limits，最好让人30秒内完全看懂
  - 最后一段如今大都是，In summary, this paper makes three contributions:
    - First work to解决什么limits
    - 提出了什么novel的技术
    - outperform了state-of-the-art多少
- Related Work：一般三五个subsection，分别review下相关的topics，同样不光讲previous work做了啥，更要讲自己的方法跟前人工作有啥不同
- Method
  - 这是文章的主体，按照你觉得最容易让别人看懂的方式来讲
  - 可以第一个subsection是overview，formulate一下你的problem给出notation，配一个整体framework的图，图里面的字体不能太大或者太小看不清， - 要有些细节，让人光看图就能明白你的方法是怎么回事，但不要过于复杂，让人在不超过2分钟的时间看完这张图
  - 然后几个subsection具体介绍你的方法或者模型；如果testing跟training不太一样，最后一个subsection介绍inference时候的不同，通常是一些post-processing操作
- Experiment
  - Datasets
  - Implementation details such as pre-processing process, training recipe
  - Evaluation metrics
  - Comparisons with state-of-the-art
  - Detailed analysis
    - Alternative design choice exploration
    - Ablation studies
    - Visualization examples
- Conclusion (and Future Work)
- Abstract：是全文的精简版，建议在paper写完第一稿差不多成型了，有定下来的成熟的storyline了，再去写abstract；大概就是用一两句话分别概括paper里面每个section，然后串起来
presentation的技巧：
- 如果可能的话，事先了解听众背景，是做同一个topic的，还是同一个大领域但不同topic的，还是完全其他专业背景的。需要根据听众背景，定制和调整：比如，需不需要多介绍些背景？需不需要更深入技术细节？等等
- 一页slide尽可能focus在一个点上，不要信息量过大，否则听众很容易lost
- 尽可能多用图片表达，不要大段大段的列文字，A picture is worth a thousand words
- 上面这两点，其实principle都是尽量让要讲的内容简单明了，因为很多时候我们在听talk，这样被动接受的时候，接受新知识的能力是比主动接受时候（比如看paper）低的。
- 当听众问问题的时候，If you don’t know the answer, just say don’t know.
- 如果是跟mentor日常讨论的slides，因为会讨论到很细节的东西，有些图PPT画起来，很花时间，而且通常这样细节的图还挺多，所以可以就ipad上面手画一画，截个图放到PPT里就好了；如果是正式一点的presentation，写slides跟写paper的principle有点像，不要太focus在细节上，更重要的是讲清楚motivation，为什么这样设计，细枝末节的不关键的内容，放在backup slides里面。

域外学习（OOD）

【2021-9-13】《因果学习周刊》第1期：因果学习的分布外泛化问题

经典的机器学习方法是建立在独立同分布假设的基础上的。然而在真实场景中，独立同分布假设很难得到满足，导致经典机器学习算法在分布偏移下的性能急剧下降，这也表明研究分布外泛化问题的重要性。分布外泛化(Out-of-Distribution Generalization)问题针对测试分布未知且与训练不同的具有挑战性的问题设定。

分布外泛化问题（Out-of-Distribution Generalization）相关的一些方法，以不变学习方法为主，最后还介绍了一篇最新的分布外泛化问题综述文章。

清华大学计算机系崔鹏团队发布了首篇OOD泛化问题综述：Towards Out-of-Distribution Generalization: A Survey

论文地址, 论文中综述OOD泛化方法文章总结

【2021-10-26】论文分享：Mila-Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization

论文链接, Hub链接
推荐理由：本文将不变学习与信息瓶颈结合了起来，并给出了一系列的模拟实验来说明其必要性，十分具有借鉴意义。
简介：来自因果关系的不变性原则是诸如不变风险最小化(IRM)等方法的核心，这些方法试图解决分布外泛化问题(Out-of-Distribution Generalization Problem)。尽管这个理论很有潜力，但基于不变原理的方法在普通的分类任务中效果不佳，这其中不变(因果)特征捕获了关于标签的所有信息。然而这些失败是由于方法未能捕获不变性特征造成的吗? 还是不变性原则本身就不够? 为了回答这些问题，我们回顾了线性回归任务中的基本假设，其中基于不变的方法被证明可以做到分布外泛化。与线性回归任务相比，我们证明，对于线性分类任务，需要对分布偏移有更强的限制，否则分布外泛化是不可能的。此外，即使有适当的分布位移限制，我们也证明了仅靠不变性原理是不够的。当不变特征捕获关于标签的所有信息时，一种形式的信息瓶颈约束和不变性原理结合有助于解决关键故障，并且即使在它们没有捕获到有关标签的所有信息时，也能维持现有的分布外泛化性能。我们提出了一种结合这两种原则的方法，并在几个实验中证明了它的有效性。

机器学习研究中的陷阱

【2021-8-17】如何避免机器学习研究中的陷阱？一本给学术研究人员的指南，指南共涵盖了机器学习过程的五大方面：建模前如何准备，如何建出可靠的模型，如何稳健地评估模型，如何公平地比较模型以及如何报告结果。

2021年8月5日的How to avoid machine learning pitfalls: a guide for academic researchers
- This document gives a concise outline of some of the common mistakes that occur when using machine learning techniques, and what can be done to avoid them. It is intended primarily as a guide for research students, and focuses on issues that are of particular concern within academic research, such as the need to do rigorous comparisons and reach valid conclusions. It covers five stages of the machine learning process: what to do before model building, how to reliably build models, how to robustly evaluate models, how to compare models fairly, and how to report results.

建模前的准备

为了得到符合预期用途的模型、可以顺利发表论文的结果，建模之前你需要做好以下6点准备：

1、确保花时间研究你要用的数据集，来源可靠、质量有保证。
2、但不要查看测试数据，防止先入为主做出某些假设导致最终模型通用性差。
3、保证数据量足够大，当然保证不了也是常有的事儿，解决办法：比如评估模型时交叉验证数据、采用数据扩充技术（数据集中某类数据不够时也可采用）。但总的来说，数据不够模型就不能设计得太复杂，不然分分钟给你过拟合。
4、要和相关领域专家谈谈，防止研究脱离实际，并且他们也可以帮助你向最合适的期刊/受众发表。
5、搜遍相关文献，虽然发现别人已经研究过了很沮丧，但是写论文时你该怎么解释为什么要覆盖相同的领域。
6、一定要提前考虑模型部署的问题：大部分学术研究最终都是要落地吧？好好考虑落地场景的资源、时间限制等问题来设计模型。

如何建出可靠的模型

1、不要让测试数据参与到训练过程中（这点前面也已强调过）。
2、尝试不同的ML模型，别套用，具体问题具体分析找出最适合解决你的问题的那个。“凑合”的例子包括将期望分类特征的模型应用于由数字特征组成的数据集、将假定变量之间没有依赖关系的模型应用于时间序列数据，或者只相信最新的模型（旧的不一定不合适）。
3、一定要优化模型的超参数。使用某种超参数优化策略比较好，这样在写论文时也好整。除了数据挖掘实践之外，可以使用AutoML技术优化模型及其超参数的配置。
4、在执行超参数优化和特征选择要小心：防止测试集“泄漏”，不要在模型训练开始之前对整个数据集进行特征选择。理想情况下应使用与训练模型所用数据完全相同的数据。

实现这一点的常用技术是嵌套交叉验证（也称为双交叉验证）。

如何稳健地评估模型

对模型进行不公平的评估，很容易让学术研究的水变浑浊。作者一共提了5点：

1、一个模型在训练集上的表现几乎毫无意义，保证测试集与训练集之间的独立。
2、在连续迭代多个模型，用前面的数据指导下一个的配置时使用验证集，千万不要让测试集参与进来。可以根据验证集对模型进行测量：当分数开始下降时，停止训练，因为这表明模型开始过拟合。
3、对模型多次评估，防止低估/高估性能。十次交叉验证是最标准的做法，对很小的数据类进行层化也很重要；需要报告多个评估的平均值和标准偏差；也建议保留单个分数记录，以防以后使用统计测试来比较模型。
4、保留一些测试数据以无偏评估最终的模型实例。
5、不要对不平衡的数据集使用准确度（accuracy）指标。这个指标常用于分类模型，不平衡数据集应采用kappa系数或马修斯相关系数（MCC）指标。

如何公平地比较模型

这是非常重要的一环，但很惊讶的是很多人都比不对，作者表示一定要确保在同一环境中评估不同的模型，探索多个视角，并正确使用统计测试。

1、一个更大的数字不意味着一个更好的模型。应将每个模型优化到同等程度，进行多次评估，然后使用统计测试确定性能差异是否显著。
2、要想让人相信你的模型好，一定要做统计测试。
3、进行多重比较时进行校正：如果你以95%的置信水平做20个成对测试，其中一个可能会给你错误的答案。这被称为多重性效应。最常见的解决方法是Bonferroni校正。
4、不要总是相信公共基准测试的结果。使用基准数据集来评估新的ML模型已变得司空见惯，你以为这会让结果更透明，实际上：如果测试集的访问不受限，你没法确保别人没有在训练过程中使用它；被多次使用的公共测试集上的许多模型可能会与之过度匹配；最终都会导致结果乐观。
5、考虑组合模型。

如何报告结果

学术研究的目的不是自我膨胀，而是一个贡献知识的机会。为了有效地贡献你的想法，你需要提供研究的全貌，包括哪些有效哪些无效。

1、保持你所做所发现的成果透明，这会方便其他人更容易地在你的工作基础上扩展。共享你的代码也会让你在coding的时候更认真。
2、提供多个测试集上的报告，为每个数据集报告多个度量指标（如果你报告F值，请明确这是F1得分还是精度和召回率之间的其他平衡；如果报告AUC，请指出这是ROC曲线下的面积还是PR下的）；
3、不要在结果之外泛化，不要夸大，意识到数据的局限性。
4、报告统计显著性时一定要小心：统计人员越来越多地认为，最好不要使用阈值，而只报告p值，让读者来解释这些值。除了统计意义之外，另一件需要考虑的事是两个模型之间的差异是否真正重要。
5、最后，再回过头完整的看一眼你的模型，除了报告性能指标，看看它能解决多少实际问题。

小样本学习

【2021-1-1】小样本学习方法(FSL)演变过程
小样本学习方法(FSL)演变过程以及MAML和度量学习的区别所在
小样本学习一般会简化为N-way K-shot问题，如图。其中N代表类别数量，K代表每一类中(支持集)的样本量；
解决分类问题，人们最先想到的是采用传统监督学习的方式，直接在训练集上进行训练，在测试集上进行测试，如图，但神经网络需要优化的参数量是巨大的，在少样本条件下，几乎都会发生过拟合；
首先想到的是通过使用迁移学习+Fine-tune的方式，利用Base-classes中的大量数据进行网络训练，得到的Pre-trained模型迁移到Novel-classes进行Fine-tune，如图。虽然是Pre-trained网络+Fine-tune微调可以避免部分情况的过拟合问题，但是当数据量很少的时候，仍然存在较大过拟合的风险。
小样本学习中极具分量的Meta-learning方法，现阶段绝大部分的小样本学习都使用的是Meta-learning方法。Meta-learning，即learn to learn，翻译成中文是元学习。Meta-learning共分为Training和Testing两个阶段
- (1) Training阶段的思路如图[4]。
  - 简单描述下流程：
    - 1：将训练集采样成Support set和Query set两部分；
    - 2：基于Support set生成一个分类模型；
    - 3：利用模型对Query set进行分类预测生成predict labels；
    - 4：通过query labels和predict labels进行Loss(e.g., cross entropy loss )计算，从而对分类模型中的参数θ进行优化。
- (2) Testing阶段的思路如图，利用Training阶段学来的分类模型在Novel class的Support set上进行进一步学习，学到的模型对Novel class的Query set进行预测。
- 元学习整体流程
- Meta-learning核心点之一是如何通过少量样本来学习这个分类模型，即图中的key部分。
- 在这里引出了Meta-learning的两个主要方法：
  - 度量学习(Matrix-based Meta-learning)和MAML(Optimization-based Meta-learning)

元学习

【2020-9-19】什么是元学习（meta-learning）?
元学习（Meta Learning）或者叫做“学会学习”（Learning to learn），它是要“学会如何学习”，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力。
- 瑞士Dalle Molle人工智能研究所的联合主任Jürgen Schmidhuber（LSTM发明人）在1987年毕业论文《Evolutionary principles in selfreferential learning. (On learning how to learn: The meta-meta-… hook.)》中最早提出了元学习的概念。在 1992 和 1993 两年里又借助循环神经网络进一步发展元学习方法。
由于元学习可帮助模型在少量样本下快速学习，从元学习的使用角度看，人们也称之为少次学习（Few-Shot Learning）。
- 如果训练样本数为 1，则称为一次学习（One-Shot Learning）；
- 训练样本数为 K，称为 K次学习；
- 更极端地，训练样本数为 0，称为零次学习（Zero-Shot Learning）。
另外，多任务学习（Multitask Learning）和迁移学习（Transfer Learning）在理论层面上都能归结到元学习的大家庭中。
当前的深度学习大部分情况下只能从头开始训练。使用Finetune来学习新任务，效果往往不好，而Meta Learning 就是研究如何让神经元两个很好的利用以往的知识，使得能根据新任务的调整自己。
元学习可以简单地定义为获取知识多样性 (knowledge versatility) 的能力。
元学习要解决的就是这样的问题 : 设计出拥有获取知识多样性能力的机器学习模型，它可以在基于过去的经验与知识下，通过少量的训练样本快速学会新概念和技能。
- 例如完成在非猫图像上训练的分类器可以在看到一些猫图片之后判断给定图像是否包含猫
- 帮游戏机器人能够快速掌握新游戏,使迷你机器人在测试期间在上坡路面上完成所需的任务，即使它仅在平坦的表面环境中训练

元学习与多任务学习以及迁移学习的对比

元学习虽然从适应新任务的角度看，像是多任务学习；从利用过去信息的角度看，又像迁移学习。不过相对比二者还是有自己的特殊性
- 相较于迁移学习，元学习模型的泛化不依赖于数据量。迁移学习微调阶段还是需要大量的数据去喂模型的，不然会很影响最终效果。而元学习的逻辑是在新的任务上只用很少量的样本就可以完成学习，看一眼就可以学会。从这个角度看，迁移学习可以理解为元学习的一种效率较低的实现方式。
- 对比多任务学习，元学习实现了无限制任务级别的泛化。因为元学习基于大量的同类任务 ( 如图像分类任务 ) 去学习到一个模型，这个模型可以有效泛化到所有图像分类任务上。而多任务学习是基于多个不同的任务同时进行损失函数优化，它的学习范围只限定在这几个不同的任务里，并不具学习的特性。
【2021-1-1】知乎总结 aluea
- 迁移学习和元学习共同点就是泛化到没训过的任务上，或者是特定数据一些没见过的类。
- 两者一个是字面上的迁移学习，一个是学会学习。迁移学习简单来说就是，以前训练了一个模型，现在有个新任务，仍想用上那个模型。元学习完全不拘泥于模型，以前学过一些东西，现在新任务得用上它们。从定义上来看，使用迁移学习来实现元学习是一个天然直观的想法，这就是两者的关系。
anders：元学习经常与另一个话题更相关，多任务学习，两者之间经常是形影不离。
- 多任务学习属于parallel transfer learning，而一般意义的迁移学习是sequential transfer learning。
- 多任务学习中的知识迁移，是并行进行的，多个任务的学习没有先后关系。而一般情况的迁移学习中的知识迁移，是串行进行的，即多个任务的学习过程存在先后关系。
- 需要说的是，不少的多任务学习模型背后都有着元学习的影子，但这些多任务学习的研究往往不会从元学习的角度去解释和思考问题。实际上，元学习也启发了不少多任务学习模型，可以从元学习的角度去解释多任务学习的有效性。

元学习与有监督学习、强化学习的对比

分类
- 有监督学习和强化学习称为从经验中学习（Learning from Experiences) , 下面简称LFE；
- 而把元学习称为学会学习（Learning to Learn) , 下面简称LTL。
二者区别
- ① 训练集不同
  - LFE的训练集面向一个任务，由大量的训练经验构成，每条训练经验即为有监督学习的（样本，标签）对，或者强化学习的回合（episode)
  - 而LTL的训练集是一个任务集合，其中的每个任务都各自带有自己的训练经验。
- ② 预测函数不同
- ③ 损失函数不同
- ④ 评价指标不同
- ⑤ 学习内涵不同
  - LFE是基层面的学习，学习的是样本特征（或数据点）与标签之间呈现的相关关系，最终转化为学习一个带参函数的形式；
  - 而LTL是在基层面之上，元层面的学习，学习的是多个相似任务之间存在的共性。不同任务都有一个与自己适配的最优函数，因此LTL是在整个函数空间上做学习，要学习出这些最优函数遵循的共同属性。
- ⑥ 泛化目标不同
  - LFE的泛化目标是从训练样本或已知样本出发，推广到测试样本或新样本；
  - 而LTL的泛化目标是从多个不同但相关的任务入手，推广到一个个新任务。LTL的泛化可以指导LFE的泛化，提升LFE在面对小样本任务时的泛化效率。
- ⑦ 与其他任务的关系不同
  - LFE只关注当前给定的任务，与其他任务没关系；
  - 而LTL的表现不仅与当前任务的训练样本相关，还同时受到其他相关任务数据的影响，原则上提升其他任务的相关性与数据量可以提升模型在当前任务上的表现。

对话系统

【2021-8-6】顶会汇总

AAAI2021中的Dialogue, AAAI2021的录用文章，包含Dialogue的总共有26篇，还有一些槽位填充和意图识别不带dialogue的文章，简单分类整理如下，包含相关标题和下载链接。
ACL2021上的Dialogue, ACL2021上包含dialogue关键词的主会文章整理如下,共35篇,方便对话的同学快速了解。相比于去年，对话热度有所下降。

一、多模态对话

二、对话摘要

三、医疗对话

Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue Generation

四、对话生成

五、端到端对话系统

UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2

六、对话情感分析

七、任务型对话系统

口语语言理解 (SLU)

对话状态跟踪 (DST)

端到端对话系统

Continual Learning for Task-oriented Dialogue System with Iterative Network Pruning, Expanding and Masking

开放域对话系统

对话回复选择

Dialogue Response Selection with Hierarchical Curriculum Learning

十一、对话阅读理解

十二、对话策略学习

十三、对话数据集

十四、Document-grounded 对话系统

Converse, Focus and Guess - Towards Multi-Document Driven Dialogue

知识指导的对话系统

Increasing Faithfulness in Knowledge-Grounded Dialogue with Controllable Features

对话评估

对话预训练

对话系统应用

技术无止境

注意：

始终记住我们是做算法的，多想想自己的工作泛化能力有多强，技术亮点在哪儿，模板映射谁都能想到，没有什么技术难度，做起来容易，说起来却难以开口，到时候别埋怨自己的工作内容没技术含量了

工作中不缺乏技术点，缺乏发现的眼睛。技术点无处不在。

别被产品、运营的思路限制，做什么，怎么做，做得怎么样，我们都是可以控制的

宗旨：

从业务中来（0→1）：提炼、归纳可以泛化的平台能力，一次开发，多次使用，业务弱相关，人力解绑，多花些心思打磨核心竞争力（技术+思维方式）
到业务中去（1→n）：通用能力快速应用到具体业务，可以小幅定制，尽量避免过多一次性工作，项目做了一堆，却感觉不到成长
技术转化路线
- 技术点 → 专利（10篇）、项目、公众号、论文

说明

跟进NLP、对话方向最新技术
ACL 2020趋势总结

论文

NLP Progress
nlp最新论文及代码
100 Must-Read NLP Papers
【按主题分类的自然语言处理文献大列表】NLP Paper - natural language processing paper list
清华NLP组文本生成方向：Text Generation Reading List
文本生成框架：AllenNLP、FairSeq、OpenNMT、Texar、HuggingFace
中文公开聊天语料库
Chatbot and Related Research Paper Notes with Images

技术点

培训机器人的技术点

知识追踪在培训中应用：出题式培训按照知识追踪提前预估
Data2text：题目自动生成，业务方只需要准备关键词
问答模型：IR-QA/KB-QA/MRC-QA
多轮改写：解决单轮问答里的信息缺失问题，指代消解和信息补全
小贝客户模拟器
小贝主动发问策略：RL里的DQN/BBQ等
闲聊：基于模板的文本生成
基于画像的文本风格话
元学习在培训中应用：小样本学习，业务方不太可能按照监督学习模式提供大规模标注语料，他们能准备的只有100-200的少样本，因此需要探索小样本学习、语义匹配模式实现NLU功能
多模态会话评价：除了文本，还要结合行为（页面点击）、情绪、声音特征
因果推理
- 基于模型的评价结果无法定位到哪个因素导致结果分数低
- 基于规则的评价方法可控，但是泛化能力弱
- 因果推理可以根因到具体哪个特征影响了分数，反事实干预
可解释性
- 机器学习可解释性探索

无监督评分卡

现有方法：特征工程→加权求和
问题：
- 样本空间仍然存在聚集现象，区分度有限——无监督对比学习？
- 离正态分布有一定距离

对话评估

尤其是无监督领域

论文：

一篇解决对话无监督评估的论文：How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
该论文引用图谱

方法	全称	应用场景	核心思想	特点	缺点	改进
BLEU	Machine Translation	比较候选译文和参考译文里的 n-gram 的重合程度	n-gram共现统计;基于精确率	只看重精确率，不看重召回率；存在常用词干扰（可以用截断的方法解决）；短句得分较高。即使引入了brevity penalty，也还是不够。	截断：改进常用词干扰；brevity penalty：改进短句得分较高的问题
NIST	National Institute of standards and Technology	BLEU改进	引入了每个n-gram的信息量(information)，对于一些出现少的重点的词权重就给的大了
METEOR	Metric for Evaluation of Translation with Explicit ORdering，显式排序的翻译评估指标	Machine Translation、Image Caption	解决一些 BLEU 标准中固有的缺陷	unigram共现统计；基于F值；考虑同义词、词干	只有java实现；参数较多，4个自己设置；需要外部知识源，比如：WordNet
ROUGE	Recall-Oriented Understudy for Gisting Evaluation，面向召回率的摘要评估辅助工具	Text Summarization	BLEU 的改进版，专注于召回率而非精度。多少个参考译句中的 n 元词组出现在了输出之中。大致分为四种：ROUGE-N，ROUGE-L，ROUGE-W，ROUGE-S	n-gram共现统计、最长公共子序列；基于召回率(ROUGE-N)和F值(ROUGE-L)	基于字的对应而非基于语义，可以通过增加参考摘要数量来缓解	ROUGE-S：统计skip n-gram而非n-gram；ROUGE-W：考虑加权的最长公共子序列
Perplexity	困惑度	Machine Translation、Language Model	根据句子长度对语言模型得分进行Normalize	基于语言模型（我感觉其实也是n-gram）；困惑度越低，翻译质量越好	数据集越大，困惑度下降得越快；数据中的标点会对模型的PPL产生很大影响；常用词干扰
CIDEr	Consensus-based Image Description Evaluation，基于共识的图像描述评估	Image Caption	TF-IDF向量的夹角余弦度量相似度	TF-IDF；余弦相似度	与ROUGE一样，也只是基于字词的对应而非语义的对应
SPICE	Semantic Propositional Image Caption Evaluation，语义命题图像标题评估	Image Caption			主要考察名词的相似度，不适合机器翻译

详见地址

DM对话管理器

DST

最新的论文，基于BERT的DST，A Simple But Effective Bert Model for Dialog State Tracking on Resource-Limited Systems
参考对话系统领域sota论文

角色模拟

机器人模拟不同类型客户，与用户交互；与用户模拟器有相似性

口语书面化

【2020-10-26】用文本匹配方法做文本摘要，ACL 2020论文代码
文本摘要方向sota论文及代码集合
- 用这个，bertsum，排名第一，pytorch代码，含模型文件，https://github.com/nlpyang/PreSumm
- Text Summarization on WikiHow，第一名代码

文本生成

综述，截止2019年12月
【2020-10-22】训练场文案生成，华山论剑上分享的文本生成综述
大众点评信息流基于文本生成的创意优化实践：文本生成的三种主流方法各自的优劣势：
- 规划式：根据结构化的信息，通过语法规则、树形规则等方式规划生成进文本中，可以抽象为三个阶段。宏观规划解决“说什么内容”，微观规划解决“怎么说”，包括语法句子粒度的规划，以及最后的表层优化对结果进行微调。其优势是控制力极强、准确率较高，特别适合新闻播报等模版化场景。而劣势是很难做到端到端的优化，损失信息上限也不高。
- 抽取式：顾名思义，在原文信息中抽取一部分作为输出。可以通过编码端的表征在解码端转化为多种不同的分类任务，来实现端到端的优化。其优势在于：能降低复杂度，较好控制与原文的相关性。而劣势在于：容易受原文的束缚，泛化能力不强。
- 生成式：通过编码端的表征，在解码端完成序列生成的任务，可以实现完全的端到端优化，可以完成多模态的任务。其在泛化能力上具有压倒性优势，但劣势是控制难度极大，建模复杂度也很高。
【2021-1-4】题目自动生成data2text
- 应用点是业务方设计题目时，不用再费劲编写题目，只需设置知识点，系统根据知识点+问题类型生成候选题目，业务方验证通过即可
【2021-3-29】文本风格迁移综述，一文超详细讲解文本风格迁移

多轮改写

【2020-11-25】腾讯微信AI Labs发表的多轮改写
- Improving Multi-turn Dialogue Modelling with Utterance ReWriter，通过query改写提升对话效果，开源代码基于lstm，有人改造成transformer版本

文本匹配

文本匹配

文本聚类

聚类算法

知识追踪——智能出题

【2020-11-20】Knowledge Tracing
VR培训场景中，知识点可以按照两个维度划分：
①具体：对楼盘、小区、房源掌握程度
②抽象：逻辑能力、需求挖掘能力、突发应对能力等，这样EE和AE都好做了，解释性也很好

因果推理

因果推理，代码实践

斡旋机器人

【2021-2-4】佐治亚理工调解机器人, An Intervening Ethical Governor for a Robot Mediator in Patient-Caregiver Relationships

量化交易

预测股票涨跌，机器学习与业务十分贴近

其它

【2023-11-6】知网论文、期刊、专利认领，地址

作者服务平台：已有2篇期刊，9篇专利

硕士论文

【2022-01-24】

硕士毕业论文：图像分割配准技术在小鼠舌头三维重建中的应用
- 知网未收录
计算机工程学报：基于形态学的小鼠舌头切片图像分割与实现
- 知网地址
- 发表时间 2011-06-20 13:39，被引用 6，下载 191
基于中科院的三维重建开源软件做二次开发，软件著作权，天眼查

【2023-11-6】知网最新通知：这些人可以领稿酬了

知网个人主页

专利认领地址

【2023-4-22】蝗虫切片图像重建论文，生物信息学国际杂志

A high-fidelity inpainting method of micro-slice images based on Bendlet analysis
Kexin Meng, Meng Liu, Shuli Mei*, Linqiang Yang

专利

SooPAT网址, 国家知识产权局入口：中国及多国专利查询

作者服务平台已有9篇
专利检索与分析

历史专利

【阿里-高德】一种用户满意度评分方法及装置 – 搜索满意度自动评估
- 专利局, soopat, 知网
【滴滴】一种信息处理方法及装置 – 对话意图关联识别
- 专利局, soopat，知网
【滴滴】模型训练方法、咨询推荐方法、装置及电子设备 – 多任务学习
- 专利局, soopat,知网
【滴滴】一种智能对话方法和系统 – 基于kb-qa的问答
- 专利局, soopat，知网
【贝壳】文本处理方法、装置、计算机可读存储介质及电子设备 – 一种无监督文本问答评价打分方案
- soopat
【贝壳】对话机器人的主动对话方法、装置、电子设备及存储介质
- 专利局, 知网
【贝壳】信息差异的识别方法和存储介质、电子设备 —— 房江湖
- 郝梦圆; 柴鹰; 王奇文
- 专利局
【贝壳】文本处理方法、装置、计算机可读存储介质及电子设备
专利局, 知网

学术造假

【2024-1-28】原来我们都是学术造假的受害者。学术造假影响的不止是学生，而是我们所有人

阿兹海默症为什么到现在都治不了？2006年奠基性的学术论文造假，导致以后16年的研究都有问题。全球老年痴呆领域的科学家16年的心血和上百亿的研发资金全部化成泡影。
几年前，喝红酒有益健康的言论被多少人奉为了真理，真相却是该言论的提出者哈佛教授通过他的红酒庄园得到了巨大的利益。直到2018年，哈佛教授这一言论才被推翻。
华中农大被举报的教授黄某某所提出的三竹醇几乎是十分全能的添加剂，能全方位改善家畜家禽的生长、繁殖甚至口感。但研究生发现，该物质至今来源不明，学生也从未见过实际提取物，而且售价非常高，一克80万的添加，若将这种虚假的东西投入市场上下产业链将获得多么庞大的利益，动物和消费者也都将受到伤害。这群少年赌的不只是他们自己的前途，他们是在揭露这场无限大的阴谋。

论文阅读-Paper-Club

最新技术

资料

信息获取

（1）最新信息

每日学术速递

工具

arXiv-Search

ArXiv 爬虫

ArXiv ChatGuru

（2）某个领域的进展

（3）工作回顾

论文检索

Sota

NLP 组织及资料

ACL 2022上的NLP热点

NLP各方向论文综述

NLP论文经验

顶会信息

资讯

跟李沐学AI

KDD

录用论文

研究

研究思路

科研方法论

好的想法从哪里来

写作

术语

消融实验

上海交大 IEEE Fellow 过敏意

哥大博士总结

域外学习（OOD）

机器学习研究中的陷阱

建模前的准备

如何建出可靠的模型

如何稳健地评估模型

如何公平地比较模型

如何报告结果

小样本学习

元学习

元学习与多任务学习以及迁移学习的对比

元学习与有监督学习、强化学习的对比

对话系统

一、多模态对话

二、对话摘要

三、医疗对话

四、对话生成

五、端到端对话系统

六、对话情感分析

七、任务型对话系统

口语语言理解 (SLU)

对话状态跟踪 (DST)

端到端对话系统

用户模拟器

八、跨领域对话系统

九、无监督对话系统

十、检索式对话系统

十一、对话阅读理解

十二、对话策略学习

十三、对话数据集

十四、Document-grounded 对话系统

对话评估

对话系统应用

技术无止境

说明

论文

技术点

无监督评分卡

对话评估

DM对话管理器

DST

角色模拟

口语书面化

文本生成

多轮改写

文本匹配

文本聚类

知识追踪——智能出题

因果推理