2023年，Prompt Tuning是否已全面超越Fine-Tuning?

最近几年，自然语言处理领域的研究飞速发展。特别是自2020年后，在NLP相关顶会上出现了一些原理简单、实现容易、理论清晰、效果惊人的方法论，例如对比学习，提示学习等。这些方法论在诸如情感分析、文本蕴含、句子表征、知识图谱等下游任务上已经取得了不错的成绩。

本质上说，Prompt是一种激发语言模型中知识的手段。随着Prompting技术的大火，有越来越多的研究者在思考，Prompt（除了让这个方向的研究越来越卷）还能带来什么？

与此相类似的，对比学习在自然语言中备受关注。它使用成对的训练数据增强为具有良好的表示能力的编码器构建分类任务。也可能是因为对比学习研究的持续热度，2022年以来文本表示方向突然就卷起来了，SOTA刷的嗖嗖的，卑微的科研er表示，上一个工作才开始熟悉，新的SOTA就狠狠砸过来……

好，你厉害，我读还不行吗。

作为近年来NLP比较火的方向之一，Prompt吸引了足够多的关注。纵观今年各大顶会上的论文，我们可以观察到对比学习出现的频率明显增高，并且各种改进也层出不穷，一句话就是，开始卷起来了！

尤其是随着ChatGPT的大热，prompt的浪头又高了起来。

扫码领prompt值得一读论文合集

NLP发展至今，已经延伸出很多的子方向、子领域，单单从顶会论文的收录情况来看，很难不让人有这样的疑惑：感觉所有方向都有人做过了，好不容易有了一个idea，上网一搜，早已有人用来发了论文。

对于已然入坑的NLPer，怎么样才能高效做科研发论文抢占idea？

全民积极向（内）上（卷）的时代，江湖常有传言：SCI在手，升职加薪、前程无忧。

发论文的门槛，说高不高，说低不低。不管你是科研经验丰富的研二研三学生还是研0小白都可以发论文的。有时候限制你发论文的，不是写作技巧、不是实验，往往是最初但是最重要的idea。

对于想要发表论文，对科研感兴趣或正在为科研做准备的同学，想要快速发论文有两点比较重要。

1.紧跟风口。

想发文章比较容易的方法是紧跟风口，顺着领域内的研究趋势确定自己的方向，毕竟在热门领域内创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新Training算法，只要能够在某一问题上做到一个很好的performance，论文就水到渠成。而想要快速达到，来自前辈的指点不可或缺。

所以，要解决的问题就是：

1.找到风口

2.找到领域内的大神做导师

一个好的指导老师的作用是，没有课题，能够结合所在课题组具体情况，结合最近热门研究方向，帮你规划课题，如果有了课题而缺少创新方向，老师能够快速帮你找到几种切入点，几种框架，甚至连需要读哪些文献都帮你想好了......

扫码免费领取论文指导攻略

快速打通写论文的任督二脉

（文末福利）

同时向大家推荐一个Prompt科研小班。由沃恩智慧金牌导师，毕业于哈工大的Kimi博士指导。小班课目前已开到第三期~

滑动查看课程介绍

Kimi老师复现代码精彩片段↓

心动了就赶紧扫码预约吧~

实际上，大部分的论文创新点是这么来的——

了解前沿研究是找到创新点的基本步骤。对于人工智能领域的研究者来说，了解新的研究进展、当前的研究趋势和热点话题是比较重要的。

人工智能领域的顶级会议和期刊，如NeurIPS、ICML、CVPR等，是了解新研究进展的重要渠道之一。

在了解前沿研究的基础上，接着需要寻找研究空白。这包括已有研究中未解决的问题、未被深入探讨的领域、尚未研究过的数据集等。这些研究空白可能是大家寻找创新点的重要来源。

为了寻找研究空白，你需要对已有研究进行深入的分析和思考。可以通过阅读文献综述、看研究方向的细节、参加研讨会等方式，找到一些未被解决的问题或者未被深入探讨的领域。

在找到研究空白的基础上，接着需要提出新的问题。这些问题应该是基于前沿研究和研究空白的基础上，具有一定的挑战性和实际应用价值。通过提出新问题，可以找到新的研究方向和创新点哦~

提出新问题需要对前沿研究和研究空白进行深入的分析和思考。需要思考如何从已有的研究中提取出新的问题以及这些问题的研究意义和应用价值。

同时，大家也同时考虑如何解决这些问题，并寻找创新的解决方法。例如，如果你发现当前的图像分割算法不能很好地处理医学图像，那么你可以提出一个新问题：

如何利用深度学习技术更好地处理医学图像中的分割问题？这个问题既有一定的挑战性，也有很高的实际应用价值。通过解决这个问题，你可以为医学图像分割领域做出贡献，并发掘新的研究方向和创新点。

又如，如果你发现当前的对话系统不能很好地处理多轮对话，那么你可以提出一个新问题：如何设计一种新的对话系统，可以更好地处理多轮对话，并具有良好的用户体验？

这个问题同样具有一定的挑战性和实际应用价值，通过解决这个问题，你可以为对话系统领域做出贡献，并发掘新的研究方向和创新点。

扫码免费领取论文指导攻略

快速打通写论文的任督二脉

（文末福利）

论文的创新基本可以从两方面入手：

1、原理创新：比如模型创新，如YOLO、R-CNN或是智能优化算法（粒子群）等；再比如模型改进，如常规卷积和深度可分离卷积，但这一系列难度较大，不适合小白哦

2、应用创新：这很好理解，比如Vision Transformer，原来的Transformer是在自然语言处理上面应用的，后来被迁移到了计算机视觉中，小伙伴们在写论文的时候也可以尝试把其他领域上的模型应用到自己的模型身上哦~

实验验证也是寻找创新点的必要步骤。实验验证可以验证提出的新问题、创新方法的有效性和实际应用价值，同时也可以发现一些意想不到的结果和创新点。

实验验证需要大家具备一定的实验设计和分析能力。你需要设计合适的实验方案，收集和分析实验数据，并从中发现新的创新点。实验结果可以为研究工作提供有效的证据和支持。

扫码免费领取论文指导攻略

快速打通写论文的任督二脉

（文末福利）

作为日常为了论文而忙碌的科研人，小编知道大家一定很需要一些资料。因此，小编精心整理了一份超过20G的AI顶会论文大礼包！包含顶会论文、书籍等资料，以及英文论文写作指导保姆级资料，从文献阅读到论文写作，全部帮你整理好~

扫码免费领课程资料↑

-END-