如何想出idea¶
多读论文¶
不要只读论文里的motivation和method
- 论文里的图表和统计特征
在论文里找到具有统计意义的东西，那么在语料里也肯定遵循这样的规律，我们就能用机器学习的方法， 我们再用不同方法解决，哪种方法好，就用哪种
- 实验分析
从数据上看，GPT-4在多选问题上提升显著，这个问题就不必做了，当看到它在HumanEval这个数据集上表现不好， 我们这时就可以做这方面的工作，只要没有做到九十多，就有值得做的空间。
- case分析
找到任务里最好的模型，然后复现一下，根据测试集，预测模型的结果，把bad case拿出来
去分析这些case为什么bad,case之间有什么规律，比如说都会产生什么回复，最后找方法去解决
- 动手做实验
不亲自做实验永远不知道有什么BUG实例，提升代码工程能力，发现代码里有什么问题
- 在多篇论文里取其精华，去其糟粕
发现几篇论文解决同一个问题，分析他们的优缺点，然后找出折中的方案，往往取得好结果