AI措辞模型在当代自然措辞处理任务中发挥着越来越主要的浸染，但要充分发挥它们的潜力，须要设计出得当的提示，这常日须要专业知识和大量试错。最近，Google研究团队提出了PRewrite，这是一个基于强化学习的自动化提示改写工具，能够自动优化提示，并显著提升措辞模型不才游任务上的表现。
论文地址：https://arxiv.org/abs/2401.08189
添加图片注释，不超过 140 字（可选）
紧张内容如下：
提示工程对基于措辞模型的运用至关主要。得当的提示可以大幅提升措辞模型在零样本或少样本设置下的下贱任务表现。然而，目前大多数提示工程都是手动进行的，既耗时又低效，天生的提示常日不是最优的。
PRewrite是Google研究团队提出的基于强化学习的自动化提示改写工具。它以人工编写的提示作为出发点，利用强化学习进行端到端优化，以天生更有效的提示。
PRewrite事理PRewrite将提示改写问题形式化为一个强化学习问题。个中，动作空间是提示改写模型词汇表中的所有token，用于通过添加/删除/修正来编辑/改写提示。褒奖函数则用于评估改写提示对当前任务的有效性，常日通过将天生的输出与真实输出进行比较来打算。
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
PRewrite效果
在自然问答、情绪剖析等数据集上，PRewrite天生的提示不仅优于人工提示，也优于之前方法天生的提示。例如，在自然问答数据集上，PRewrite将准确率从24.1%提升到了32.3%。
添加图片注释，不超过 140 字（可选）
PRewrite案例PRewrite可以根据不同的褒奖天生明显不同的改写提示。例如，当褒奖为EM时，它不仅阐明了初始提示，还添加了示例，使提示更丰富。但须要指出的是，更长的提示并不总是能得到最佳性能。
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
添加图片注释，不超过 140 字（可选）
PRewrite局限与未来事情PRewrite目前还存在一些局限，例如对大略任务如SST-2的提示改进空间有限。未来，作者操持在更多数据集上测试PRewrite，并研究不同元提示和初始提示对任务性能的影响。