EMNLP 2023 — 我们喜获3篇主会论文录用！
在EMNLP 2023中，清华大学协同交互智能研究中心 (TsinghuaC3I) 共计3篇文章被录用，均在主会发表。
EMNLP是由国际语言学会（ACL）下属的SIGDAT小组主办的自然语言处理领域的顶级国际会议是自然语言处理领域的顶级国际会议，EMNLP 2023将在新加坡线下举行。
论文1
CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model
类别： Long Paper, Main Conference
摘要： 最近，研究者们发现指令调优是一种能够调整大型语言模型（LLMs）以增强其在多种任务中的泛化能力的有效手段。但当利用私有指令数据对可公开访问的中心化LLMs进行微调时，必然会引发隐私保护的担忧。直接在模型间传输参数化模块被视为一种潜在的解决方案，但其内在的机理和实际效果仍有待深入探索。本研究重点关注离线调优（Offsite-tuning，OFT）(图1)，这是一项将 Transformer Block 在中心化LLMs和下游模拟器之间双向迁移的新颖技术。鉴于我们对OFT的内部机制理解尚浅，我们决定从表示和功能相似性的角度对LLMs进行实证性分析。值得注意的是，我们观察到随着模型规模的增大，LLMs的层结构中似乎逐渐涌现出特定的模块化结构(图2)。与此同时，我们还发现模型的各层间在表示和功能预测方面出现了细微但可能非常关键的变化。基于这些观察，我们提出了一种名为CRaSh的策略，它包含聚类、删除和共享三个步骤，旨在不经过训练直接从LLMs中提取出性能更优的模拟器(图3)。实验证明，CRaSh策略能够显著提高数十亿参数语言模型的离线微调效果。进一步地，我们从损失景观的视角探索了进行微调或不进行微调的最优解之间的关系。结果显示，这些最优解在同一凸优区域内呈现出线性连接，进一步证实了CRaSh和OFT的有效性。
论文2
Sparse Low-rank Adaptation of Pre-trained Language Models
作者： , , 王乔森, 陈雨琳, , ,
类别： Long Paper, Main Conference
摘要： 预训练大语言模型的高效微调因其高效性和有效性被广泛研究。LoRA方法是一种流行的且有效的高效微调方法，该方法基于“微调适应过程本质上是低维的”这一假设。尽管LoRA方法展现了非常不错的性能，但是它的内在矩阵秩固定且不可更改，这可能并不总是最优的选择。鉴于对更灵活的微调适应的需求，我们对LoRA优化创新，提出了稀疏性LoRA算法(SoRA)(图4)，它允许在微调适应的过程中动态调整内在矩阵秩。我们通过在训练阶段使用门单元的方法实现这一点，该门单元通过最优化的近端梯度方法进行学习优化，控制门的稀疏性便可控制矩阵秩。在后续的推理阶段，我们消除零秩部分对应的参数块，让SoRA模块退化为一个简洁但秩最优的LoRA模块。我们的方法以更高的秩初始化LoRA，从而增强了LoRA的表示能力；同时以稀疏的方式来高效地训练增加的参数量。我们进一步为SoRA引入了一种稀疏调度进程，旨在检查非零参数量对模型的记忆和泛化能力的影响（图6）。我们的实验结果表明，即使在保留70％的参数，占用70％的训练时间的条件下，SoRA也优于其他算法。
论文3
Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
作者： 丁宁, 陈雨琳, 胥博凯, 秦禹嘉, 胡声鼎, , ,
类别： Long Paper, Main Conference
摘要： 高质量的对话指令数据是开源大模型获得强大指令跟随及对话能力的关键因素，基于这样的考虑，我们构建了包含150万条多轮指令对话的大规模、高质量、多样化开源数据集——UltraChat(图7)。UltraChat的构造主要分为三个部分：世界知识、创意与写作及基于现有文本的辅助改写。对于每个部分，我们设计了具体的构造方式。为了获得多样化、可扩展性强的初始指令集，我们广泛搜集了知识主题、常见实体及多类别文本，利用ChatGPT进行了分类别指令构造、指令扩展和指令改写等步骤。在此基础上，我们利用两个独立的ChatGPT API分别扮演人类用户及模型本身进行对话以获得多轮对话数据，其中我们对于模拟人类用户的ChatGPT进行了针对性的提示词设计，使得输出内容符合人类的使用习惯。同时，我们发布了在UltraChat数据集上微调LLaMA 13b模型得到的UltraLM-13b。在基准测试集及GPT-4对回复质量的评估表明，UltraLM-13b在各个方面都超越了截止数据集发布时的开源同等大小对话模型（图8）。
