通过监督微调提升多语言大语言模型性能

引言

澳鹏助力一家全球科技公司提升其大语言模型（LLM）的性能。通过提供结构化的人工反馈形式的大语言模型训练数据，让该模型在30多种语言、70多种方言中的表现得到优化。众包人员们进行多轮对话，并依据回复的相关性、连贯性、准确性和流畅性等标准，对五种模型变体给出的回复进行排序。最终收集到超过25万行对话数据，用于提炼模型输出，为监督微调（Supervised fine-tuning）做准备。该项目从最初的5种以上语言、10多种方言，扩展到如今的30多种语言、70多种方言，大大提升了模型回复在文化契合度和语言准确性方面的表现。

目标

此项目聚焦于提升大语言模型在众多方言（如阿拉伯语、中文、德语、俄语和西班牙语等）环境下生成高质量回复的能力，使其能够针对不同语言群体，输出更准确、贴合语境且流畅的内容。这就需要收集人们对模型输出的偏好排序，并借助结构化优化，确保模型在文化和语言上更加契合。

挑战

该项目需要高质量的多语言和多方言提示。对话的主题和复杂程度各不相同，以便为人工智能提供全面的训练数据。此外，对模型回复的评估必须因地制宜，充分考虑不同方言和地区的独特特征。当模型回复有改进空间时，众包人员需要给出适合有监督微调（SFT）的优化修订内容。

项目的规模带来了诸多独特挑战，具体如下：

招募语言多样的众包人员：寻找合格的众包人员，尤其是针对高棉语和马拉地语等相对小众语言的人员，难度较大。
语言和方言的多样性：要确保提示和模型回复在每个地区都符合文化习惯且语言准确。
大规模的高质量评估：在多个复杂程度层面进行对话评估的同时，要保持一致的人工智能数据质量标准。
数据对微调的适用性：当模型输出需要修订时，要保证众包人员给出的优化回复符合有监督微调所要求的质量标准。

解决方案

为应对这些挑战，澳鹏采取了一套结构化的多步骤方法：

专业众包人员招募：澳鹏从不同地区方言的母语使用者中挑选人员，这些人不仅有使用大语言模型的经验，还能为单语和跨语言交互创建与文化相关且贴合语境的提示。
结构化偏好排序流程：众包人员与五种不同的模型配置进行多轮对话，并依据连贯性、事实准确性、流畅性和指令遵循情况对回复进行排序。这些排序为了解模型在不同方言中的表现提供了关键见解。
监督微调准备：从排序过程中得到的优化回复被转化为高质量的训练数据，确保其与现实世界的语言和文化细微差别保持一致。
人工智能数据平台整合：该项目在澳鹏的人工智能数据平台（ADAP）内进行管理，以实现高效的工作流程执行和质量保证。同时引入验证器和测试问题，以提高数据的一致性和准确性。