关于大模型微调部署,openPile,Kyle Corbitt的《Ten Commandments to Deploy Fine-Tuned Models inProd》:https://docs.google.com/presentation/d/1lRrTEDOw7160sU_-PL5bONLOPq_7E8alewvcJ01BCE/edit#slide=id.g2721fb6713e_0_44

1、第一戒律:不可微调，直接使用提示语(prompting)，选择性地使用少量示例或检索增强生成(RAG):

2、第二戒律:应当编写提示语，并创建一个基准，证明任务是可行的。如果提示语有效，微调有90%的可能性会改善模型表现:如果无效，微调只有25%的可能性有效

3、第三戒律:应当审查你的数据，仔细检查和清洗数据，以确保数据的准确性和一致性

4、第四戒律:应当使用真实数据，使用真实的业务数据进行模型训练和测试，并确保数据集在平均水平上是正确的，即使有些错误数据也是可以接受的

5、第五戒律:应当保留一个测试集，并保留一部分数据作为测试集，用于评估模型的实际性能。

6、第六戒律:应当选择合适的模型，根据具体任务选择最适合的模型，以实现最佳性能和资源效率

7、第七戒律:应当编写快速评估，编写快速评估工具，用于在短时间内评估模型性能

8、第八戒律:亦应当编写慢速评估，编写详细的评估工具，以全面测试模型的各方面性能

9、第九戒律:不可“发射后不管”，部署模型后，持续监控和改进模型，避免一次性部署后不再维护

10、第十戒律:不可过于严肃对待这些戒律。保持灵活性，根据实际情况调整和优化模型开发和部署流程