1 大模型是怎么生成内容的

简单来说就是靠"猜"！

虽然⾮常不可思议，但事实就是这样，现阶段所有的 NLP 任务，都不意味着机器真正理解这个世界，它只是在玩⽂字游戏，进⾏⼀次⼜⼀次的概率解谜，本质上和我们玩报纸上的填字游戏是⼀个逻辑。只是我们靠知识和智慧，AI 靠概率计算。

基于LLM演进出最主流的两个⽅向：BERT和GPT

其中 BERT 是之前最流⾏的⽅向，几乎统治了所有 NLP 领域，并在⾃然语⾔理解类任务中发挥出色（例如⽂本分类、情感倾向判断等）

⽽GPT ⽅向则较为薄弱，事实上在 GPT3.0 发布前