要知道林灰搞出来的东西可不仅仅是预训练。

尹芙·卡莉注意到林灰在论文中对预训练的描述是基于迁移学习思想的预训练。

什么叫迁移学习？

借助迁移学习可以运用已有的知识来学习新的知识。

这一思想的核心是找到已有知识和新知识之间的相似性从而举一反三。

在机器学习这一领域，直接对目标从头开始学习成本太高。

借助于迁移学习的话就不用那么麻烦了。