CodeGemma的预训练过程中使用了什么数据集

CodeGemma 的预训练过程中使用了一个名为 “CodeSearchNet” 的数据集。该数据集包含了数百万行代码和与其相关的注释，用于训练代码搜索和代码摘要生成模型。这个数据集涵盖了多种编程语言和领域，使得模型可以在不同的代码库和任务上进行泛化和迁移学习。