我们推出了phi-3-mini，这是一个参数量为38亿、在3.3万亿个标记（tokens）上训练而成的语言模型。尽管其规模小到可部署于手机端，但其整体性能——通过学术基准测试和内部评估均验证——已可与Mixtral 8x7B和GPT-3.5等大型模型相媲美（例如，phi-3-mini在MMLU基准上达到69%的得分，在MT-bench上得分为8.38）。该模型的核心创新之处在于其训练数据集，该数据集是为phi-2模型所用数据集的扩展版本，由经过严格过滤的网络数据与合成数据构成。此外，该模型还进一步进行了对齐优化，以提升其鲁棒性、安全性及对话格式的适配性。我们还提供了初步的参数量扩展结果：基于4.8万亿标记训练的70亿参数（phi-3-small）和140亿参数（phi-3-medium）模型，两者在能力上均显著超越phi-3-mini（例如，在MMLU上分别达到75%和78%的得分，在MT-bench上分别得分为8.7和8.9）。