面壁智能联合清华大学、OpenBMB开源社区联合发布并开源两大最新数据集

5月29日，面壁智能联合清华大学、OpenBMB开源社区联合发布并开源两大最新数据集：Ultra-FineWeb-L3与UltraData-SFT-2605。其中，Ultra-FineWeb-L3包含高质量中文+英文网页合成数据，总量突破600BTokens，中文占据200B+Tokens，是目前开源规模最大的中文预训练合成数据集；UltraData-SFT-2605是 国内首次开源的千万级、同时包含深思考与非思考标注的SFT数据集。MiniCPM5-1B的训练过程，是UltraData分级治理体系的一次完整实践，此次上新的两大数据集Ultra-FineWeb-L3与UltraData-SFT-2605均已在MiniCPM5-1B的训练流程中得到完全验证，覆盖从预训练退火到后训练SFT的全链路。（澎湃新闻记者 范佳来）