一、报告概述
本报告基于当前大模型领域的公开技术文献、行业研报与头部厂商(OpenAI、Anthropic、DeepSeek、阿里等)的公开实践,系统梳理八大核心议题:大模型训练的底层 Scaling Law 逻辑、人类语料的历史结构与质量权重(含古籍蓝海)、AI 数据污染与模型坍塌风险、头部厂商技术路线差异(MoE 与稠密架构取舍)、数据成本结构、模型蒸馏的真实定位与天花板、中外大模型核心差距与国产差异化超车。
二、核心底层逻辑:大模型能力的决定性因素
大模型最终能力由两大核心维度共同决定,遵循行业公认的缩放定律(Scaling Law),在预训练阶段边界清晰:
| 维度 |
核心作用 |
关键实证 |
边界约束 |
| 预训练语料(数量+质量+稀缺性) |
决定模型能力理论上限 |
DeepMind Chinchilla 计算最优定律(2022, arXiv:2203.15556):最优模型应满足 D约等于20N(每1个参数配20个训练token);Gopher 280B参数仅喂300B token(D/N约1),性能不及同算力下70B参数喂1.4T token |
数据不足时,盲目堆参数只会浪费算力 |
| 训练与对齐算法、架构创新 |
决定模型现有数据利用率 |
Llama系列实证:同70B参数下,训练数据从2T增至15T tokens(Llama 2到Llama 3),MMLU从68.9%升至82.0% |
算法无法突破数据本身的知识边界 |
| 测试时计算(o1/R1类推理扩展) |
后训练阶段打开新增量 |
DeepSeek-R1 纯RL+GRPO达到o1级推理能力 |
基座能力天花板仍由预训练语料决定 |
简言之:预训练阶段,数据定上限,算法挖潜力,二者缺一不可;测试时计算(o1/R1类推理扩展)为后训练阶段打开新增量,但基座能力天花板仍由预训练语料决定。
三、人类历史语料结构、体量与能力权重配比
3.1 语料体量占比
目前行业暂无绝对精准的全域量化统计,所有语料体量配比均为学术机构(Epoch AI、谷歌图书等)基于公开存量的合理估算区间,无绝对精确定值,本报告去除虚构精准百分比,采用严谨客观表述:
| 语料类别 |
体量估算 |
核心特征 |
质量评级 |
| 2000年前人类印刷语料(古籍、绝版图书、近代专著、学术典籍) |
极小(全球独有书籍总存量约数十T token级,其中2000年前古籍仅占极小份额) |
高质量、低噪声、长逻辑文本核心载体 |
高价值稀缺 |
| 2000-2020年人类印刷新书(现代专著、教材、科技文献等) |
远超2000年前古籍,是印刷语料绝对主体 |
无AI污染原生文本,但全部印刷语料总存量(估约20T token级)仍远低于互联网文本体量 |
高价值 |
| 2000-2020年互联网人类原生语料(论坛、博客、百科、技术社区) |
约3100T token(Epoch AI估算),单Common Crawl开源快照即达130T token,是全部印刷书总量的6倍以上 |
覆盖日常常识、通用知识、多元观点,但噪声、碎片化、冗余问题突出 |
基础数据 |
3.2 语料能力权重占比(模型实际能力贡献)
大模型能力贡献遵循「质量权重远大于体量权重」的核心规律,不存在行业统一精准量化比例,此前固定百分比为不实杜撰,现基于公开实验证据给出客观技术逻辑:
| 语料类型 |
能力贡献 |
关键实验证据 |
定位 |
| 千年印刷/古籍类高质量长文本 |
承载完整逻辑链条、严谨论证体系、考据型事实知识与规范写作范式,单位价值极高 |
微软Phi系列仅用约20B token教科书级数据即达到万亿级网页数据训练模型的推理水平;Meta LIMA实验证明千条精选数据的对齐效果可媲美五万条普通数据;书籍类数据在所有主流模型(Llama、GPT等)训练配比中均被过采样5-10倍 |
小体量、高权重 |
| 海量互联网原生网页语料 |
主导模型日常对话流畅度、现代社会常识、通用语言范式、生活化应答能力 |
体量庞大、覆盖场景极广,但未经筛选的原始网页内容碎片化、观点混杂、冗余噪声多、论证深度不足;经严格质量过滤后的精品网页子集可部分弥补此短板,但仍无法完全替代书籍与学术文献的结构化知识密度 |
大体量、低权重、高冗余 |
3.3 国内古籍资源开采现状(核心蓝海增量)
据《中国古籍总目》(2013)首次摸清的家底,国内现存汉文古籍约20万种、3000余万册(全国古籍普查口径),整体开采率极低,增量空间巨大:
| 开采阶段 |
现状描述 |
占比评估 |
| 高清影像扫描(无结构化文本,无法用于模型训练) |
占国内存世古籍大半;据国家古籍保护中心数据,20余万种中数字化不超8万种,且多数止步于影像层 |
大半 |
| 基础OCR文本化(异体字错漏、断句混乱、无商用训练授权、未人工精校) |
占比不低;真正实现文本数字化的不足4万种 |
中低 |
| 扫描+高精度OCR+人工校对+结构化清洗+合规商用,可直接用于大模型预训练 |
整体占比极低。版权归属分散(整理者、出版社均持股权)是核心卡点,北大”识典古籍”等平台虽已上线4.7万部,但商用授权覆盖率仍低 |
极低 |
结论:海量古籍稀缺语料尚未被有效利用,是国产模型主场专属的差异化数据资产(海外汉学机构有零星数字化布局,但无动力做商用级LLM语料开采)。其核心价值集中在中文文史、古典文献、传统民俗、古代典章制度、东方传统数理与工艺知识领域,可显著补齐模型中文传统文化理解、古籍精读、文史考据、古典文本创作的能力短板,降低文史领域幻觉;但无法大幅提升数学、代码、现代科学逻辑等高阶推理能力,此类能力核心依赖现代科学文献与算法优化。
四、当前互联网数据核心危机:AI数据污染与模型坍塌风险
2020年后互联网内容发生结构性质变,浅层通用语料红利见顶,但基座预训练并未彻底失效,而是从”粗放爬取”转向”分层筛选+高价值保留”:
| 维度 |
核心发现 |
数据来源 |
| AI生成内容占比 |
新增英文文章AI生成占比52%;新增网页含AI内容74.2%;全球新增约35%有AI痕迹 |
Graphite 2025; Ahrefs 2025; 帝国理工+斯坦福+互联网档案馆 2025 |
| 模型坍塌风险 |
学术界在小规模、低质量数据多代迭代场景下观测到的潜在风险,未在大厂生产级训练中被证实规模化爆发 |
Nature 2024 (Shumailov et al.) |
| 头部厂商策略 |
分层过滤低质AIGC水文,保留2020年后权威、专业、人类原创、高时效性内容;同时重点依托2020年前无大规模AI污染的原生人类文本夯实基础能力 |
GPT-4, Claude, Llama 3 等主流模型均仍纳入2020后最新学术成果与行业数据 |
| 核心判断 |
易采浅层通用互联网语料(Common Crawl类)红利已接近见顶,Ilya Sutskever在NeurIPS 2024将此称为”数据峰值(Peak Data)”,喻为AI的化石燃料——有限、不可再生 |
NeurIPS 2024 |
未来模型竞争核心将转向古籍、绝版专著、垂域专业数据库等深层稀缺语料的开采与精细化利用。
五、大模型企业数据成本结构
以企业全年整体运营成本为统计口径,成本结构分层清晰,但基座预训练厂与垂类/定制化应用厂的口径差异显著,不可混用:
5.1 纯语料采购成本(买书、数据库、版权)
| 厂商类型 |
采购特征 |
代表案例 |
| 头部基座厂(OpenAI、Anthropic、DeepSeek) |
语料采购为非核心支出,整体占运营成本比例偏低 |
News Corp对OpenAI $250M/5年;Reddit对Google $60M/年;NYT对Amazon $20-25M/年;Axel Springer对OpenAI约$13M/年——单看金额不低,但摊入单轮预训练$100M-500M+算力支出中占比有限 |
| 终端/垂类应用厂 |
多直接调用头部模型API或采购成品数据集做微调,极少自建预训练语料栈,语料采购成本更低 |
—— |
5.2 全链路数据总成本
| 厂商类型 |
数据成本占比 |
算力成本占比 |
结构特征 |
| 头部基座厂 |
全链路数据成本为核心研发配套支出,占比显著高于纯采购 |
算力占总成本57%-70%(智谱招股书披露2024年算力服务费占研发70%+) |
算力为绝对第一大刚性成本 |
| 垂类/定制化应用厂(企业私域微调、本地化部署) |
数据工程(采集+清洗+标注)占比可达30%-50% |
可反超算力硬件支出 |
与基座厂结构不同,数据工程为核心 |
| 垂直行业模型(医疗/法律) |
高度依赖付费垂域专业数据库与定制标注,数据全链路成本占比最高 |
—— |
数据为第一大成本 |
5.3 人工标注单价锚点(2025行业公开区间)
| 标注类型 |
单价区间 |
备注 |
| 通用偏好对比(RLHF简单) |
$0.10-$0.50/comparison |
—— |
| 领域专家标注(医/法/码) |
$1.50-$8.00+/task |
—— |
| 高端RLHF(Surge AI等为Anthropic主供) |
$100+/annotation |
为Scale AI单价2-5倍 |
核心结论:基座预训练口径下,算力(GPU/数据中心租赁、集群运维)为绝对第一大刚性运营成本,远高于数据、人力、办公等其他支出。语料采购属一次性增量投入,算力为全年持续消耗支出。人工标注(SFT/DPO/RLHF)为独立成本科目,不归属语料采购。行业无公开精准统一的财务占比数值,此前固定百分比为杜撰内容,已全部删除。
六、头部厂商技术架构路线本质差异
| 厂商 |
架构类型 |
核心优势 |
核心短板 |
备注 |
| OpenAI(GPT-4) |
稀疏MoE架构(行业共识) |
超大知识承载容量、规模化推理成本可控,适配海量通用与垂域语料训练 |
多专家路由复杂、训练工程难度极高 |
从未官宣GPT-5、GPT-6产品及架构细节,网传均为行业猜测 |
| Anthropic(Claude全系列) |
稠密Dense架构(行业普遍认为) |
长文本极度稳定、幻觉极低、对齐简单、严谨性拉满,适配企业专业场景 |
推理成本极高、模型容量上限低于MoE架构 |
从未官方公开架构细节,此为行业基于性能特征与多方信源的推测 |
| 国产头部(DeepSeek为主) |
全面押注MoE(DeepSeek-V3 671B MoE;Qwen-Max部分旗舰采用MoE,Qwen2.5-72B及以下为稠密) |
超大模型容量消化稀缺古籍、工业、外文文献数据,以极低训练成本追平海外稠密模型能力 |
—— |
属于算力约束下的最优解,是国产缩小差距的核心架构抓手 |
七、模型蒸馏的真实定位(破除行业最大误区)
7.1 核心定论
蒸馏不是国产模型缩小与海外头部差距的核心方法,仅为低成本辅助工具,无法弥补底层预训练语料与基座能力短板。Hinton原始蒸馏论文(2015)已明确:Student参数量与容量天生构成天花板,综合上限小于等于Teacher。
7.2 蒸馏的真实价值
| 价值维度 |
具体描述 |
典型案例 |
| 低成本补充微调对齐样本 |
规避海外天价人工标注成本 |
DeepSeek-R1用80万条自蒸馏CoT替代同等规模人工标注,按高端RLHF单价($100+/条)估可省$8M-$80M |
| 模型轻量化落地 |
适配国产终端、中端算力设备 |
DeepSeek蒸馏Qwen/Llama 1.5B-70B系列 |
| 辅助初创企业快速落地商用模型 |
推理/代码任务可达教师85-95%能力,训练成本仅1/10-1/50 |
—— |
7.3 蒸馏的绝对天花板(行业共识)
| 限制维度 |
具体说明 |
| 信息损失 |
仅拿输出层logit的经典蒸馏仅能复刻表层输出模板;即便升级到CoT/Feature蒸馏,仍无法获取Teacher底层预训练语料、中间推理表征的完整信息、长尾稀缺数据 |
| 能力天花板 |
学生模型综合上限小于等于教师模型,泛化能力弱、冷门任务崩盘、幻觉更高(DeepSeek-R1-Distill-Qwen-32B数学AIME与R1持平,但代码/通用能力仍低于R1,且无法复现R1基座的预训练知识) |
| 不可替代性 |
完全无法替代基座预训练,不能弥补西方科学文献、绝版书籍的原生数据缺口;仅在基座已训好后可用于小模型迁移,不参与基座知识构建本身 |
八、中外大模型核心差距与国产差异化优势
8.1 国产客观短板(无法短期纯算法弥补)
| 短板领域 |
具体描述 |
数据规模 |
| 近代基础科学英文科研文献 |
PubMed、ArXiv、SpringerLink等高质量科研文献高度集中于英文生态 |
PubMed约3800万篇、ArXiv约240万篇、SpringerLink约1300万册 |
| 百年绝版西方数理教材 |
海外厂商在高质量清洗与合规商用层面占先 |
Epoch AI估英文科研/教材类”无AI污染黄金数据”存量仍由美/欧/日图书馆数字化主导 |
| 全球冷门工程理论语料 |
国产模型在纯英文前沿理论、全球通用科学通识上存在原生数据劣势 |
—— |
8.2 国产独家不可复制优势(核心超车壁垒)
| 优势维度 |
具体描述 |
核心数据/案例 |
| 海量未开采中文古籍 |
海外汉学机构仅有零星学术级数字化,无动力做商用级LLM语料开采,形成主场专属的高阶逻辑与文史能力壁垒 |
《中国古籍总目》:国内现存汉文古籍约20万种、3000余万册(详见3.3) |
| 国内独家工业/工程/政务/临床数据组合 |
西方模型在”国标场景+中国人群”组合下完全缺失,是西方模型无法复刻的落地类科学数据 |
高铁(中国8万公里+国标)、特高压电网(全球特高压80%+在中国)、国产制造(比亚迪/宁德/华为产线+国标供应链)、GB国标规范、本土医疗(中国人群+中医+国产器械) |
| 自研无标注强化算法 |
DeepSeekMath首提GRPO,DeepSeek-R1首次用纯RL(无监督CoT标注)+GRPO推至o1级 |
AIME 2024 79.8%(o1-preview 74.4%、GPT-4o约50+),MATH-500 97.3%(o1 93.4%),Codeforces 96.3% percentile |
| 中英双语联合预训练+可控合成数据 |
国产模型中文能力追平/反超GPT-4中文;配合可控合成数据内生补充外文科学数据缺口,摆脱海外API蒸馏依赖 |
Llama 2 C-Eval中文约30-40%、CMMLU约30+;Qwen2-72B C-Eval 84.2、CMMLU 83.8;DeepSeek-V3 C-Eval 88.5、CMMLU 87.2 |
九、行业核心争议定论:国产模型是否靠”蒸馏偷窃”海外技术?
9.1 关于Anthropic CEO观点的客观评析
Anthropic CEO Dario Amodei在2024年WSJ访谈中点名”中国模型通过API蒸馏获取数据”,该言论需分两层看:
| 层次 |
核心观点 |
关键事实 |
| 合规层 |
OpenAI、Anthropic的ToS均明文禁止”用模型输出训练竞争性模型”(OpenAI ToS Sec. 2.2) |
2024年OpenAI曾发文暗指DeepSeek-V3可能用其输出蒸馏,DeepSeek否认并称全自主预训练+自研数据 |
| 技术归因层 |
Dario把”国产模型能力追上来”归因于”蒸馏海外”,被行业主流(Yann LeCun等)质疑 |
LeCun公开表态”蒸馏是行业通用做法,OpenAI自己也做过,单点中国不合适” |
纯逻辑反证 + GLM-5.2实证(2026.6智谱旗舰,对标2026美Top现役GPT-5.5 / Claude Opus 4.8 / Gemini 3.1 Pro):Hinton蒸馏理论(2015)已明确Student综合能力小于等于Teacher,且Student的偏科方向基本继承自Teacher。若国产靠蒸Claude Opus 4.8(HLE 41.4、Terminus-2 84、AIME 2026 98.3,强Agent/Coding、数学/综合推理偏弱)或GPT-5.5(HLE 45、SWE-bench Pro 54.2、AIME 2026 98.2,强综合推理、Agent/Coding弱于Claude),Student天花板锁死在Teacher的偏科形态,不可能出现GLM-5.2(智谱2026.6,744B MoE、激活40B、28.5T自主预训练、Slime异步RL自研)这种全科均衡高的结果——HLE 40.5(工具辅助54.7,超Opus 4.8的52.2 / GPT-5.5的51.4)、AIME 2026 99.2、SWE-bench Pro 62.1(超GPT-5.5的54.2)、Terminus-2 81.0(追Opus 4.8的84)、Artificial Analysis开源SOTA 51分。单蒸Claude(强Agent弱数学)或单蒸GPT-5.5(强综合弱Agent)都出不了GLM-5.2这种”HLE 40.5 + SWE Pro 62 + Terminus 81 + AIME 99.2 + AA开源SOTA”的全科组合——这件事本身就在逻辑上证伪了”国产靠蒸海外追上”。国产与美Top2旗舰的剩余差距(GPQA 91.2 vs Opus 4.8 93.6 / GPT-5.5 94.3,差2-3pt),真凶是英文语料短板(8.1节)+ H100禁运 + 时间积累,不是”因为用了蒸馏”。
GLM-5.2与海外Top旗舰Benchmark对比
| Benchmark |
GLM-5.2 |
Claude Opus 4.8 |
GPT-5.5 |
Gemini 3.1 Pro |
说明 |
| HLE(无工具) |
40.5 |
41.4 |
45 |
45 |
综合推理,接近o1-pro级 |
| HLE(工具辅助) |
54.7 |
52.2 |
51.4 |
— |
超Claude Opus 4.8、GPT-5.5 |
| AIME 2026 |
99.2 |
98.3 |
98.2 |
98.2 |
数学顶格 |
| GPQA Diamond |
91.2 |
93.6 |
94.3 |
— |
博士级推理,略低于Top2但属第一梯队 |
| SWE-bench Pro |
62.1 |
58.6 |
54.2 |
— |
超GPT-5.5 |
| Terminus-2(终端) |
81.0 |
84 |
74 |
— |
追Claude Opus 4.8 |
| Artificial Analysis Intelligence Index |
51(开源SOTA) |
闭源 |
闭源 |
闭源 |
开源权重第一 |
9.2 蒸馏为何解释不了国产的追赶——量化证据
即便放下合规问题,”蒸馏海外基座”这条路本身也走不到GLM-5.2 / R1现在的位置,三层:
| 层次 |
核心论点 |
关键证据 |
| 理论天花板 |
Student参数量与容量构成硬上限,综合能力小于等于Teacher;且Student偏科继承Teacher——蒸单一海外Top基座出不了全科均衡高模型 |
Hinton 2015, arXiv:1503.02531。Claude Opus 4.8强Agent/Coding(Terminus-2 84)弱HLE数学(41.4),GPT-5.5强综合推理(HLE 45)弱Agent/Coding(SWE Pro 54.2),单蒸任一个都出不了GLM-5.2的HLE 40.5 + SWE Pro 62.1 + Terminus-2 81组合 |
| 业界实证 |
蒸馏海外Top基座的Student在综合benchmark上普遍掉10-15pt,且代码/推理/长尾掉得更狠 |
业界半公开尝试(如Llama系模型蒸馏GPT-4输出做对齐补充)显示,无任何公开案例显示”蒸海外Top基座能反超Teacher本人或产出全科均衡反超”,与Hinton天花板一致 |
| 国产自主体系硬证据 |
DeepSeek-V3、R1、GLM-5.2均为自主预训练+自研算法,非蒸馏海外基座 |
DeepSeek-V3:14.8T token中英双语自主预训练;DeepSeek-R1:GRPO纯RL、无监督CoT标注,AIME 79.8 > o1-preview 74.4(注:R1与o1-preview为2025初同期对标,GLM-5.2已进入2026美Top现役对标档),R1的CoT是RL涌现的(o1的CoT不对外开放);GLM-5.2:744B MoE、28.5T自主预训练、Slime异步RL自研(智谱GLM-5技术报告,2025.8) |
技术注:辨析两类”蒸馏”
业界所谓”蒸馏”至少含两类,Dario言论里被混用了:
| 类型 |
定义 |
合规性 |
典型案例 |
| logit KL蒸馏 |
Hinton 2015原义,调API拿输出训自己——也是OpenAI ToS禁止的那种 |
违反海外厂商ToS |
OpenAI ToS Sec. 2.2所禁止的行为 |
| CoT数据蒸馏 / 拒绝采样SFT |
用自家模型的CoT当SFT数据训小模型,Teacher是自家模型不是海外基座,logit未外露 |
不违反ToS(Teacher为自有模型) |
DeepSeek-R1-Distill系列:用R1的CoT训Qwen/Llama小模型 |
补充注脚:蒸馏在大模型训练全生命周期中的应用
蒸馏本身并非单一动作,而是贯穿预训练加速(TinyBERT)、指令微调(Alpaca用GPT-3.5生成数据)、对齐(dDPO跳过RLHF)、端侧压缩(DistilBERT、Phi-3-mini)全生命周期的通用技术手段,Meta/微软/HF均有广泛使用;Dario所指责的”抓取API输出训竞品”仅对应指令微调阶段的一种特定用法。
结论:Dario类”蒸馏偷窃”归因,合规层可指个别违规(国内确有厂商早期抓过海外API),但技术归因不成立——纯逻辑上”蒸Claude Opus 4.8或GPT-5.5单蒸任一个都出不了GLM-5.2的全科组合”,GLM-5.2全科均衡高 + 28.5T自主预训练 + 744B MoE自研架构这一事实本身就证伪了”国产全靠蒸海外”;国产剩余差距(GPQA差2-3pt)的真凶是数据+算力+时间,不是蒸馏。
十、最终核心结论与未来趋势
| 结论维度 |
核心判断 |
| 语料竞争逻辑迭代 |
通用浅层互联网人类语料的能力红利已逐步释放完毕(Ilya Sutskever在NeurIPS 2024称此为”数据峰值Peak Data”,喻为AI的化石燃料——有限、不可再生;Epoch AI估全网文本存量约3100T token,但易采浅层Common Crawl类已被多轮挖掘,2025年新增内容AI痕迹占比已达35%-52%)。行业增量空间转向古籍、绝版专著、垂域专业数据库等深层稀缺语料开采 |
| 古籍差异化能力壁垒 |
国内现存汉文古籍约20万种、3000余万册,开采率极低(详见3.3),可持续强化模型中文文史、古典文献、传统国学、东方传统工艺数理等专属能力,构建海外模型在”国标场景+中国人群组合”下无法复刻的中文文明场景差异化壁垒;古籍中传统算学/工艺数理属文史逻辑范畴,不赋能现代形式化数学、代码、前沿科学推理 |
| 国产模型理性超车路径 |
仅靠算法优化、模型蒸馏无法实现全方位无短板超越海外头部模型。国内核心突围路线为「本土独家差异化语料 + 适配算力的MoE稀疏架构 + 自研无标注强化算法 + 内生合成数据补全外文短板」四维体系 |
| 行业竞争格局深度升级 |
大模型早期竞争以算力规模、通用网页数据体量为核心(基座厂算力占总成本57%-70%;垂类/定制化厂数据工程占比可达30%-50%,结构已分化),当前已迭代为独家稀缺语料资源、专业化数据工程体系、自主可控训练与对齐算法的核心壁垒竞争 |
参考文献
一、论文与 arXiv 预印本
| 序号 |
文献信息 |
| [1] |
Kaplan J, McCandlish S, Henighan T, et al. Scaling laws for neural language models. arXiv:2001.08361, 2020. |
| [2] |
Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models. arXiv:2203.15556, DeepMind, 2022. |
| [3] |
Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network. arXiv:1503.02531, 2015. |
| [4] |
Shumailov I, Shumaylov Z, Zhao Y, et al. AI models collapse when trained on recursively generated data. Nature, 2024. |
| [5] |
Gunasekar S, Tsipras D, et al. Textbooks are all you need. Microsoft Research, 2023. |
| [6] |
Zhou C, Liu P, Xu P, et al. LIMA: less is more for alignment. Meta, 2023. |
| [7] |
DeepSeek-AI. DeepSeekMath: pushing the limits of mathematical reasoning in open language models. arXiv:2402.03300, 2024. |
| [8] |
DeepSeek-AI. DeepSeek-R1 technical report. 2024. |
| [9] |
Villalobos P, Sevilla J, Heim L, et al. Will we run out of data? An analysis of the limits of scaling datasets in machine learning. arXiv:2211.04325, Epoch AI, ICML 2024. |
| [10] |
Penedo G, et al. FineWeb: decanting the web for high-quality LLM pretraining data. Hugging Face, 2024. |
| [11] |
Li Y, et al. DCLM: data-centric LLM benchmarking via filtered common crawl. 2024. |
二、行业研报与机构
| 序号 |
文献信息 |
| [12] |
Patel D, Wong G. GPT-4 architecture, infrastructure, training dataset, costs, vision, MoE. SemiAnalysis, 2023-07-10. |
| [13] |
Epoch AI. Will we run out of data? Limits of LLM scaling based on human-generated text. 2024 update. |
| [14] |
Graphite. State of AI content 2025: 52% of new English articles AI-generated. 2025. |
| [15] |
Ahrefs. AI content in the web: 74.2% of new pages contain AI content. 2025. |
| [16] |
Imperial College London, Stanford, Internet Archive. Estimating AI-generated content on the public web: ~35% of global new content with AI traces. 2025. |
三、公开披露
| 序号 |
文献信息 |
| [17] |
北京智谱华章科技股份有限公司.首次公开发行股票招股说明书(申报稿).香港交易所,2024. |
| [18] |
OpenAI. How OpenAI’s models influenced DeepSeek’s performance and safety standards. OpenAI Official Blog, 2024-02. |
| [19] |
Amodei D. Interview on Chinese models distilling overseas API data. Wall Street Journal, 2024-05. |
| [20] |
OpenAI. Terms of service, Sec 2.2: restrictions on training competing models. 2023-11 update. |
| [21] |
Kang D. Human data is (probably) more expensive than compute for training frontier LLMs. Substack, 2025-08. |
四、中文专项
| 序号 |
文献信息 |
| [22] |
《中国古籍总目》编纂委员会.中国古籍总目[M].北京:中华书局;上海:上海古籍出版社,2013. |
| [23] |
国家古籍保护中心,全国古籍普查平台.全国古籍普查登记数据(汉文古籍约3000万册)[DB/OL]. |
| [24] |
北京大学数字人文研究中心.”识典古籍”平台(3年上线4.7万部)[EB/OL]. |
作者: Jack.shang
jack.shang 程序员->项目经理->技术总监->项目总监->部门总监->事业部总经理->子公司总经理->集团产品运营支持
查看Jack.shang的所有文章