Trendy

中国AI处理数百万亿Token:最终要看每瓦完成多少有用工作

中国AI处理数百万亿Token:最终要看每瓦完成多少有用工作
中国AI处理数百万亿Token:最终要看每瓦完成多少有用工作

Token总量正成为衡量中国AI规模的热门数字,它能显示使用快速扩张,但token只是文字或其他表示的片段,不是智能、经济价值或完成工作的单位。相同数量可能来自有用分析、重复智能体或浪费性提示。

模型上线后不断回答,推理与训练同样重要。成本取决于模型规模、上下文长度、批处理、硬件利用率和输出。较小专业模型可能用更少token与能源完成任务,即使通用基准不如前沿模型。

效率提高会产生反弹效应。每次请求便宜后,企业创建更多应用,总计算反而增长。只报告每token能耗会遮住总电力、用水和硬件增加,运营者应同时披露强度与绝对消耗。

Token也遮蔽质量。编程智能体生成巨大补丁再修复自己的错误,可能消耗更多token却价值更低。更有用指标包括任务完成、错误率、人工审核时间,以及每个被接受结果的能源。

中国在模型、数据中心和电力上的规模使这些选择具有全球意义。更好调度、量化、高效芯片、低碳电力,以及在电网可承受处布置计算都重要。下一轮竞争不是最大的token计数器,而是用最少物质成本提供可靠智能,并透明说明计算真正完成了什么。

资料来源与延伸阅读