o1 对比 Llama 3.1 405B

模型概述

o1 与 Llama 3.1 405B 均为 AI 模型市场的重要选项。本页对比两者在基准、定价与合规性上的差异。

厂商	发布日期	上下文窗口	许可证
Openai / Meta	2024-12-17 / 2024-07-23	200K / 128K	Proprietary / Llama 3 Community License

基准	o1	Llama 3.1 405B	胜出
ARC	96.8	—	A
BBH (BIG-Bench Hard)	83.1	82.9	Tie
GPQA	57.5	—	A
GSM8K (Grade School Math 8K)	88.9	89.2	Tie
HumanEval	85.3	89.0	B
IFEval	82.2	—	A
MATH	55.7	73.8	B
MMLU (Massive Multitask Language Understanding)	86.3	88.6	B
MUSR	71.8	—	A
WinoGrande	86.7	—	A

输入	输出	缓存读取	缓存写入
— / —	— / —	— / —	— / —

每百万 token — A / B

o1 与 Llama 3.1 405B 各有侧重。建议根据具体场景（代码、长文本、视觉等）选择，参考上方基准与定价表。

参考 HumanEval 基准得分表，得分更高者更适合代码任务。

参考上方的定价对比表，输入/输出价格更低者更具成本优势。

参考核心规格对比表，上下文窗口更大的模型适合长文档处理。

基准	o1	Llama 3.1 405B	胜出
ARC	96.8	—	o1
BBH	83.1	82.9	o1
GPQA	57.5	—	o1
GSM8K	88.9	89.2	Llama 3.1 405B
HUMANEVAL	85.3	89	Llama 3.1 405B
IFEVAL	82.2	—	o1
MATH	55.7	73.8	Llama 3.1 405B
MMLU	86.3	88.6	Llama 3.1 405B
MUSR	71.8	—	o1
WINOGRANDE	86.7	—	o1