Gemini 1.0 Pro vs Gemini 1.0 Ultra：基准对比

详细对比 Gemini 1.0 Pro 与 Gemini 1.0 Ultra 的基准表现、定价、上下文窗口与合规性。

发布: · 更新:

核心规格对比

规格Gemini 1.0 ProGemini 1.0 Ultra
厂商googlegoogle
版本1.0-pro1.0-ultra
发布日期2023-12-062023-12-06
上下文窗口32768 tokens32768 tokens
输入模态texttext, image
输出模态texttext
许可ProprietaryProprietary
SOC2✓✓
HIPAA✗✗
GDPR✓✓
ISO 27001✓✓

基准测试结果

基准Gemini 1.0 ProGemini 1.0 Ultra胜出
ARC94.195.7Gemini 1.0 Ultra
BBH79.183.8Gemini 1.0 Ultra
GPQA47.746.9Gemini 1.0 Pro
GSM8K82.485.9Gemini 1.0 Ultra
HUMANEVAL76.481.7Gemini 1.0 Ultra
IFEVAL75.181.6Gemini 1.0 Ultra
MATH58.257.1Gemini 1.0 Pro
MMLU84.580.3Gemini 1.0 Pro
MUSR57.864.3Gemini 1.0 Ultra
WINOGRANDE84.580.4Gemini 1.0 Pro

定价对比

项目 (每百万Token)Gemini 1.0 ProGemini 1.0 Ultra
输入$0.5$7
输出$1.5$21
缓存读$0$0
缓存写$0$0

Gemini 1.0 Pro 对比 Gemini 1.0 Ultra

模型概述

Gemini 1.0 Pro 与 Gemini 1.0 Ultra 均为 AI 模型市场的重要选项。本页对比两者在基准、定价与合规性上的差异。

核心规格对比

厂商发布日期上下文窗口许可证
Google / Google2023-12-06 / 2023-12-0632K / 32KProprietary / Proprietary

基准测试表现

基准Gemini 1.0 ProGemini 1.0 Ultra胜出
ARC94.195.7B
BBH (BIG-Bench Hard)79.183.8B
GPQA47.746.9A
GSM8K (Grade School Math 8K)82.485.9B
HumanEval76.481.7B
IFEval75.181.6B
MATH58.257.1A
MMLU (Massive Multitask Language Understanding)84.580.3A
MUSR57.864.3B
WinoGrande84.580.4A

定价对比

输入输出缓存读取缓存写入
— / —— / —— / —— / —

每百万 token — A / B

优势 & 劣势

Gemini 1.0 Pro

  • ✅ MMLU 得分 84.5，知识推理能力强。
  • ⚠️ 闭源专有模型，不支持自托管。

Gemini 1.0 Ultra

  • ✅ MMLU 得分 80.3，知识推理能力强。
  • ✅ HumanEval 81.7，代码生成能力出色。
  • ✅ GSM8K 85.9，数学推理稳健。
  • ✅ 支持文本、图像、音频多模态输入。
  • ⚠️ 闭源专有模型，不支持自托管。

编辑点评

Gemini 1.0 Pro 与 Gemini 1.0 Ultra 各有侧重。建议根据具体场景（代码、长文本、视觉等）选择，参考上方基准与定价表。

常见问题

哪个模型在代码任务上更优？

参考 HumanEval 基准得分表，得分更高者更适合代码任务。

哪个模型价格更低？

参考上方的定价对比表，输入/输出价格更低者更具成本优势。

上下文窗口哪个更长？

参考核心规格对比表，上下文窗口更大的模型适合长文档处理。

参考文献

编辑点评

See Editor's Take section.