GPT-4o mini vs Gemini 1.5 Flash：基准对比

详细对比 GPT-4o mini 与 Gemini 1.5 Flash 的基准表现、定价、上下文窗口与合规性。

发布: · 更新:

核心规格对比

规格GPT-4o miniGemini 1.5 Flash
厂商openaigoogle
版本4o-mini1.5-flash
发布日期2024-07-182024-05-14
上下文窗口128000 tokens1e+06 tokens
输入模态text, imagetext, image, audio, video
输出模态texttext
许可ProprietaryProprietary
SOC2✓✓
HIPAA✓✗
GDPR✓✓
ISO 27001✓✓

基准测试结果

基准GPT-4o miniGemini 1.5 Flash胜出
ARC93.993.4GPT-4o mini
BBH70.371.7Gemini 1.5 Flash
GPQA42.638.5GPT-4o mini
GSM8K75.175.2Gemini 1.5 Flash
HUMANEVAL7867.5GPT-4o mini
IFEVAL67.968Gemini 1.5 Flash
MATH51.853.2Gemini 1.5 Flash
MMLU79.776GPT-4o mini
MUSR53.146.1GPT-4o mini
WINOGRANDE79.678.9GPT-4o mini

定价对比

项目 (每百万Token)GPT-4o miniGemini 1.5 Flash
输入$0.15$0.075
输出$0.6$0.3
缓存读$0$0
缓存写$0$0

GPT-4o mini 对比 Gemini 1.5 Flash

模型概述

GPT-4o mini 与 Gemini 1.5 Flash 均为 AI 模型市场的重要选项。本页对比两者在基准、定价与合规性上的差异。

核心规格对比

厂商发布日期上下文窗口许可证
Openai / Google2024-07-18 / 2024-05-14128K / 1000KProprietary / Proprietary

基准测试表现

基准GPT-4o miniGemini 1.5 Flash胜出
ARC93.993.4A
BBH (BIG-Bench Hard)70.371.7B
GPQA42.638.5A
GSM8K (Grade School Math 8K)75.175.2Tie
HumanEval78.067.5A
IFEval67.968.0Tie
MATH51.853.2B
MMLU (Massive Multitask Language Understanding)79.776.0A
MUSR53.146.1A
WinoGrande79.678.9A

定价对比

输入输出缓存读取缓存写入
— / —— / —— / —— / —

每百万 token — A / B

优势 & 劣势

GPT-4o mini

  • ✅ 支持文本、图像、音频多模态输入。
  • ⚠️ 闭源专有模型，不支持自托管。

Gemini 1.5 Flash

  • ✅ 支持文本、图像、音频多模态输入。
  • ✅ 上下文窗口 1000K，支持长文本。
  • ⚠️ 闭源专有模型，不支持自托管。

编辑点评

GPT-4o mini 与 Gemini 1.5 Flash 各有侧重。建议根据具体场景（代码、长文本、视觉等）选择，参考上方基准与定价表。

常见问题

哪个模型在代码任务上更优？

参考 HumanEval 基准得分表，得分更高者更适合代码任务。

哪个模型价格更低？

参考上方的定价对比表，输入/输出价格更低者更具成本优势。

上下文窗口哪个更长？

参考核心规格对比表，上下文窗口更大的模型适合长文档处理。

参考文献

编辑点评

See Editor's Take section.