ChatGPT o1 と Gemini を徹底比較してみた
2024年9月12日、 OpenAI は新たなAIモデル「 o1 」を発表しました。 o1 は学術的な課題、例えば、論理的思考が求められるような数学・物理・プログラミングといった分野の課題解決に特化したAIモデルです。今回は OpenAI の新しいAIモデルと Gemini ( Gemini 1.5 Pro )の機能の違いについて解説します。
o1 は OpenAI が公開した新しいAIモデル
OpenAI o1 の基本情報
OpenAI o1 とは何か
o1 は応答前に熟考する時間を増やすように設計された新しいAIモデルで、数学・化学・物理・コーディング等、論理的思考が求められる複雑なタスクの推論に特化しています。
o1 の読み方は？
読み方はシンプルに「オーワン」と読みます。
o1 の想定利用者
OpenAI o1 の利用者は、研究者やソフトウエアエンジニアが想定されています。 OpenAI は、今後 o1 が技術的に発展することで、人類の科学的進歩に貢献できると考えています。
OpenAI o1 の利用条件
OpenAI o1 は ChatGPT Plus 、もしくは法人向けの ChatGPT Team を契約することで利用することができます。また、有償のAPIによって、2種類(後述)の o1 モデルにアクセスすることが可能です。現状、どちらにしても、あくまで有償向けのモデルであり、無料では利用することはできません。
OpenAI o1 の性能
MMLUで88.7%を記録
MMLU は 数学・物理学・歴史・法律・医学・倫理など、57科目の知識や問題解決能力を測るテストになりますが、 o1 は 88.7% という高スコアを獲得しました。
国際数学オリンピックの資格試験で83%の回答率を記録
国際数学オリンピックの資格試験では、GPT-4o は問題の 13% しか正しく解決できませんでしたが、 o1 は正解率 83% を記録しました。また、コーディング能力についてもコンテストで評価され、89% の回答率を記録しました。
利用可能な OpenAI o1 シリーズのモデル
現在利用可能な OpenAI o1 モデルは o1-preview と o1-mini の2つになります。以下は ChatGPT Plus の画面であり、プルダウンから2つのモデルのいずれかを選択できます。
そもそも o1-mini とはどんなモデル？
o1-mini はコスト効率の高い推論モデルです。o1-mini は STEM、特に数学とコーディングに優れており、AIME や Codeforces などの評価ベンチマークにおける OpenAI o1 のパフォーマンスにほぼ匹敵します。
o1-mini は o1-preview よりも80%安価
o1 の小型モデルである o1-mini は、o1-preview より 80% 安価であり、推論は必要だが広範な世界の知識は必要ないアプリケーションにとってコスト効率の高いモデルになっています。
o1 の各モデルともに実行回数に制限あり
o1 は ChatGPT の有償プランを契約していれば、使い放題なわけではありません。 o1-preview については週に30回、 o1-mini については週に50回の実行制限が現状かかっています。ただし、この制限は、時間が経てば緩和されていくことが予想されます。
Webでの新しい情報の獲得、及びマルチモーダルには非対応
2024年9月14日現在、 o1 は Web を参照して新しい情報を入手したり、ファイルや画像をインプットしたりするなど、ChatGPT-4o に備わっているような機能は実装されていません。 o1 はあくまで学術的な課題を解決するのに特化したAIモデルになります。
OpenAI o1 と Gemini の違いとは
ここまでの説明を踏まえて、 Gemini と OpenAI o1 の機能比較をまとめてみました。 Gemini については、コンシューマー向け有償プランの Gemini Advanced にサポートされている Gemini 1.5 Pro を比較の対象としています。
| Gemini | OpenAI o1 | |
|---|---|---|
| LLM | Gemini 1.5 Pro | o1-preview |
| 想定利用者 | 制限なし | 物理、化学等の研究者、ソフトウェアエンジニア |
| 用途 | プライベート、及びビジネスにおける利用 ※利用者に制限なし | 学術的問題の解決補助、プログラミング支援 |
| 応答速度 | 早い | 遅い |
| 費用 | 2,900円/月 | $20/月 ※ ChatGPT Plus で利用する場合 |
| 性能スコア(MMLU) | 85.9% | 88.7% |
| 一度に処理できるトークン数 | 1,000,000トークン | 128,000トークン |
| マルチモーダル対応 | ◯ | × |
| リリース | 2024年2月 | 2024年9月 |
| API対応 | ◯ | ◯ |
まとめ
OpenAI o1 と Gemini は、それぞれ異なる特徴と強みを持つAIモデルです。 Gemini は、自然言語処理において幅広いユースケースに対応できる汎用性が強みであり、マルチモーダルなデータ処理であったり、世の中に存在する汎用的な課題の解決に向いたAIモデルです。 OpenAI o1 はあくまで研究者やソフトウェアエンジニア向けの推論モデルであり、用途は制限されています。
おそらく、大部分のユーザーにとってはメリットがある推論モデルとは言えないと思いますので、特徴を理解した上で、必要であれば利用してみると良いかもしれません。
