本記事はzendesk.comで2023年8月16日に公開された「ChatGPT vs. Bard」の抄訳です。記事内容は執筆時点の情報に基づきます。ChatGPTやBardの最新情報や価格は公式サイトにてご確認ください。
いま、生成AI技術のめざましい進化に伴い、仕事のやり方を一から見直そうとする企業が増えています。コンテンツの作成やプログラミングなど、さまざまなタスクにAIを活用することで、品質アップや生産性の向上を期待できるからです
なかでも特に注目を集めている生成AIソリューションがChatGPTとGoogle Bardです。多くの企業が、どちらの製品が自社のニーズに合うのかを検討しています。
そこでZendeskでは、代表的ないくつかのパフォーマンス領域について、ChatGPTとBardを実際にテストしてみました。本記事では、どちらの製品がどんな用途に適しているかを例を挙げながらご紹介します。
- ChatGPTとGoogle Bardの概要
- ChatGPTとBardの主な違いをチェック
- ChatGPTとBardを徹底比較
- ChatGPTとBardの価格を比較
- ChatGPTとBard、それぞれの長所と短所
- ChatGPTかとGoogle Bardのどちらを選ぶべきか
ChatGPTとGoogle Bardの概要
ChatGPTとBardはいずれも生成AIソリューションです。聞きたいことを質問(プロンプト)すると、人の関与なしに自動で回答を返してくれます。ChatGPTとBardのいずれも、そのまま単体で顧客向けのツールとして使用するにはまだ未成熟ですが、生成AIモデルを導入することで、CX専用に開発されたボットのパフォーマンスを強化する効果が期待できます
OpenAIによって開発されたChatGPTは、特定のスーパーコンピューティングプラットフォームに限らず、多様なハードウェアとソフトウェア環境で機能します。一方、BardはGoogleが開発したAIソリューションで、ChatGPTのリリースから間もない時期に公開されました。
どちらのソリューションも大規模言語モデル(LLM)を用いており、テキストとコードのデータセットから学習した内容に基づいて質問に対する回答を返します。ChatGPTとBardのいずれもコンテンツの作成、質問への回答、テキストの翻訳を行う能力がありますが、パフォーマンス品質にはそれぞれ違いがあります。
ChatGPTと Bardの主な違いをチェック
ChatGPTとGoogle Bardの主な違いは以下の通りです。
※価格や言語モデルの最新情報は公式サイトにてご確認ください。
ChatGPT | Google Bard | |
---|---|---|
価格 | 無料 Plus:月額$20 | 無料 |
言語モデル | 無料: GPT-3.5 Plus: GPT-4 | Pathways言語モデル(PaLM 2) |
データソース | ChatGPTは、2021年9月以前に発表されたWikipedia、科学学術雑誌、ニュース記事などのソースから得たデータセットを基にトレーニングされています。 ChatGPT Plusはプラグインを介してインターネットにアクセスします。 | Bardは、インターネットコンテンツから独自に収集したデータセット「Infiniset」でトレーニングされています。 BardはGoogleを介してインターネットにアクセスします。 |
使いやすさ | スキルレベルに関係なく利用できる | スキルレベルに関係なく利用できる |
ユースケース | コンテンツの生成、コンテンツの訂正、プログラム作成/デバッグ、他言語への翻訳 プラグインを利用すれば、インターネット上の情報を収集し、最新情報の提供やページ内容を要約が可能 | コンテンツの生成、コンテンツの要約、最新イベントに関する情報提供、他言語への翻訳 |
ChatGPTとBardを 徹底比較
ヘルプデスクの強化や24時間年中無休のカスタマーサポートの提供など、どんな用途にChatGPTやBardを利用するのかが、どちらのソリューションを選ぶのかを判断するうえで重要になります。皆さんがAIソリューションを選ぶ際の参考になるよう、Zendeskは7つの重要なパフォーマンス領域について ChatGPTとGoogle Bardを実際にテストしてみました。
リサーチ用にコンテンツを要約する
何かのテーマについて調べるリサーチは時間と手間ののかかるプロセスです。自分の代わりにリサーチを実施して要点をまとめてくれるツールは心強い味方になります。Googleは検索プロバイダーとして、検索結果を分析してユーザーに適切な情報を提供することにおいてはまさにエキスパートです。そのため、Bardのほうがリサーチ関連のタスクに優れているのは当然と言えるでしょう。Bardに関連記事が掲載されているWebページへのリンクを渡して要約するよう頼めば、あとはBardが自分で記事を要約してくれます。
一方、ChatGPTの無料版では、できることが限られています。リンクから記事にアクセスして要約する能力はないため、ユーザーは要約してほしいテキスト全文をコピーして貼り付ける必要があります。またChatGPTはプロンプト1件当りのトークン上限を定めており、事実上プロンプトに含めることができる文字数を制限しています。1トークンは1文字または1ワードに相当し、一回の検索につき最大4,096トークンまでの利用が可能です。そのため、3,000ワードを超える記事を要約させたい場合は、恐らくChatGPT Plusを利用したほうが良いでしょう。
ChatGPT PlusでWebPilotなどのプラグインを利用すれば、Web上のコンテンツの要約が可能になります。今回のテストでは、ChatGPT Plusは下記の画像のように、記事を4つのパートに分けて、それぞれについて要点をまとめてくれました。
背景情報を反映したメールや会話を作成する
リサーチの他にも、ChatGPTとBardは人とのコミュニケーションにも利用できます。たとえば、担当しているプロジェクトの納期を延期してもらいたい場合、生成AIに頼めば適切な背景情報に基づいて上司宛てのメールを作成してくれます。
Bardは、以下の画像が示すように、期限に言及したうえで調整が必要な理由を説明する簡潔なメールを作成してくれました。
ChatGPTも与えられた同じプロンプトに対して、件名とメール本文を作成してくれました。ただし、ChatGPTの作成したメールはBardのものと比べて文章がかなり長く、しかも情報が重複していました
OpenAIはプロンプトエンジニアリングと呼ばれる技術を用いてChatGPTを構築しており、AIは会話内のキューに基づいてユーザーの意図を判別します。そのため、場合によりChatGPTから満足のいく回答が返ってくるまでプロンプトそのものを何度か修正しなければならないことがあります。
ChatGPTとBardのいずれも会話の背景情報を維持する能力があるため、ユーザーは過去のプロンプトにアクセスすればすぐに同じ案件について追加支援を受けることができ、改めて状況を説明する手間を省けます。
たとえば上記の話の続きとして、上司からプロジェクトの納期の延期について、詳しい情報を求められた場合はどうなるのでしょうか?
Bardは上司への返信文を作成してくれ、さらに対象となるプロジェクトがChatGPTとBardに関する記事の作成であることを正確に覚えていました。プロジェクトが遅れている理由に関しては勝手な作り話をしていますが、新しいメッセージは前回からの内容に沿った一貫性のあるものでした。
一方、ChatGPTも同じ依頼に対して詳細な返信文を作成してくれました。こちらも前回からの内容に沿った一貫性のある内容で、しかも今後同様の状況を回避するための解決策も提示しています。
最新のイベントに関する情報収集
ChatGPTとBardの大きな違いの一つが、 最新の情報に基づく正確な回答を返すことができるかどうかです。ChatGPTの無料版は、2021年9月以前に学習した情報について回答を生成します。したがって、最新のイベントや新しいトピックに関する情報が欲しい場合は、有料版であるChatGPT Plusとプラグインを利用する必要があります。
Bardは世界の最新イベントに関する正確な情報をリアルタイムで提供できます。例えば、2023年に発生したカナダの山火事に関する質問をしたところ、Bardは山火事の現在の正確な状況を報告しただけでなく、火事の原因やその影響に関する追加の背景情報も提供してくれました。
新しいテキストコンテンツを作成する
生成AIについて特に注目を集めているのが、オリジナルのコンテンツを作成する能力です。ChatGPTとBardはいずれも、フィクションのストーリー、情報を提供するブログ記事、テストの問題などを作成できます。生成AIは、機械学習によりプロンプトそのものだけでなく、それを取り巻くユーザーの意図を理解する能力があり、これに基づいて的確な回答を返すことができます。ChatGPTに小学5年生レベルの掛け算の文章問題を作るよう要請したところ、実際に問題を作成したほか、問題の解き方まで提示してくれました。
同じ質問をBardにもしたところ、同様の文章問題を2つ生成し、さらにそれぞれの問題の解き方も提示してくれました。さらにChatGPTと異なる点として、Bardの回答には問題を解く数式と解答も含まれていました
テキストを修正して既存のコンテンツを更新する
ブログやナレッジベースに大量のコンテンツが蓄積されている場合、それらのコンテンツの編集や訂正には多くの時間がかかります。検索エンジン向けに最適化され、かつ内容が正確で情報量も十分な記事を人の手による編集なしでAIに独力で完成させるのはまだ難しいですが、多くのユーザーは、AIにどの程度テキスト訂正能力があるのかについて強い関心を寄せています
そこで私たちは、セルフサービス(自己解決)のベストプラクティスに関する過去のブログ記事を題材にして、Bardに記事を修正してもっと読みやすくしてほしいと頼みました。Bardはこれに対して、記事を複数のセクションに分割し、それぞれのセクションを項目を確認しやすいリスト形式に再構成しました。視覚的な点からは改善に成功したようですが、修正の結果、記事のコンテキストが損なわれてしまいました。BardのAIは、記事の中で筆者が推奨している内容と、その推奨案を説明する背景情報の違いを理解できなかったようです
たとえば、Bardで訂正した記事は、「すべてのヘルプセンターは40以上の言語に対応するべきだ」と主張しています。しかし、元のブログ記事は、「できるだけ顧客が利用する言語で対応するのが望ましい」とした上で、40以上の言語に対応する例としてZendeskのヘルプセンターに言及していました。Bardは私たちの与えたプロンプトに対して3つの草案を生成しましたが、どの草案にも同様の課題が存在していました。
一方、ChatGPTは元のブログ記事の段落構造はそのまま残し、各セクションを少しづつ短くする修正を行いました。訂正後のコンテンツには改善の余地があり、特にいくつかの文章は長すぎてくどい印象を与えました。しかし全般に、元の記事の趣旨を伝えるという観点からはまずまずの出来栄えであったと思います。
プログラムを作成する
コンピュータープログラムの作成はコンテンツの作成と似ていますが、プログラム作成の方がより客観的に良し悪しを判断できます。プログラムが問題なく動作すればOK、バグが発生していればNGという明確な基準で判断できるからです。ChatGPTにJavaScriptで〇×(マルバツ)ゲームをするアプリのプログラムを作成するよう頼んだところ、ChatGPTはシンプルな2D形式のアプリを生成しました。OnlineGDBを使ってプログラムをテストしたところ、エラーは一つも発見されませんでした
Bardにも同じプロンプトを与えたところ、3パターンのプログラムを提案してきました。そのうち1つは、JavaScriptをCSSとHTMLで補完したプログラムでした。3つのプログラムをテストしたところ、どのプログラムでもよく似たいくつかのエラーが発見されました。このことから、Bardを使用したプログラム記述タスクの場合、最終的に機能する製品ができるまでには人の手による修正が必要になると思われます。
画像付きの検索結果を生成する
Google BardとChatGPTのもう一つの大きな違いが、 画像付きの回答を返すことができるかという点です。ChatGPTの無料版は人間のようなレスポンスを返すものの、基本的にはテキスト限定のAIチャットボットですそのため、画像付きの検索結果を求めても、画像を文字で説明することしかできません
いっぽう、ChatGPT Plusはプラグインを介して画像付きの検索結果を返すことができます。ゴッホのような画家が描いた芸術作品を見せてほしいと頼んだところ、ChatGPT Plusは同様のスタイルで描かれたと判断される5点の作品を提示しました。
これに対し、BardはGoogle の画像検索データにアクセスし、プラットフォーム内で収集した画像付き検索結果を提示します。もし私たちが自分で画像検索を行っても、同じような結果は得られないでしょう。
Bardにゴッホのような画家の絵画作品を見せてほしいと頼んだところ、作品を提示しただけでなく、それぞれの画家について2文ずつの簡単な説明を返してくれました。Googleの画像検索で同じリクエストを行ったところ、主にゴッホ自身の手による作品の画像が表示されました。
ChatGPTと Bardの価格を比較
ChatGPTには2種類の料金プランがありますベーシック版は無料ですが、メッセージ1件につき4,096トークンの上限が設定されています。$20の月額使用料がかかるChatGPT Plusは、新しい機能やプラグインを利用できるほか、回答時間がより早く、またピーク時に優先アクセス権があるというメリットがあります。ChatGPT Plusのユーザーが利用できるメッセージ数の上限は、4時間毎に最大100件です。トークンの上限は設定されていません。
一方、Google Bardは、Googleのアカウントを持っているユーザーなら誰でも無料で利用できます。1日に送信できるメッセージ数は無制限です。Googleが今後、Bardの利用を無料に据え置くのか、それとも階層化された新たな料金プラン体系を導入するかかはまだ不明です。
ChatGPTとBard、それぞれの長所と短所
今回実施したChatGPTとBardの比較テストは、 いくつかの想定されるユースケースについての小規模なデータに過ぎません。またどちらの製品も現在さらに開発が進んでおり、今後短期間のうちに新たな機能や能力が付加されていくでしょう。たとえば、今年の3月にBardがリリースされた際には大規模言語モデルとしてLaMDAを採用していましたが、その後5月には早くもPaLM 2にアップグレードされ、パフォーマンスが大幅に改善されました。
皆さんがChatGPTとBardのどちらかを選ぶかを検討する際は、以下に挙げたそれぞれの長所と短所を参考にしてみてください。
ChatGPTかとGoogle Bardのどちらを選ぶべきか
ChatGPTとBardを比較したところ、それぞれの製品ごとに得意とするユースケースがあることが明らかになりました。一方で、現時点ではどちらの製品にも改善の余地があり、単体で顧客対応向けツールとして導入するには未成熟と言えるでしょう。
貴社のカスタマーエクスペリエンスを改善してくれるソリューションを探しているのなら、CX専用に開発されたツールの導入をおすすめします。Zendeskではパフォーマンスを最適化し、収益の向上を実現するいくつかのツールをご用意しています。最新AI技術の利用に乗り遅れる心配もありません。さらにZendesk AIはOpen AIのAPIを採用しており、時間とコストを節約しながら、ZendeskからOpen AIが提供する機能を利用して、インテリジェントなカスタマーエクスペリエンスの提供をご支援できます。
お気軽にお問い合わせ頂くか、14日間の無料トライアルでZendeskの機能をお試してください。