ChatGPTの浸透により、注目されている対話型の文章生成AI。

米大手のGoogleからも、次世代言語モデル「PaLM」が発表されていることをご存知でしょうか。

PaLM 2は、前世代のモデルであるPaLMの改良版であり、従来より高度な言語理解と生成能力を備えています。

さらに、Googleによって発表された次世代の言語モデルであり、自然言語処理の分野に大きな進化をもたらす革新的な技術です。

今後の自然言語処理技術の進化において、非常に重要な役割を果たすことが期待されることが予想されています。

本記事では、その概要や強化された機能について詳しく解説します。

|PaLMとは

PaLM（Pathway Language Model）とは、Google AIが開発した大規模言語モデル（LLM）です。

2022年4月に公開され、テキストの生成、翻訳、要約、質問への回答、コードの生成など、さまざまなタスクを実行することができます。

最大5400億個のパラメータを持つTransformer（深層学習モデル）ベースのモデルであり、

GPT-3が1750億個であることと比べれば、その情報処理能力の高さが伺えます。

PaLMは、Transformerを拡張することで、テキストとコードの両方を理解し、生成する能力を向上させています。

さらにトークンは7800億個を学習に使用させており、Google史上最大規模の深層学習向けプロセッサーの台数を記録しています。

したがって、大規模言語モデルの可能性を示す画期的なモデルであり、今後もさらに多くのタスクで活用されることが期待されています。

|PaLM 2とは

PaLM 2は、PaLMをさらに強化したモデルで、2023年5月11日に発表されました。

従来のものよりも高性能であり、高速かつ効率的なデータ処理が可能です。

すでに、25のGoogle製品および機能（Bard、Gmail、ドキュメント、スプレッドシート、YouTubeなど）に使用されている他、ドメイン内でもすでに使用されています。

また、PaLM2はGecko、Otter、Bison、Unicornの4つのサイズで提供され、さまざまなニーズに対応します。

とくにGeckoは非常に軽量で、容量が少ないモバイルデバイスでもスケールを縮小して動作し、オフライン環境下であっても自然なやりとりが実現できます。

多言語翻訳、数学、質問応答能力、コード生成など、多様な領域で応用が進むことにより、自然で精度の高いコンピュータとのコミュニケーションが一層実現されることが見込まれています。

|PaLM 2の強化点

従来モデルよりも強化した点については、以下の通りです。

• 多言語対応
• 推論
• コーディング

それぞれについて、詳しく解説していきましょう。

多言語対応

強化点の一つ目は「多言語対応」です。

PaLM 2は、膨大な量の異なる言語のテキストデータを用いて事前学習されています。

現時点で100以上の言語を理解し、翻訳することが可能です。

翻訳の精度は非常に高く、人間が翻訳したレベルの翻訳を生成することができます。

たとえば、日本語のだじゃれやジョーク、なぞなぞクイズなども理解し、処理する能力が備わっています。

さらに、少数言語や少数民族言語の処理にも対応し、向上が見込まれています。

よって、グローバルな社会における言語的多様性と相互交流を促進し、自然言語処理技術の進化に大きく寄与すると期待されています。

推論

「推論」推論とは、モデルが新しいデータや文脈を与えられた場合に、それに基づいて適切な応答や予測を行う能力を指します。

事前学習において膨大なデータを利用しており、それによりモデルは多様なパターンや文脈を理解することができます。

数学や科学的な論文を含む豊富な学習データによって、PaLM 2は新しい入力に対してより洗練された推論を行い、高度な文脈理解が可能になります。

この推論能力の強化により、より柔軟で自然な対話や応用が実現されます。

多様な文脈を理解し、高度な推論を行うことで、ユーザーエクスペリエンスの向上や現実世界の問題への応用において、その優位性が際立つと期待されます。

コーディング

コード生成能力の強化も注目される点です。

PaLM 2は、テキストとコードの膨大なデータセットでトレーニングされているため、さまざまなプログラミング言語で、自然な文法とスタイルでコードを生成することができます。

また、コードからテキストを生成したり、テキストからコードを生成したりすることもできます。

一般的なプログラミング言語である、PythonやJavaScriptなどは、大量のウェブページやソースコードで事前に学習済みです。

さらに、科学技術計算のFortranや論理プログラミングのProlog、ハードウェア設計のVerilogなどニッチな言語も事前学習しています。

|PaLM 2の導入サービス

PaLM2を使用するにあたり、導入してあるサービスや製品を用いる必要があります。

具体的にどのような製品があるのか、以下で説明していきましょう。

Bard

Bardは、自然言語による対話インターフェースを提供し、テキストの生成、翻訳、要約、質問への回答、コードの生成など、さまざまなタスクを実行することができます。

現時点では試験運用ですが、将来的にはGoogle検索に導入することも視野に入れているとされています。

さらに、Adobe Fireflyとパートナー契約を結んでおり、今後はBardからAdobe Fireflyを利用することへも期待が高まります。

MakerSuite

MakerSuiteは、エンジニアや開発者向けに提供される、コード生成と解析のための包括的なツールセットです。

このサービスでは、PaLM 2の高度な言語理解能力を活用して、自動コード生成やコード解析、エラー検出などのタスクをサポートします。

また、コードのドキュメント生成やリファクタリングにも対応し、効率的で質の高いソフトウェア開発を促進します。

エンジニアがより迅速にプロジェクトを進めるための強力なツールとして、活用されています。

PaLM API

PaLM APIを使用すると、ユーザーは、テキストの生成、翻訳、要約、質問への回答、コードの生成など、PaLM 2の機能を、さまざまなアプリケーションで活用することができます。

プライベートプレビューとしての公開であり、使用するには、ウェイティングリストに登録する必要があります。

この強力な言語モデルを活用することで、開発者は自然で優れたパフォーマンスを持つ自動言語処理（NLP）アプリケーションを容易に構築できます。

Vertex AI

Vertex AIは、機械学習モデルの開発、トレーニング、デプロイメントを統合的に管理するプラットフォームです。

PaLM 2の強力な自然言語処理機能を活用し、自然言語によるタスクの自動化やNLPアプリケーションの構築が容易に行えます。

また、高度な機械学習機能を統合することで、効率的に機械学習モデルを作成し、リアルタイムの応用に活用できます。

Vertex AIは、複雑なプロジェクトに対応し、高品質なAIソリューションを提供します。

Workspace

Workspaceは、Googleが提供するクラウドベースのオフィススイートです。

これには、Gmail、Google ドキュメント、スプレッドシート、スライド、カレンダー、Meet、Chatなど、さまざまなサービスが含まれています。

Workspaceを使用すると、テキストの作成、編集、共有、プレゼンテーションの作成、スケジュールの管理、チャット、ビデオ会議など、さまざまなタスクを効率的に実行し、生産性を向上させることができます。

|まとめ

今回は、Googleの次世代言語モデル「PaLM 2」についてお伝えしました。

このモデルは、自然言語処理の進化に大きな影響を与える革新的な技術です。

大規模なデータセットと高度な言語理解力を持ち、より自然な対話や効率的なソフトウェア開発が実現できるでしょう。

PaLM 2は、さまざまなサービスやAPIを通じて利用可能であり、言語モデルの未来を切り開く存在です。

新たな言語処理の世界は、今後も進化し続けていくことでしょう。