LLM（大規模言語モデル）とは？
仕組みや活用例・現状の課題を解説
機械学習の一種である言語モデルの中にLLM（大規模言語モデル）があります。生成AIを含む機械学習は仕組みが複雑で理解が難しいと感じられる方も多いのではないでしょうか。
そこで、今回はLLMの概要や仕組み、活用分野について解説します。また、LLMの課題と今後の発展に関する情報もまとめているので、LLMの知見を深めたいと考えている方はぜひ参考にしてください。
LLM（大規模言語モデル）とは、膨大なデータセットとディープラーニング技術を用いて構築された言語モデルのことです。
言語モデルとは人間が話し、書く「言葉」をAIが学習し、人間が実際に話すような言語生成処理に活用できるモデルのことを指します。
有名なものではChatGPTで使用されているGPT-3やGPT-4が挙げられます。
GPT-3について詳しくは「GPT-3とは？チャット型AIの機能や使い方を活用例を踏まえて解説！」をご覧ください。
LLMは従来の自然言語モデルと比較すると、計算量・データ量・パラメータ数が大幅に増加しています。
LLMは機械学習の一種です。機械学習とはコンピュータが自動でデータから学習し、データの裏にあるパターン・ルールを見つけ出す方法を指します。
機械学習のうちディープラーニングでは、人間の脳の神経回路を模したニューラルネットワークという仕組みが用いられます。複数の層からなるニューラルネットワークを使った学習によってAIモデル（機械学習モデル）の精度を高め、人間が気づかなかった特徴を発見できることがディープラーニングの特徴です。
さらにLLMは、ディープラーニングの中でも、生成AIに分類される言語モデルです。
機械学習やディープラーニング、生成AIについて詳しくは「機械学習とは？仕組みや活用例までわかりやすく解説」や「ディープラーニングとは？仕組みや活用例をわかりやすく解説」「生成AI（ジェネレーティブAI）とは？種類・仕組み・活用例を解説」をご覧ください。
ここではLLMの仕組みについて以下4つの視点から解説します。
学習データは、LLMを構成する「基盤」のようなものです。
LLMは、学習データとして事前に集められた大量のテキストデータを、文章や単語ごとにどのように使われているかを学習します。テキストデータの収集のステップでは、モデルに学習させたいテキストを幅広く集めて、そしてテキストデータの処理のステップでは、テキストデータを「トークン」（単語や記号などの「言語」の最小単位）と呼ばれる単位に分割し、モデル構築の際に機械が扱いやすい形式に変換します。
テキストデータの収集と処理を終えたら、モデルの構築が行われます。モデルの構築は、テキストデータから、単語や文章の構造や意味を学習し、与えられた文脈の次に来る単語を正確に予測できる文章生成の能力が獲得します。モデル構築後、検証用のデータセットで文章を適切に生成できるかモデルの評価を行います。
推論の段階では、モデルの構築で獲得した文章作成の基礎能力を活かして、ユーザーからのプロンプトの受付、文脈の理解と予測、テキストの生成など、様々なタスクを実行します。そして、これらのタスクを実行する上でも、再びデータのトークン化を行います。
推論段階におけるトークン化は、学習段階で行われるトークン化と基本的に同じ処理ですが、役割が少し異なります。学習段階では、大量のテキストデータをモデルが理解できる形に変換することが主な目的でしたが、推論段階では、ユーザーからの指示（プロンプト）をモデルが処理できる形に変換し、その後のテキスト生成をスムーズに進めることが主な目的です。
ファインチューニングとは事前学習したLLMモデルのパラメータを新たなデータで学習・更新する手法です。
LLMは、このファインチューニングを繰り返すことで、学習した新たな知識を得る仕組みになっており、ファインチューニングによって特定のタスクや目的に合わせて、さらに性能を向上させることができます。
生成AIの中でも高い性能を誇るLLMはビジネスシーンをはじめとしたさまざまな場面で活用されはじめていますが、現在は主に以下の分野で活用されています。
ここではLLM活用の具体例を紹介します。
チャットボットもLLMによって、急速に活用されるようになりました。
チャットボットはカスタマーサポートサービスや社内ヘルプデスクの自動化などさまざまなシーンで活用されている技術です。また最近はユーザーの会話スタイルに応じた対応も可能となりました。
これまでのカスタマーサポートにもAIを用いたチャットボットは使われていましたが、答えられるトピックの種類が限られており、自然な会話ができなかったという課題がありました。しかし、LLMを用いたチャットボットはそれの課題を克服し24時間稼働可能なことから効率性を重視し導入されることが増えてきています。
LLMは入力した文章の文脈や意図を理解し、適切な文章であるかを判断できるため、文章校正の場面で使用されることが増えました。
また、LLMにテキストデータを与え、要約する旨の指示をすると、文章の中で重要な部分を抽出できるため、要約の目的で使用されることもあります。
LLMを使用することで、精度の高い校正や要約の作業をより効率的に行えると期待されています。
LLMは、文章の翻訳でも活用されており、近年では、教育・医療といった場面ですでに導入されています。このように機械翻訳などのAIに関連する技術は、LLMの登場により凄まじいスピードで進歩を続けています。
機械翻訳を含めた、幅広いタスクに対応可能なのも、LLMの特徴であり、メリットです。
情報を獲得するうえで、これまで検索エンジン一択でしたがLLMの登場によって新しい情報獲得の手段が与えられました。LLMは検索エンジンにも活用されるようになりました。BingのAIチャットは検索エンジンと連動しており、リアルタイムの情報をベースとした回答を表示できるのが特徴です。また、出力された内容には、参照したページのURLが含まれているため、エビデンスの確認もスムーズに行えます。
ほかにも生成AIによる新たな検索体験として導入された、Googleの「SGE（Search Generative Experience）」にも、LLMの技術が取り入れられています。SGEは、AIによる検索結果の表示や、検索結果の要約ができる機能のことです。
BingのAIについて詳しくは「Bing AIとは？機能の特徴や使い方、ChatGPTと比較した強み・弱みを解説！」をご覧ください。
さまざまなシーンで活用され、今後も活躍が期待できるLLMですが、以下のような課題もあります。
ここではLLMの課題と、課題解決による今後の発展について解説します。
LLMは優れた文章生成能力を持つ一方で、実在しない情報や事実と異なる内容を生成してしまうこともあります。
この現象は「ハルシネーション」と呼ばれ、LLMが学習した情報に含まれる誤りや偏見が原因で発生します。正確な情報が求められるLLMの活用において、ハルシネーションは大きな課題となっています。
現段階のLLMを活用する際は、ハルシネーションが起こる可能性に留意し、人の手で事実確認や正確性を確かめる必要があります。
今後LLMが発展していくには、誤った情報を生成することを防止するための精度改善が必要だと考えられています。
LLMには、プロンプトインジェクションの課題もあります。
プロンプトインジェクションとは、悪意を持って特定の質問・プロンプト（動作を促すもの）でLLMを誘導し、開発者の意図にない回答を引き出すことです。
LLMにおけるプロンプトインジェクションにより、機密情報を抜き出そうとする行為も問題視されるようになりました。
LLMの安全な利用のためには、プロンプトインジェクションに対する対策やガイドラインの設定が求められるでしょう。
機械学習の一種であるLLMは、チャットボットや検索エンジンなど、さまざまなシーンで活用されている技術です。
ハルシネーションやプロンプトインジェクションといった課題はあるものの、これらの課題に対する施策を講じたうえで、今後更なる発展が予想されるでしょう。
生成AIについて理解を深めたい、LLMという技術がどのような場面で活用されているか知りたいという方にとって、本記事の内容が参考になれば幸いです。
ITライター／新技術ウォッチャー。XR、ジェネレーティブAIなどの新しいテクノロジーや企業のDX取材、技術者・経営者へのインタビュー、技術解説記事などを執筆。ビジネスを軸にしたXRと最新テクノロジーのWEBマガジン『TechComm-R』運営。Yahoo!ニュース公式コメンテーター（ITジャンル）。株式会社ウレルブン代表。
