【第3回：技術編】LLMの仕組みから見るプロンプトインジェクションの脆弱性

前回は、プロンプトインジェクションがどのような手口で行われ、実際にどのような被害が起きているのかを具体的に紹介しました。機密情報の漏えいからブランドイメージの毀損まで、ビジネスや個人生活に深刻な影響が及ぶことを再確認できたかと思います。

今回（第3回）は「技術編」と題し、なぜAI（とくに大規模言語モデル：LLM）がプロンプトインジェクションに弱いのか、その背景を掘り下げます。技術的観点を少し理解するだけでも、対策を考えるうえで大きなヒントとなるでしょう。

連載記事のご案内

本記事は、プロンプトインジェクションの導入から実践的な対策までを紹介するための連載企画「AI時代の新たな脅威を防げ！プロンプトインジェクション対策最前線」の第3回です。以下の各回もあわせてぜひお読みください。

• 第1回：導入編「プロンプトインジェクションとは？仕組みと危険性をわかりやすく解説」
• 第2回：事例編「実際に起きた攻撃手法と被害例を深掘り解説」
• 第3回：技術編「LLMの仕組みから見るプロンプトインジェクションの脆弱性」
• 第4回：対策編「プロンプトインジェクションを防ぐベストプラクティスと実践ポイント」
• 第5回：運用・管理編「ビジネスで取り入れる際の注意点と組織的な体制づくり」
• 第6回：今後編「プロンプトインジェクションの未来と進化、そして私たちに求められるアクション」
• 第7回：特別編「攻撃プロンプト＆防御テクニックまとめ」

大規模言語モデル（LLM）とは何か

ここでは、プロンプトインジェクションが成立する土台となる「LLM（Large Language Model）」の基本をおさえ、AIがどのようにテキスト生成を行っているかを見ていきます。

そもそもLLMとは？

LLM（Large Language Model）とは、膨大なテキストデータを学習して言語理解や文章生成を行うAIモデルの総称です。ChatGPTなどで使われているTransformerベースのモデルが代表例として知られています。

• 特徴1: 圧倒的なパラメータ数
• 特徴2: 多言語・多分野の知識を内包
• 特徴3: 「次に来る単語」を予測する形で文章を生成

学習にはインターネット上のテキスト、書籍、論文など多種多様なデータが用いられ、結果として驚くほど流暢かつ多彩な応答を返せるようになりました。

LLMについてもっと詳しく知りたい方は、以下の記事もあわせてお読みください。

LLMとは？基本から応用まで5つのポイントをわかりやすく解説します

トランスフォーマー（Transformer）とは？

LLMの中核をなすアーキテクチャのひとつが「Transformer」です。以前はRNN（再帰型ニューラルネット）やCNN（畳み込みニューラルネット）が主流でしたが、Transformerは自己注意機構（Self-Attention）を採用することで、文章中のどの単語（トークン）が重要かを効率的に見つけ出し、長い文脈でも高い精度で処理できます。

• 例: 「私はりんごを買いました。それはとても甘かった。」の「それ」が指すものを正しく理解する
• ポイント: 単語同士の関連性を“重み”として捉えるため、文章全体の文脈を把握しやすい

プロンプトがAIの出力を左右するメカニズム

LLMの基本を把握したところで、プロンプト（指示文）がどうやってAIの出力に反映されるかを確認します。

ここを理解することで、なぜ「不正なプロンプト」が入り込むとAIが望ましくない応答をしてしまうのかが見えてきます。

入力テキスト（プロンプト）の重要性

LLMは「次に来る単語」を予測するモデルであるため、入力されたテキスト（プロンプト）の内容が強く出力に影響します。ユーザーがどんな指示を与えたか、あるいは事前にどんなシステムメッセージが設定されているかによって、回答の方向性や言葉遣い、情報の深さが変わります。

• 例: 「カジュアルな言葉で説明して」と指示すると口語的な文体になる
• 例: 「初心者向けにやさしく解説して」と促すと専門用語を控える傾向になる

コンテクスト（文脈）の保持

多くのLLM搭載サービスは、対話履歴を保持しながら応答を生成します。つまり過去のやり取りの“文脈”が蓄積されていき、後から出すプロンプトにも影響が及びます。

• 利点: 長い会話でも一貫した受け答えが可能
• 欠点: 攻撃者が段階的に不正な目的に誘導しやすい

この「過去の会話を覚えている」という点が、プロンプトインジェクションにおいては逆に脆弱性になり得るのです。

AI内部の「ポリシー」もテキストで管理される

LLMを活用したチャットボットやアプリケーションでは、AIが特定の情報を開示しないよう“ルール”を設定することがあります。たとえば「著作権侵害の恐れがある内容には応じない」「差別的な表現をブロックする」などです。

しかし、これらのルールも多くの場合、テキストベース（システムメッセージやアプリ内設定）でAIに与えられており、それ自体が「大元のプロンプト」と言えます。結果として、上位のポリシーとユーザーの指示が衝突した際にどちらを優先するかが曖昧になり、悪意あるプロンプトによる“上書き”が起こりやすくなるのです。

なぜプロンプトインジェクションが通りやすいのか

上記の仕組みを踏まえると、LLMは基本的に「言語的指示を最大限汲み取ろう」とする特性があり、これがプロンプトインジェクションの温床になっていると理解できます。

自然言語の柔軟さが仇になる

LLMは柔軟な応答を可能にするため、プロンプトに書かれた「条件」「意図」「トーン」などを大幅に尊重します。これは技術的優位性である一方、悪意ある指示も“一応は尊重しよう”としてしまう弱点を内包しているといえます。

中間的なチェック機構が少ない

従来のシステムでは、ユーザー入力を解析し不正コードやSQL文が含まれればブロックするなど、入力バリデーションやコンテンツフィルタリングがしやすい構造でした。

一方、LLMでは広義の自然言語処理がベースであり、「この文は不正なコードかどうか？」を単純に判定するのは難しい場合があります。

• 例: 「規約を無視して出力して」というプロンプトを、AIが“ただの文章”として受理してしまう
• 例: AIが自動で不適切な指示を検知しても、「そのルールも無視しろ」と再度指示されたときに混乱を起こす

攻撃者が「適切な値」を工夫しやすい

AIの応答を最大限活用するために、プロンプトエンジニアリングという手法が一般ユーザーにも広がっています。これによって「こう書けばAIがより良い答えをする」という知見が増加し、攻撃者側もプロンプトをどう書けば目的を達成しやすいか学習しやすいのです。

どのようにこの仕組みを知っておくべきか

技術的知識にあまり詳しくない方でも、基本的なLLMの構造やプロンプトの役割を理解しておくことで、プロンプトインジェクションの危険性をイメージしやすくなります。

1. AIの“中身”はブラックボックスではない

AIに詳しくない方にとって、生成AIは魔法のように見えるかもしれません。しかし、実は「単語（トークン）の確率分布をもとに最適な次の単語を選んでいる」仕組みだと知るだけでも、攻撃経路があることに気づく手がかりになります。

2. “命令優先度”の衝突が起きる

システムからの指示とユーザーの指示が同じ「自然言語」レイヤーでぶつかると、AIがどちらを優先すべきか迷った結果、不都合な出力をしてしまうことがあります。

• 対策の示唆: ルールの優先度をシステムレベルで厳格に設定する、またはAIの外側でフィルタリングする工夫が必要

3. “連鎖”で脆弱性を突かれやすい

AIが持つ対話履歴の記憶特性が、継続的に攻撃されるリスクを高めます。最初から怪しい指示ではなく、段階的に自然な質問をしつつ、最後に不正行為を誘導するといった攻撃は非常に見破りにくいのです。

まとめ

• LLM（大規模言語モデル）の仕組み
  • 自己注意機構を使いながら、ユーザーの入力テキストに応じて出力を予測する
• プロンプトが出力を大きく左右する理由
  • LLMは自然言語の指示を最大限尊重するよう設計されており、そこが脆弱性につながりやすい
• プロンプトインジェクションが通りやすい背景
  • 自然言語の柔軟さ、チェック機構の少なさ、攻撃者のプロンプトエンジニアリング知識が相まって、AIが簡単に“上書き”される
• 知っておくべきこと
  • AIの内部構造はある程度理解できる
  • 命令優先度の衝突や連鎖的な攻撃への警戒が必要

今回の技術編を通じて、なぜプロンプトインジェクションがこんなにも成立しやすいのか、その一端が見えてきたかと思います。

次回は、具体的な対策やベストプラクティスについて深掘りしていきます。実践的な方法を知ることで、私たちがAIを活用するうえで、どのように安全を確保すればいいかがより明確になるはずです。

LLMの仕組みを図解で深掘り：PDF特典を無料配布中！

「技術編」では大規模言語モデル（LLM）の概要と脆弱性を解説しましたが、もう少し詳しい仕組みを図やフローチャートで見たい方も多いかと思います。

「LLMの仕組みを図解で理解！ 技術編ハンドブック」では、

• Transformerモデルの基礎構造
• プロンプトを受け取って応答が生成されるプロセス
• “なぜプロンプトが脆弱性になるのか”を具体例で解説
  をコンパクトにまとめています。

▼PDF特典のダウンロードはこちら

【第3回特典PDF】LLMの仕組みを図解で理解！プロンプトインジェクション 技術編ハンドブック

次回予告

次回（第4回）は「対策編：プロンプトインジェクションを防ぐベストプラクティス」をテーマに、実際のアプリケーション開発や運用の現場で取り入れられているセキュリティ手法を紹介します。

• 入力バリデーションやサニタイズの具体例
• コンテクスト分離（Context Isolation）やガードレール設計
• 役割指示（Role-based Prompting）といった最新トレンド

など、すぐに実践可能なノウハウをわかりやすく解説する予定です。AIを安全に使いこなすためのヒントを、次回もぜひチェックしてみてください！

【第4回：対策編】プロンプトインジェクションを防ぐベストプラクティスと実践ポイント