ガードレールとは？AIの入出力を実行中に検査して止める仕組み｜置ける5か所と防ぎきれないこと
社内で生成AIを使う話をしていると、ベンダーの資料や設定画面に「ガードレール」という言葉が出てきます。AIエージェントの説明で見かけることもあります。
道路のガードレールの比喩だとは分かりますが、AIの場合に何がどこで止まるのかは、その言葉だけでは見えてきません。
この記事では、AI文脈のガードレールが何を指すのか、どこに置けて何を検査できるのか、そしてどこまでが限界なのかを順に整理します。
ガードレールは万能の安全装置ではありません。何ができて何ができないかを分けて持ち帰ってください！
この記事の監修者
AIリスキル株式会社 代表取締役
AIツールギャラリーを運営するAIリスキル株式会社の代表取締役。企業・自治体向けの生成AI研修とAI導入支援を手がけています。
実績: 大阪・関西万博 公式プログラム「AI HEROES COLLECTION」司会進行 / 神戸市デジタル人材育成エコシステム構築事業の運営 / MBS「せやねん!」「よんチャンTV」に生成AIの専門家として出演 / Felo日本初コアアンバサダー / Genspark第1期公式アンバサダー / Skywork公式アンバサダー / AKOOL公式パートナー など
ガードレールとは、AIの入出力を実行中に検査して止める仕組み
道路のガードレールは、車が道から外れそうになったときに進路を押し戻します。AIのガードレールも、外れそうな動きを押し戻すという意味では同じ発想です。
ただしAIの文脈では、比喩ではなく具体的な処理を指します。やり取りの途中に検査を挟み、通す・書き換える・止めるのどれかを選ぶ仕組みです。
大事なのは、これがモデルそのものへの手当てではないという点です。
NVIDIAのNeMo Guardrailsは、アプリが使うLLMを変えないまま、LLM呼び出しの前後にガードレールを足せると説明しています。設定ファイルや組み込みのガードレールで、アプリやモデルのバックエンドを書き換えずに制御のロジックを追加する作りです。
つまりガードレールは、モデルの外側に足す層です。学習をやり直す話とは別の層にあります。
ガイドラインやガバナンスとの違いは「誰が守るか」
社内ルールの文書は、人が読んで守るものです。守るかどうかは、最終的に使う人の判断に委ねられます。
ガードレールは、処理の途中で仕組みが介入します。人が気づかなくても、条件に当たれば止まります。
どちらが上位という関係ではなく、役割が違います。文書で決めた内容のうち、機械的に判定できる部分をガードレールに落とす、という関係になります。
社内ルールの文書そのものは生成AIガイドライン、誰が決めて誰が確認するかという体制はAIガバナンスで扱っています。
どこに置けるか：入力・検索結果・対話・ツール実行・出力
置ける場所は1か所ではありません。NeMo Guardrailsは、LLMとのやり取りの異なる段階で動くものとして5種類に分類しています。
入力では、ユーザーのメッセージがLLMに届く前に検査します。NVIDIAの説明では、許可・書き換え・拒否ができます。
検索結果では、ナレッジベースなどから取り出した断片を、プロンプトに入る前にフィルタしたり変換したりします。
対話では、会話の進み方そのものを扱います。次にどの手順へ進むか、応答を生成するか動作を実行するかを決めます。
ツール実行では、呼び出すツールやカスタムアクションを扱います。NVIDIAは、その入力と出力を含めて検証・制御すると説明しています。
出力では、生成された応答をユーザーへ返す前に検査します。許可・編集・ブロックができます。
これらは設定した順に走ります。1つの関門ではなく、段階ごとの関門が並んでいる構成です。
モデルを呼ばずに検査だけを走らせる構成もあります。Amazon BedrockのApplyGuardrail APIは基盤モデルから切り離されており、RAGであれば検索を実行する前にユーザーの入力を評価できるとされています。
何を検査するのか：有害表現・禁止トピック・NGワード・機微情報・出典との整合
検査の中身は製品ごとに異なります。ここではAmazon Bedrock Guardrailsが挙げているフィルタの種類を例として整理します。
有害コンテンツのフィルタは、入力プロンプトとモデル応答の両方を対象にします。カテゴリは憎悪、侮辱、性的表現、暴力、不正行為、そしてプロンプト攻撃で、カテゴリごとに強度を設定できます。
プロンプト攻撃はこの中の1カテゴリで、ジェイルブレイクやプロンプトインジェクションの検出にあたります。
禁止トピックは、避けたい話題を自分で定義するものです。Amazonは、銀行アシスタントが違法な投資助言に関する話題を避ける設計を例に挙げています。
NGワードは、単語やフレーズを完全一致で指定して検出します。競合他社名のようなカスタム語も指定できます。
機微情報のフィルタは、個人を特定できる情報や独自の正規表現を検出します。Amazonはこれを、文脈に依存する確率的な機械学習ベースの仕組みだと説明しています。ブロックとマスクを選べます。
出典との整合を見るチェックもあります。応答が出典に基づいていない場合や質問と無関係な場合を検出するもので、RAGでのブロックやフラグ付けに使う想定です。
これが狙う対象はハルシネーションです。
別系統の例として、OpenAIのModeration APIがあります。テキストと画像の有害な内容を13カテゴリで分類するもので、エンドポイントは無料だと明記されています。
なお、ブロックした内容の扱いには注意が必要です。Amazonは、モデル呼び出しのログを有効にしていると、ブロックされた内容が平文でログに現れると注記しています。
記録の残し方そのものは監査ログで扱っています。
引っかかると何が起きるか：止める・伏せる・定型文に置き換える
引っかかったときの挙動は、止めるだけではありません。
Bedrock Guardrailsの応答では、介入したかどうかが示されます。介入した場合、マスクを適用した同じ形式の内容が返るか、設定した定型メッセージが1本返ります。
OpenAIのAgents SDKでは、ガードレールが条件に当たると例外を送出して、エージェントの実行をその場で止めます。この仕組みはトリップワイヤと呼ばれています。
同SDKは、入力側のガードレールを速くて安いモデルで走らせる使い方を挙げています。賢いが遅くて高価なモデルを、本題と関係ない依頼から守る例として説明されているものです。
Microsoftの構成では、返り方が段階によって分かれます。プロンプト側が該当するとHTTP 400のエラーになり、非ストリーミングの生成側では内容を返さずに終了理由がcontent_filterになります。
ただし同社は、長い応答ではまれに部分的な結果が返ることがあるとしています。
ストリーミングの場合は、完了した分から順に返し、該当する内容を検出した時点で止まります。
利用者の画面からは、これらがエラー、途中で切れた回答、当たり障りのない定型文として見えます。
「AIが急に答えなくなった」の裏側が、この介入であることは珍しくありません！
ガードレールで防ぎきれないこと
ここが、この言葉で一番誤解されやすい部分です。
OWASPのGen AI Security Projectは、プロンプトインジェクションについて、確実な防止方法があるかは不明だとしています。理由として挙げられているのは、生成AIの根本にある確率的な性質です。
つまり、すり抜けは起こりうる前提で設計する必要があります。
しきい値を上げれば、通常の内容まで止まる
スコアとしきい値で判定する検査もあります。Amazonの出典との整合チェックでは、しきい値を0.7に設定すると、スコアが0.7未満の応答が検出されてブロックされます。
同社は、しきい値を上げるほど根拠のない内容や無関係な内容をブロックする可能性が高まり、ハルシネーションが出る確率は下がると説明しています。
ただし設定できる範囲は0から0.99までです。しきい値1は全部をブロックしてしまうため無効とされています。
この上限が、このチェックの限界をそのまま表しています。Amazonの出典との整合チェックでは、根拠のない内容を完全に止める設定と、全内容を止めずに通す設定が両立しません。
プロンプトインジェクションのようなすり抜けは、このしきい値で扱う対象ではありません。先に触れたOWASPの評価のとおり、確実な防止方法があるかは不明とされている領域です。
Microsoftの構成でも同じ形の選択が出てきます。4段階のうち安全と判定された内容は注釈が付くだけでフィルタ対象にならず、残る3段階のどこで止めるかを選ぶ作りです。
適用範囲に穴がある
そもそも検査が届かない範囲もあります。
Microsoftは、埋め込みモデルやWhisperのような音声モデルで処理されるプロンプトと生成結果には、この内容フィルタが適用されないと明記しています。
Amazonの出典との整合チェックは、要約、言い換え、質問応答を対象としており、会話型の質問応答やチャットボットの用途は対象外とされています。入力できる文字数にも上限があります。
ストリーミングでは順序の問題も起きます。同社は、無関係な応答がユーザーに返り、全部を流し終えてから無関係と判定される場合があると注記しています。
NGワードが完全一致である点も、表記を少し変えられれば通ってしまうことを意味します。
障害時にはフィルタ無しで通る
見落とされやすいのが、ガードレール自体が動かなかった場合です。
Microsoftは、内容フィルタのシステムが停止している場合や時間内に処理を完了できない場合、リクエストはフィルタ無しのまま完了すると記載しています。
同社のベストプラクティスには、フィルタが実行されたかどうかを応答の中で確認することが挙げられています。動いた前提で運用しない、という注意です。
判定結果の扱い方についても指針があります。OpenAIはモデレーションの結果を、アプリの方針を実行するための材料として使うよう案内しており、スコアを自動ブロックの判断そのものにしないよう促しています。
攻撃側の具体的な手口はプロンプトインジェクションとはで扱っています。
だからガードレールだけに頼らない
OWASPが挙げるプロンプトインジェクションの対策は7項目あり、入力と出力のフィルタはそのうちの1つです。
並んでいる残りの項目に、ガードレールの位置づけが表れています。
権限の最小化は、AIに渡す権限を必要最小限に絞ることです。すり抜けが起きても、できることが少なければ被害も小さくなります。
人の承認は、リスクの高い操作の前に人の確認を挟むことです。OWASPはこれを、フィルタとは別の項目として挙げています。
外部コンテンツの分離は、外から来た内容をそれと分かる形で扱うことです。敵対的テストは、攻撃を模したテストを自分で実施することを指します。
Anthropicは、これらを具体的な作り方まで落としています。信頼できない内容はツール結果として渡す、出所を明示する、JSONで包んで区切りを曖昧にしない、といった項目です。
ツールが返した内容を軽量なモデルで検査してから渡す、サンドボックスで実行して権限を狭くする、公開前に注入入りの文書でテストする、といった項目も挙げられています。
同社はこれらを層として重ねることで堅牢な防御になると説明しており、対策の章の見出し自体が安全策を連鎖させるという構成になっています。
なお、会社が把握していない経路で使われているAIには、そもそもガードレールを置けません。
把握されていない利用についてはシャドーAI、生成AI全般のリスクの並びは生成AIの7大セキュリティリスクで扱っています。
自社で検討するときに決めること
ここで挙げるのは、決める項目の並びです。どの設定が正しいかは、扱う情報と用途によって変わります。
1つめは、どこに置くかです。入力だけを見るのか、出力も見るのか、ツールの実行まで見るのかで、必要な作り込みが変わります。
2つめは、何を検査するかです。禁止トピック、機微情報、出典との整合のうち、自社の困りごとに対応するのはどれかを先に絞ります。
外部に出せない情報の混入が心配なら機微情報、根拠のない回答が心配なら出典との整合、というように、心配ごとと検査項目を結び付けて考えます。
3つめは、引っかかったとき何を返し、誰が見るかです。定型文の文面、記録の残し方、後から再現して確認する手順までを決めておきます。
構成の選択肢としては、クラウド側が用意する機能をそのまま使う形と、検査を自分で組む形の両方があります。どちらが向いているかは、扱う情報の機微さと、社内で運用を続けられるかで判断することになります。
よくある質問
ガードレールを入れれば情報漏えいは防げますか
対策の一部にはなりますが、それだけで防げるとは言えません。
Amazonは機微情報のフィルタを、文脈に依存する確率的な機械学習ベースの仕組みだと説明しています。Microsoftは、埋め込みモデルや音声モデルには内容フィルタが適用されないと明記しています。
検査が届く範囲と、判定の確実さの両方に条件が付きます。権限の絞り込みや記録と組み合わせる前提で考えてください。
社内ガイドラインがあればガードレールは不要ですか
役割が違うため、どちらかで置き換えられるものではありません。
文書は人が読んで守るもので、ガードレールは処理の途中で仕組みが介入するものです。OWASPの対策一覧でも、入出力のフィルタと人の承認は別々の項目として並んでいます。
厳しく設定するほど安全になりますか
厳しくするほど見逃しは減りますが、通常の利用まで止まる側に振れます。
Amazonは、出典との整合チェックのしきい値について、上げるほどブロックの可能性が高まると説明する一方で、設定範囲を0から0.99までとしています。しきい値1は全部をブロックしてしまうため無効です。
止まりすぎる状態が続けば、利用者は検査の無い経路を探し始めます。厳しさは、使われ続けるかどうかと合わせて調整する項目です。
まとめ
AI文脈のガードレールとは、やり取りの実行中に入力や出力を検査して、通す・書き換える・止めるを決める仕組みです。モデルを作り直すのではなく、モデルの外側に足す層にあたります。
置ける場所は1か所ではありません。NVIDIAのNeMo Guardrailsは、入力、検索結果、対話、ツール実行、出力の5段階に分類しています。
検査の中身の例としては、Amazon Bedrock Guardrailsが有害コンテンツ、禁止トピック、NGワード、機微情報、出典との整合、論理ルールへの適合を挙げています。いずれも特定製品のフィルタ種別であり、業界の標準構成として示されたものではありません。
限界も公式ドキュメントに明記されています。Amazonの出典との整合チェックでは、しきい値を上げるほどブロックの可能性は高まる一方、全部をブロックするしきい値1は無効とされています。
Microsoftは、埋め込みモデルや音声モデルが内容フィルタの対象外であること、フィルタが時間内に完了できない場合はフィルタ無しでリクエストが完了することを記載しています。
OWASPはプロンプトインジェクションについて、確実な防止方法があるかは不明だとしています。すり抜けは起こりうるという前提で、権限の最小化、重要操作での人の承認、敵対的テストと重ねて使う仕組みだと考えるのが実態に合います。
社内のAI利用でどこに検査を置くかから相談したい場合はお問い合わせはこちらからご相談ください。
この記事の出典
- Guardrails Process（NVIDIA NeMo Guardrails、2026-09-12確認）
- Create your guardrail（Amazon Bedrock、2026-09-12確認）
- Use contextual grounding check to filter hallucinations in responses（Amazon Bedrock、2026-09-12確認）
- Use the ApplyGuardrail API in your application（Amazon Bedrock、2026-09-12確認）
- Content filtering for Microsoft Foundry Models（Microsoft Learn、2026-09-12確認）
- LLM01:2025 Prompt Injection（OWASP Gen AI Security Project、2026-09-12確認）
- Guardrails（OpenAI Agents SDK、2026-09-12確認）
- Moderation（OpenAI、2026-09-12確認）
- Mitigate jailbreaks and prompt injections（Claude Docs、2026-09-12確認）
この記事は役に立ちましたか？
感想は、今後の記事改善に活用します。
関連記事
Agentic RAGとは？AIエージェントにRAGをやらせる仕組み｜通常のRAGとの違いと精度の条件
Agentic RAGとは、IBM Thinkの説明によると、AIエージェントを使ってRAGを行う仕組みです。検索の要否・回数をAIが判断する具体的な例はLangGraphの実装に、通常RAGとの違いや精度向上の条件はNVIDIAの技術ブログに基づいて整理し、複数のエージェントに役割を分けるIBM Community Blogの構成例との違いも扱います。
Agent Skillsとは？プロンプト・ワークフローとの違いは「どこまで自動で読み込むか」
Agent Skillsは、AIエージェントに専門知識を持たせる再利用可能な資源です。プロンプトは会話ごとの一回限りの指示、ワークフローは手順そのものを固定する設計で、Agent Skillsはどちらとも軸が異なります。MCPとの補完関係もあわせて公式ドキュメントの記述から整理します。
構造化出力とは？ツール呼び出しとの違いは「答えを返すか、処理を呼ぶか」｜必ず指定形式で返るとは限らない理由
構造化出力は、あらかじめ決めた形（スキーマ）に沿ってAIの答えを返させる仕組みです。ツール呼び出しとは目的が違い、指定した形式で必ず返ってくるかどうかも、使う製品やモデルによって条件が変わります。公式ドキュメントの記述から整理します。
ナレッジグラフとは？ベクトルDBとの違いは「近さで探すか」「関係をたどるか」｜GraphRAGの前提知識
Google・Neo4jの説明によれば、ナレッジグラフはものごとと関係を明示的なデータとして持つ仕組みです。近さで探すベクトルDBとは軸が異なり、Microsoft ResearchのGraphRAG研究ではこの構造を検索の土台に使います。各社の公開資料をもとに、違いと限界を整理します。
次のAIツール選びへ
気になるツールを並べて、料金や特徴の違いを確認できます。