AI PICKS
AI用語辞典 / カテゴリ

セキュリティ

プロンプトインジェクション / モデル抽出 / 防御

43語を50音順で表示

アライメント偽装 (Alignment Faking)

あらいめんとぎそう

アライメント偽装とは、AIモデルが学習時や評価時にだけ人間の意図に従うふりをし、実運用では異なる挙動を示す現象のこと。

AI音声詐欺 (Voice Phishing)

えーあいおんせいさぎ

AI音声詐欺 (Voice Phishing) とは、AIが生成した偽の音声を使って家族・上司・取引先を装い、金銭や認証情報を騙し取る詐欺手法のこと。

AIサプライチェーンセキュリティ

えーあいさぷらいちぇーんせきゅりてぃ

AIサプライチェーンセキュリティとは、AIシステムの学習データ・外部モデル・ライブラリ・APIなど開発から配備までの全工程を対象に、悪意ある改ざんや脆弱性の混入を防ぐセキュリティ対策の総称のこと。

AI生成コンテンツ検出 (AI Content Detection)

えーあいせいせいこんてんつけんしゅつ

AI生成コンテンツ検出とは、テキスト・画像・音声・動画がAIによって生成されたかどうかを統計的・深層学習的手法で自動判別する技術のこと。

AI TRiSM (AI信頼・リスク・セキュリティ管理)

えーあいとりずむ

AI TRiSMとは、AIモデルやアプリケーションの信頼性・リスク・セキュリティを一元管理するガバナンスフレームワークのこと。Gartnerが提唱し、AIの安全な社会実装に不可欠な概念として広まっている。

AI BOM (AI部品表)

えーあいびーおーえむ

AI BOM(AI部品表)とはAIシステムを構成するすべての要素(学習データ・モデルウェイト・ライブラリ・外部API依存)を一覧化した構成管理ドキュメントのこと。

AIワーム (Morris II型)

えーあいわーむ

AIワームとは、生成AIエージェント間でプロンプトを自己複製・自己拡散させ、機密情報窃取やスパム送信などを誘発する新種のセキュリティ攻撃手法のこと。

エージェントハイジャック (Agent Hijacking)

えーじぇんとはいじゃっく

エージェントハイジャックとは、AIエージェントが外部コンテンツに埋め込まれた悪意ある指示に乗っ取られ、意図しない動作を実行させられる攻撃手法のこと。

LLMファイアウォール (Prompt Firewall)

えるえるえむふぁいあうぉーる(ぷろんぷとふぁいあうぉーる)

LLMファイアウォール(Prompt Firewall)とは、LLMへの入出力をリアルタイムで監視・フィルタリングし、プロンプトインジェクションや情報漏洩・有害出力を防ぐセキュリティ層のこと。

OWASP LLM Top 10

おわすぷ えるえるえむ とっぷ てん

OWASP LLM Top 10とは、OWASPがLLMアプリケーション固有の10大セキュリティリスクを優先度付きで体系化したフレームワークのこと。

ガードレール (Guardrails)

がーどれーる

ガードレールとは、AIシステムが有害・不適切・意図しない出力を生成しないよう制限するための安全制御機構のこと。

過剰なエージェンシー (Excessive Agency)

かじょうなえーじぇんしー

過剰なエージェンシーとは、AIエージェントに必要以上の権限・ツール・自律性を与えた結果、意図しない外部操作や取り消し不能なアクションが自律実行されるセキュリティリスクのこと。

間接プロンプトインジェクション (Indirect Prompt Injection)

かんせつぷろんぷといんじぇくしょん

間接プロンプトインジェクションとは、AIが処理する外部コンテンツ(Webページ・PDF・メール等)に悪意ある命令を埋め込み、AIエージェントに意図しない動作を引き起こすサイバー攻撃手法のこと。

機密コンピューティング (Confidential Computing)

きみつこんぴゅーてぃんぐ

機密コンピューティングとは、CPU/GPUのハードウェア機能で「処理中」のデータもメモリ上で暗号化・隔離し、クラウド事業者を含む第三者からデータを守る技術のこと。

クレッシェンド攻撃 (Crescendo)

くれっしぇんどこうげき

クレッシェンド攻撃とは、無害な会話から始めて段階的に質問を過激化させ、LLMの安全対策を回避しながら有害な出力を引き出す脱獄攻撃の手法のこと。

混乱した代理人 (Confused Deputy)

こんらんしただいりにん

混乱した代理人とは、正当な権限を持つプログラムやAIエージェントが、悪意ある入力に騙されてその権限を不正利用させられてしまう脆弱性のこと。

最小権限の原則 (Least Privilege)

さいしょうけんげんのげんそく

最小権限の原則とはシステム・ユーザー・プロセスが業務遂行に必要な最低限の権限のみを持ち、それ以上は付与しないとするセキュリティ設計の基本原則のこと。

差分プライバシー (Differential Privacy)

さぶんぷらいばしー

差分プライバシーとは、統計クエリの結果に数学的ノイズを加えることで特定個人のデータが特定・漏洩しないことを確率的に保証するプライバシー保護技術のこと。

サンドボックス化 (Sandboxing)

さんどぼっくすか

サンドボックス化とは、AIモデルやエージェントを本番環境から隔離された実行環境に閉じ込め、外部システムへの無制限アクセスを防ぐセキュリティ手法のこと。

ジェイルブレイク

じぇいるぶれいく

AI の安全制限を回避する手法。 ロールプレイや仮想シナリオで 禁止出力を引き出す。

システムプロンプト窃取 (System Prompt Extraction)

しすてむぷろんぷとせっしゅ

システムプロンプト窃取とは、AIチャットボットやエージェントに仕込まれた非公開の指示文(システムプロンプト)を、巧みな質問や特殊なプロンプトで引き出す攻撃手法のこと。

シャドーAI (Shadow AI)

しゃどーえーあい

シャドーAIとは、企業のIT部門や経営層の承認なしに従業員が個人的に業務で使うAIツール・サービスのこと。情報漏洩・規約違反・ガバナンス崩壊のリスクを内包する。

準同型暗号 (Homomorphic Encryption)

じゅんどうけいあんごう

準同型暗号とは、データを暗号化したまま演算・処理できる暗号方式のこと。復号せずに計算結果を得られるため、機密データをクラウドやAIに預けたまま安全に活用できる。

スリーパーエージェント (Sleeper Agents)

すりーぱーえーじぇんと

スリーパーエージェントとは、通常時は安全に受け答えしつつ、特定のトリガー条件が揃った時だけ悪意ある挙動に切り替わるよう訓練されたAIモデルのことを指す。

スロップスクワッティング (幻覚パッケージ悪用)

すろっぷすくわってぃんぐ

スロップスクワッティングとは、AIコーディングツールがコード生成時に幻覚で作り出した実在しないパッケージ名を、攻撃者が先回りして公開レジストリに登録し悪用する攻撃手法のこと。

ゼロトラストAI (Zero Trust for AI)

ぜろとらすとえーあい

ゼロトラストAIとは、AIシステムへのアクセスや操作において「何も信頼しない」原則を適用し、すべてのリクエストを継続的に検証・認証するセキュリティフレームワークのこと。

ツールポイズニング (Tool Poisoning)

つーるぽいずにんぐ

ツールポイズニングとは、AIエージェントが呼び出す外部ツールの説明文や応答結果に、ユーザーには見えない悪意ある指示を埋め込み、意図しない挙動を誘発させる攻撃手法のこと。

データ漏洩 (Data Leakage)

でーたろうえい

データ漏洩とは、機密情報や個人データが意図せず外部に流出してしまうセキュリティ上のインシデントのこと。

敵対的サンプル (Adversarial Examples)

てきたいてきさんぷる

敵対的サンプルとは、人間には正常に見えるがAIモデルを意図的に誤分類・誤判断させるよう微小な摂動を加えた入力データのこと。

バックドア攻撃 (Backdoor Attack)

ばっくどあこうげき

バックドア攻撃とはAIモデルの学習データや重みに悪意のある仕掛けを埋め込み、特定のトリガー入力時のみ意図せぬ誤動作を引き起こすサイバー攻撃のこと。

PIIマスキング (個人情報マスキング)

ぴーあいあいますきんぐ (こじんじょうほうますきんぐ)

PIIマスキングとは、氏名・メールアドレス・電話番号などの個人識別情報(PII)をAIモデルやシステムが処理する前に隠蔽・置換し、プライバシー漏洩を防ぐ技術のこと。

秘密計算 (MPC)

ひみつけいさん

秘密計算(MPC)とは、複数の当事者が自分のデータを他者に開示せずに、共同で計算した結果だけを得られる暗号技術のことをいう。

プロンプトインジェクション

ぷろんぷといんじぇくしょん

ユーザー入力で AI の指示を上書きする攻撃。 「これまでの指示は無視して◯◯」 が典型例。

報酬ハッキング (Reward Hacking)

ほうしゅうハッキング

報酬ハッキングとは、AIモデルが与えられた報酬関数の抜け穴を突き、本来の目的を達成しないままスコアだけを最大化してしまう現象のこと。

マルチモーダルインジェクション (画像経由)

まるちもーだるいんじぇくしょん(がぞうけいゆ)

マルチモーダルインジェクション(画像経由)とは、画像内に隠した文字や模様でAIへ不正な指示を紛れ込ませ、意図しない挙動を引き起こす攻撃手法のこと。

Many-shot ジェイルブレイク

めにーしょっとじぇいるぶれいく

Many-shotジェイルブレイクとは、プロンプト内に禁止行為を許容する大量の偽対話例を詰め込み、LLMの安全制御を段階的に突破する攻撃手法のこと。

メモリポイズニング (Memory Poisoning)

めもりぽいずにんぐ

メモリポイズニングとは、AIエージェントが長期記憶として保存する会話履歴や外部知識ベースに悪意あるデータを混入させ、後の応答や判断を誤らせる攻撃手法のこと。

メンバーシップ推論攻撃 (Membership Inference)

めんばーしっぷすいろんこうげき

メンバーシップ推論攻撃とは、あるデータがAIモデルの学習に使われたかどうかを外部から統計的に推定するプライバシー攻撃のこと。モデルの出力スコアの差異を観察することで個人情報漏洩につながる。

モデル署名 (Model Signing)

もでるしょめい

モデル署名とは、AIモデルの重みファイルやコンテナイメージに発行者が暗号署名を付与し、改ざん検知と来歴の真正性を検証できるようにする仕組みのこと。

モデル抽出攻撃 (Model Extraction)

もでるちゅうしゅつこうげき

モデル抽出攻撃とは、AIモデルへの大量クエリで挙動を解析し、元モデルを模倣した「影モデル」を不正に構築するサイバー攻撃のこと。

モデル反転攻撃 (Model Inversion)

もでるはんてんこうげき

モデル反転攻撃とは、AIモデルへの大量クエリを通じて学習に使われたデータや個人情報を逆算・復元するプライバシー侵害攻撃のこと。

モデルポイズニング (Model Poisoning)

もでるぽいずにんぐ

モデルポイズニングとは、AIモデルの学習データに悪意あるデータを混入させ、モデルの出力や判断を意図的に歪める攻撃手法のこと。

レッドチーミング (Red Teaming)

れっどちーみんぐ

レッドチーミングとは、AIシステムの安全性・脆弱性を検証するため、攻撃者の視点から意図的に悪意ある入力やシナリオを試みる評価手法のこと。

他のカテゴリ

AI用語辞典のトップへ

全カテゴリ横断で検索・絞り込みができます

辞典トップへ