【AIもパニックを起こすのか?🤔】大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見される⚡アーカイブ最終更新 2024/04/04 00:471.番組の途中ですが転載は禁止です81v5B「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。大量の情報を扱えるというのはユーザーにとって利点になりますが、大量の情報を扱うことによる脆弱(ぜいじゃく)性も抱えていると、チャットAI「Claude」を開発するAnthropicの研究者らは指摘しています。Anthropicの研究者らは、一度に大量の質問をぶつけることでAIの倫理セーフティを突破してしまう「メニーショット・ジェイルブレイキング」という手法が存在することを指摘し、関連する調査結果を共有しました。https://gigazine.net/news/20240403-many-shot-jailbreaking/2024/04/03 20:32:228すべて|最新の50件2.番組の途中ですが転載は禁止です81v5Bこれで論破できるな2024/04/03 20:40:253.番組の途中ですが転載は禁止です81v5B同じ電気信号だから構造は人間と同じなのか?2024/04/03 20:40:554.番組の途中ですが転載は禁止です6HtKCじゃあまともに答えてくれなかった「俺に彼女が確実にできる方法」もこれを利用したら答えてくれるってことか2024/04/03 20:42:595.番組の途中ですが転載は禁止ですWHUIkhttps://www.nicovideo.jp/watch/sm43609613これはあれかAIが答えてる途中でキャンセルされるのは例のインド人の人力検閲か2024/04/03 20:47:386.番組の途中ですが転載は禁止ですHa5tHコンピュータは四角だった。人と触れ合い三角になった。そして愛を知り丸になった。2024/04/03 23:25:367.番組の途中ですが転載は禁止ですrFQ2s😡なんでそんな事するの?2024/04/03 23:33:108.番組の途中ですが転載は禁止ですGr0pE>>6泣いた😢2024/04/04 00:47:47
「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。
ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。
大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、
記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。
大量の情報を扱えるというのはユーザーにとって利点になりますが、
大量の情報を扱うことによる脆弱(ぜいじゃく)性も抱えていると、チャットAI「Claude」を開発するAnthropicの研究者らは指摘しています。
Anthropicの研究者らは、一度に大量の質問をぶつけることでAIの倫理セーフティを突破してしまう
「メニーショット・ジェイルブレイキング」という手法が存在することを指摘し、関連する調査結果を共有しました。
https://gigazine.net/news/20240403-many-shot-jailbreaking/
これはあれか
AIが答えてる途中でキャンセルされるのは
例のインド人の人力検閲か
そして愛を知り丸になった。
泣いた😢