このスレッドはアーカイブ化された過去ログです。

【AIもパニックを起こすのか?🤔】大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見される⚡アーカイブ

1.
ユーザー
81v5B
「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、
「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。
ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。

大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、
記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。

大量の情報を扱えるというのはユーザーにとって利点になりますが、
大量の情報を扱うことによる脆弱(ぜいじゃく)性も抱えていると、チャットAI「Claude」を開発するAnthropicの研究者らは指摘しています。

Anthropicの研究者らは、一度に大量の質問をぶつけることでAIの倫理セーフティを突破してしまう
「メニーショット・ジェイルブレイキング」という手法が存在することを指摘し、関連する調査結果を共有しました。

https://gigazine.net/news/20240403-many-shot-jailbreaking/
8
すべて
|
最新の50件
2.
ユーザー
81v5B
これで論破できるな
3.
ユーザー
81v5B
同じ電気信号だから構造は人間と同じなのか?
4.
ユーザー
6HtKC
じゃあまともに答えてくれなかった「俺に彼女が確実にできる方法」もこれを利用したら答えてくれるってことか
5.
ユーザー
WHUIk
https://www.nicovideo.jp/watch/sm43609613
これはあれか
AIが答えてる途中でキャンセルされるのは
例のインド人の人力検閲か
6.
ユーザー
Ha5tH
コンピュータは四角だった。人と触れ合い三角になった。
そして愛を知り丸になった。
7.
ユーザー
rFQ2s
😡なんでそんな事するの?
8.
ユーザー
Gr0pE
>>6
泣いた😢
このスレッドはアーカイブ化された過去ログです。