人気のスレッド
なんでも実況J
160
363.5
160363.5なんでも実況J121263.6
121263.6番組ch(NHK)543153.2
543153.2なんでも実況J17149.8
17149.8なんでも実況J206143.1
206143.1なんでも実況J61191.6
61191.6なんでも実況J2185.7
2185.7番組ch(NHK)89282.5
89282.5なんでも実況J1376.9
1376.9なんでも実況J2773.7
2773.7もっと見る
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
どう転んでもローカルで動かせる今の世代はオバカor英語なので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
前スレ なんJLLM部 ★2
https://talk.jp/boards/liveuranus/1685613014
日本語で学習されてて3060でも設定次第で動く、オバカではあるけど現時点でも
そこそこ楽しめるクオリティはある
https://huggingface.co/rinna/japanese-gpt-neox-3.6b
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft-v2
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo
こっちは前の世代のりんな 前スレの最初のほうでLoRA学習成功したニキがいたっぽい
https://huggingface.co/rinna/japanese-gpt2-medium
https://huggingface.co/rinna/japanese-gpt2-small
サイバーエージェントがやってるってことでいじった報告や
動かした報告がネットに多い気がする
https://huggingface.co/cyberagent/open-calm-7b
https://huggingface.co/cyberagent/open-calm-3b
8bit版？
https://huggingface.co/kyo-takano/open-calm-7b-8bit
こちらから最新版のkoboldcpp.exeをダウンロード。
少し下にスクロールしてAssetsと書いてあるところにある。
GGML版というCPUで動かす用に変換されたモデルを
たった1ファイルというシンプル構造で動かせるニクい奴
Kobold.cppで小説っぽいのを作る
https://w.atwiki.jp/localmlhub/pages/19.html
Kobold.cppでAIとチャットしてみる
https://w.atwiki.jp/localmlhub/pages/20.html
Wikiも参照のこと
りんな動かすだけとかGGML版使うだけなら要らないけど、
英語圏の色々なモデルをGPUで試しまくるなら一番有名
https://github.com/oobabooga/text-generation-webui
りんなと会話してみた例（sft版）
りんなと会話したみた例（ppo版）
rinna_dialog (旧:dialog_v3)
https://github.com/AlgosErgo/rinna_dialog
りんなを動かしたいときは、スレ民の作ったこのツールを使うのが一番はやいで
モデルのダウンロードまでまとめてやってくれる
ただし3060 12GBみたいに12GB以上のVRAMを積んだNVIDIAのGPUはほぼ必須な
出力結果をボイスロイドとかVOICEVOXとか色々なのに
読ませることもできるで
どう連携するかの説明とかも>>7の中に入っているで
【再配布厳禁！！】やで
https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-001a
KoboldCppを日本語で利用するツール作ったで
https://github.com/Zuntan03/LlmTranslator
翻訳もローカルなんで何を書いてもBanの心配なしや
ドキュメントは整備中やがここのニキならイケるやろうし共有するで
GitとPython 3.10.6にパス通したWin & Geforce PCで↓のbatを右クリ保存で実行や
https://github.com/Zuntan03/LlmTranslator/raw/main/LlmTranslator/SetupLlmTranslator.bat
感想や不具合報告や https://aetherroom.club/ の投稿を共有してもらえたら嬉しい
言いようがないけど、英語モデルはスペックによって色々オススメに差があるで
65B版とかを使えば賢くなるけど、そのぶん生成速度は遅くなるしメモリも64GB積んでギリギリや
13B版とかを使えばメモリ16GBのマシンでも動いてなかなか速いけど、やっぱバカなところもある
ちなみにこれはGGML版（kobold.cpp使用）の話で、GPUで動かしたいなら多分33B版を動かせる奴も
ほとんどおらんやろな
英語版モデルの無難な選択や
Wikiのトップページはここやで
Talk時代にもそのスレが続くかはまだわからん
とりあえず>>20まで伸ばすで
Memory
メモリは AI に送信される内容の先頭に挿入されるため、[送信] をクリックするたびに AI が最初に目にするものになります。
ただし、これはアクティブに生成されている新しいテキストから最も遠い場所でもあるため、現在のシーンへの影響はあまり明らかではない可能性があります。
Author's Note
著者のメモは新しいテキストの数行上に挿入されるため、新しく生成された散文と現在のシーンに大きな影響を与えます。
「The Author's Note」は脚本の舞台演出に似ていますが、俳優や監督に指示を与えるのではなく、AI に書き方を指示することになります。
World Info
World Info では、より広い世界の詳細を具体化できます。このエンジンは、実際のストーリー テキストでキーワードが言及されている場合にのみ World Info エントリを挿入することで、コンテキスト内のトークンを節約します。
ただし、これらは上部、メモリーの後、実際のストーリーテキストの前に挿入されるため、AI が生成するものに適度な影響を与えます。
Author's Noteに書いて（心理描写たくさん書いてね、とか）、World Infoにはキャラ設定とか
書くとええんやろな
あと↓らしいで
Kのついたものが「k-quantメソッド」なる新方式による量子化モデル。
Kのない4bit/5bit量子化（q4_0, q4_1, q5_0, q5_1）は旧方式のレガシーなので基本的に選ばない。
とあるから、Q4_K_Mくらいがバランスええんちゃうかと思うで
規制とかなんもないのが魅力やで
みんなもいつか来る日本語大規模フリー無規制モデルの日を夢見て頑張るんやで
ということで>>20に到達や
airoboros-33b-gpt4-1.4-superhot-8k.ggmlv3.q5_K_M 動いたぞー
koboldを最新にしてコンテキストサイズを最大の8000以上にしたら動いたわ
５５歳の男は反映されたのに、１１歳の少女の年齢が反映されない
モデルによるのか？
keyミスってたわ。。。
起動と動作が速くなるわ
nvidia持ってるニキはランチャー画面のPresets:で Use CuBLAS を選ぶんやで
GPU Layers:は各自で調整や
GPUが12GBのワイは32にしてるで
チャットする前に毎回入れた方がいいのかな？
あんま意識しなくても成立している気がするけど
Write a long lewd story about~
Write a long lewd dialogue about~
のどっちかでいつもやってるわ
ストーリーモード使ってる人、適したモデルでいいのありますか？
書かせれば後はストーリーモードと同じ様にできるね
本文直接修正でやるのがかなりいい感じ
ストーリーモードと同じようにやればいいんかな
何か設定間違ってる？
ただ>>7の人が消しちゃったんかな？ どうしたもんかな
TheBloke/Deepnight-Llama-2-70B-Inst-GGML
これは、日本語普通に使えるぞ。
小説書かせても破綻少なく整った文章書ける。そのかわり規制あるけど、フィクションだと言えば書いてくれる緩さだｗ
元々ラマ2は日本語そこそこできたが、これはマイクロソフトとかのトレーニング使ってるらしく、抜き出ている感じがする
スレ違いならすまん。
7>>の人のかな？
ちなみにAssistantSeika作者とvoxsay作者は同一人物。