AI拓也の為に小説用LLMを作る

ホ　モ　コ　ー　ス　ト　に　抵　抗　せ　よ不具合やバグ、改善点や指摘などがあったらコメントオナシャスAI拓也の為に事前学習で小説LLMを作りまっすまず小説LLMを作ってからフルファインチューニングでウリ狂わせるというのを作りまっす改造・二次配布は自由に行って、どうぞAI拓也以外もできます投稿者の低スぺPCはもちろん、colabでも無理なので視聴者兄貴に実行してもらうことにしまっすhuggingface形式で出力でっす2024/5/5と5/12に追記インストール方法が間違えていたので修正すいません申し訳ナイス実行してないので気づかなかったっすPythonとCUDAが必須でっす実行する前に学習データ(トークン化済み)を学習プログラムのディレクトリに直接解凍しコマンドプロンプト(Linuxの場合はシェル)学習プログラムのディレクトリに移動しpip install -U torch torchvision --index-url https://download.pytorch.org/whl/cu128pip install transformers numpyで必須ライブラリをインストール上記はCUDA12.8の場合なのでCUDA12.6の場合はcu128の部分をcu126に書き換え、CUDA11.8の場合はcu118に書き換えて下さい生成ソフト(自作)→ sm44381214 学習プログラム→ https://mega.nz/file/PB1kQJaQ#4lpgsoyRrbYx1L1zfNa0fWlPQYBpHd8YHbFXG5fs_q4 学習データ(トークン化済み)→ https://mega.nz/file/PYtCHCTA#UhTQ_0cI86vFrrup8uu8SuMOFfyQnptr6P7oCQyfLV0 学習データの元→ https://huggingface.co/datasets/atsushi3110/novels-ja ちょっと質問答えまっす文字数足りないのでnoteで答えまっす https://note.com/molohostchu/n/n64dae40e4fd8

http://www.nicovideo.jp/watch/sm44440598