#contents
----
* 概要 [#z67a5e7e]
- ChatGPTなどのChatAIをローカル実行できる
- 最新の機能/拡張なども積極的に取り込まれている
- Stable Diffusion WebUIに似せた画面構成になっている
* 特徴 [#ae88f8cc]
* 導入 [#t916e929]
** インストール [#f8b8d3c2]
- dockerリポジトリのclone
#geshi(bash){{
git clone https://github.com/oobabooga/text-generation-webui.git
}}
- インストール
実行環境のOSに対応した以下のスクリプトを実行
|OS|インストールスクリプト|h
|Linux|start_linux.sh|
|Windows|start_windows.bat|
|MacOS|start_macos.sh|
|WSL|start_wsl.bat|
- 環境設定
実行環境に合わせて選択
-- GPUの選択
実行環境に合わせたGPUを選択する.
#geshi(bash){{
What is your GPU?
A) NVIDIA
B) AMD (Linux/MacOS only. Requires ROCm SDK 5.6 on Linux)
C) Apple M Series
D) Intel Arc (IPEX)
N) None (I want to run models in CPU mode)
}}
-- CUDAの選択
CUDAのバージョンを選択する.基本はNで良い
#geshi(bash){{
Do you want to use CUDA 11.8 instead of 12.1? Only choose this option if your GPU is very old (Kepler or older).
For RTX and GTX series GPUs, say "N". If unsure, say "N".
}}
-- アクセス
インストール完了後 http://localhost:7860 にアクセスする
** 実行 [#hc7e743e]
次回実行時より以下のコマンドで実行する
#geshi(bash){{
start_windows.bat <option>
}}
- オプション
使いそうなオプション
|分類|option|概要|h
|アクセラレーション|--disk|モデルがGPUとCPUの組み合わせに対して大きすぎる場合、残りのレイヤーをディスク上に退避する|
|~|--load-in-8bit|モデルを8bit精度で読み込む&br;省メモリになるが生成精度は落ちる|
|~|--bf16|モデルを16bit精度で読み込む&br;NVIDIA Ampare GPU(RTX30世代以降)が必要&br;省メモリになるが生成精度は落ちる|
|~|--no-cache|テキスト生成中のキャッシュを無効化する&br;わずかにVRAM消費を抑えるが速度が低下する|
|~|--trust-remote-code|一部のモデルの利用に必要|
|Gradio|--listen|LAN内からWebUIにアクセスできるようにする|
|~|--listen-port <PORT>|サーバーが使用するPORT番号を指定する&br;StableDiffusionWebUIと共存させる場合はPORT番号の変更が必要|
** 環境設定 [#y0182984]
- モデルの読込
++ Hugging Faceで Text Generation を検索しインストールしたいモデルを探す
++ インストールしたいモデルのURLをコピー
++ Modelタブ-> Download model or LoRA のテキストボックス内にURLを張り付けて下のDownloadボタンを押す
++ Modelタブ-> Model で使用したいモデルを指定して Load ボタンを押す
- 参考リンク
--[[Hugging Face/Text Generation Models>https://huggingface.co/models?pipeline_tag=text-generation&sort=downloads]]
** 参照リンク [#dfab70e5]
- [[text-generation-webui>https://github.com/oobabooga/text-generation-webui]] - 本家
- [[“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」>https://internet.watch.impress.co.jp/docs/column/shimizu/1510290.html]]
