投稿者「krote」のアーカイブ

続・画像生成AIを触ってみた

Docker Composeが途中で止まってしまった原因は不明だが、まずは動かしてみたいというところでDevContainer使ってVSCode上のターミナルから試行錯誤してみようとと。

参考はこちら
Stable Diffusionをローカルマシンで実行する(VSCodeとDevcontainerを使用)
https://zenn.dev/hayatok/articles/6141a9a46e4f48

DevContainer準備

VSCodeで適当なフォルダを開き、Dockerfileを作成します

FROM nvcr.io/nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04

ARG DEBIAN_FRONTEND=noninteractive
ENV TZ=Asia/Tokyo

RUN apt-get update && apt-get install -y wget git git-lfs libglib2.0-0 libsm6 libxrender1 libxext-dev

RUN wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && \
    sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3 && \
    rm -r Miniconda3-latest-Linux-x86_64.sh

ENV PATH /opt/miniconda3/bin:$PATH

RUN git clone https://github.com/CompVis/stable-diffusion && \
    cd stable-diffusion && \
    conda init bash && \
    conda env create -f environment.yaml && \
    echo "conda activate ldm" >> ~/.bashrc

VSCode のコマンドパレットから「Remote-Containers: Add Development Container Configuration Files…」を選択し、作成したDockerfileを指定します。

devcontainer.jsonが作成されるので、編集します

// For format details, see https://aka.ms/devcontainer.json. For config options, see the README at:
// https://github.com/microsoft/vscode-dev-containers/tree/v0.245.0/containers/docker-existing-dockerfile
{
	"name": "Existing Dockerfile",

	// Sets the run context to one level up instead of the .devcontainer folder.
	"context": "..",

	// Update the 'dockerFile' property if you aren't using the standard 'Dockerfile' filename.
	"dockerFile": "../Dockerfile",

	// 追記ここから。GPU利用可のコンテナ起動オプション
	"runArgs":[
		"--gpus",
		"all"
	],
	// 追記ここまで。
	"customizations": {
		"vscode": {
			"extensions": [
				"ms-python.python"
			]
		}
	}

	// Use 'forwardPorts' to make a list of ports inside the container available locally.
	// "forwardPorts": [],

	// Uncomment the next line to run commands after the container is created - for example installing curl.
	// "postCreateCommand": "apt-get update && apt-get install -y curl",

	// Uncomment when using a ptrace-based debugger like C++, Go, and Rust
	// "runArgs": [ "--cap-add=SYS_PTRACE", "--security-opt", "seccomp=unconfined" ],

	// Uncomment to use the Docker CLI from inside the container. See https://aka.ms/vscode-remote/samples/docker-from-docker.
	// "mounts": [ "source=/var/run/docker.sock,target=/var/run/docker.sock,type=bind" ],

	// Uncomment to connect as a non-root user if you've added one. See https://aka.ms/vscode-remote/containers/non-root.
	// "remoteUser": "vscode"
}

コマンドパレットから「Remote-Containers: Rebuild and Reopen in Container」を選択することで、コンテナ内でVSCodeが起動する形となります。
VSCode の左下がこの状態ですね

Modelの配置

前回取得した Hugging Face のモデルを、Stable Diffusionがモデルのデフォルトパスとして指定している”models/ldm/stable-diffusion-v1/model.ckpt”に配備します。
このあたりは、”txt2image.py”を読んでいくとなんのパラメータ指定が出来るのかがわ借ります。
別のパスを指定する場合は —ckpt オプションで指定可能となっています

実行!

参考にさせていただいたページに従って、test.pyを用意し、実行します

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/stable-diffusion# python test.py
Traceback (most recent call last):
  File "test.py", line 6, in <module>
    pipe = StableDiffusionPipeline.from_pretrained(
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/pipeline_utils.py", line 154, in from_pretrained
    cached_folder = snapshot_download(
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/utils/_deprecation.py", line 93, in inner_f
    return f(*args, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/_snapshot_download.py", line 168, in snapshot_download
    repo_info = _api.repo_info(
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 1454, in repo_info
    return self.model_info(
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 1276, in model_info
    _raise_for_status(r)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/utils/_errors.py", line 169, in _raise_for_status
    raise e
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/huggingface_hub/utils/_errors.py", line 131, in _raise_for_status
    response.raise_for_status()
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/requests/models.py", line 1021, in raise_for_status
    raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 403 Client Error: Forbidden for url: https://huggingface.co/api/models/CompVis/stable-diffusion-v1-4/revision/fp16 (Request ID: PQ6M8N2Lators-j6XdN6V)

Access to model CompVis/stable-diffusion-v1-4 is restricted and you are not in the authorized list. Visit https://huggingface.co/CompVis/stable-diffusion-v1-4 to ask for access.
(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/stable-diffusion# python test.py
Downloading: 100%|████████████████████████████████████████████████████| 1.34k/1.34k [00:00<00:00, 1.13MB/s]
Downloading: 100%|████████████████████████████████████████████████████| 12.5k/12.5k [00:00<00:00, 11.2MB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 342/342 [00:00<00:00, 337kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 543/543 [00:00<00:00, 557kB/s]
Downloading: 100%|████████████████████████████████████████████████████| 4.63k/4.63k [00:00<00:00, 4.02MB/s]
Downloading: 100%|██████████████████████████████████████████████████████| 608M/608M [00:20<00:00, 29.6MB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 209/209 [00:00<00:00, 208kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 209/209 [00:00<00:00, 185kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 572/572 [00:00<00:00, 545kB/s]
Downloading: 100%|██████████████████████████████████████████████████████| 246M/246M [00:08<00:00, 29.6MB/s]
Downloading: 100%|███████████████████████████████████████████████████████| 525k/525k [00:00<00:00, 583kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 472/472 [00:00<00:00, 476kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 788/788 [00:00<00:00, 864kB/s]
Downloading: 100%|█████████████████████████████████████████████████████| 1.06M/1.06M [00:01<00:00, 936kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 772/772 [00:00<00:00, 780kB/s]
Downloading: 100%|████████████████████████████████████████████████████| 1.72G/1.72G [00:54<00:00, 31.7MB/s]
Downloading: 100%|█████████████████████████████████████████████████████| 71.2k/71.2k [00:00<00:00, 188kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████| 550/550 [00:00<00:00, 532kB/s]
Downloading: 100%|██████████████████████████████████████████████████████| 167M/167M [00:05<00:00, 28.5MB/s]
0it [00:01, ?it/s]
Traceback (most recent call last):
  File "test.py", line 15, in <module>
    image = pipe(prompt)["sample"][0]  
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context
    return func(*args, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/pipelines/stable_diffusion/pipeline_stable_diffusion.py", line 137, in __call__
    noise_pred = self.unet(latent_model_input, t, encoder_hidden_states=text_embeddings)["sample"]
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1110, in _call_impl
    return forward_call(*input, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/models/unet_2d_condition.py", line 150, in forward
    sample, res_samples = downsample_block(
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1110, in _call_impl
    return forward_call(*input, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/models/unet_blocks.py", line 505, in forward
    hidden_states = attn(hidden_states, context=encoder_hidden_states)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1110, in _call_impl
    return forward_call(*input, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/models/attention.py", line 168, in forward
    x = block(x, context=context)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1110, in _call_impl
    return forward_call(*input, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/models/attention.py", line 196, in forward
    x = self.attn1(self.norm1(x)) + x
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1110, in _call_impl
    return forward_call(*input, **kwargs)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/diffusers/models/attention.py", line 245, in forward
    sim = torch.einsum("b i d, b j d -> b i j", q, k) * self.scale
RuntimeError: CUDA out of memory. Tried to allocate 512.00 MiB (GPU 0; 4.00 GiB total capacity; 3.13 GiB already allocated; 0 bytes free; 3.13 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

エラーになってしまった。要するにメモリが足りないんだと。
そこでメモリの状態を調べるコマンドを打ってみる

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/stable-diffusion# nvidia-smi
Tue Sep  6 14:52:34 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01    Driver Version: 516.94       CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  On   | 00000000:01:00.0 Off |                  N/A |
| N/A   56C    P3    13W /  N/A |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

むぅ。そもそもいくつあればOKなのかがいまいちわからん。
エラーメッセージに出てきた「PYTORCH_CUDA_ALLOC_CONF」あたりを見ていくと何とかパラメータ指定でうまく行けないかな?という気もするけど、多くの人がStable Diffusionをそのまま使うのではなく、メモリ消費を抑えたバージョンを使っているという事を見聞きしているので、そちらを使うことにする

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2# mkdir basujindal
(ldm) root@21feb17171f4:/workspaces/StableDiffusion2# ls
Dockerfile  basujindal  stable-diffusion
(ldm) root@21feb17171f4:/workspaces/StableDiffusion2# cd basujindal/
(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal# git clone https://github.com/basujindal/stable-diffusion.git

適当なフォルダを作って、リポジトリからclone

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal# cd stable-diffusion/
(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# python optimizedSD/optimized_txt2img.py --prompt "a photograph of an astronaut riding a horse" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50
Global seed set to 27
Loading model from models/ldm/stable-diffusion-v1/model.ckpt
Traceback (most recent call last):
  File "optimizedSD/optimized_txt2img.py", line 184, in <module>
    sd = load_model_from_config(f"{ckpt}")
  File "optimizedSD/optimized_txt2img.py", line 29, in load_model_from_config
    pl_sd = torch.load(ckpt, map_location="cpu")
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/serialization.py", line 699, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/serialization.py", line 231, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/site-packages/torch/serialization.py", line 212, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: 'models/ldm/stable-diffusion-v1/model.ckpt'

おっと、モデルを新たに置き直さないと行けない。
サクッとコピーして、再度実行する

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# python optimizedSD/optimized_txt2img.py --prompt "a photograph of an astronaut riding a horse" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50
Global seed set to 27
Loading model from models/ldm/stable-diffusion-v1/model.ckpt
Global Step: 470000
Traceback (most recent call last):
  File "optimizedSD/optimized_txt2img.py", line 204, in <module>
    model = instantiate_from_config(config.modelUNet)
  File "/stable-diffusion/ldm/util.py", line 85, in instantiate_from_config
    return get_obj_from_str(config["target"])(**config.get("params", dict()))
  File "/stable-diffusion/ldm/util.py", line 93, in get_obj_from_str
    return getattr(importlib.import_module(module, package=None), cls)
  File "/opt/miniconda3/envs/ldm/lib/python3.8/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 961, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 973, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'optimizedSD'

あれ、何だ?optimizedSDがない?

調べてみると、新しくディレクトリ作って作業しているので、PythonのEnvを作り直す必要があるそうだ

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# conda deactivate       
(base) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# conda remove -n ldm --all
(base) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# conda env create -f environment.yaml 
(base) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# conda activate ldm

よし、気を取り直して実行だ

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# python optimizedSD/optimized_txt2img.py --prompt "a photograph of an astronaut riding a horse" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50
Global seed set to 27
Loading model from models/ldm/stable-diffusion-v1/model.ckpt
Global Step: 470000
UNet: Running in eps-prediction mode
CondStage: Running in eps-prediction mode
Downloading: "https://github.com/DagnyT/hardnet/raw/master/pretrained/train_liberty_with_aug/checkpoint_liberty_with_aug.pth" to /root/.cache/torch/hub/checkpoints/checkpoint_liberty_with_aug.pth
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5.10M/5.10M [00:00<00:00, 21.2MB/s]
Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 939k/939k [00:01<00:00, 854kB/s]
Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 512k/512k [00:00<00:00, 567kB/s]
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 389/389 [00:00<00:00, 366kB/s]
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 905/905 [00:00<00:00, 804kB/s]
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.31k/4.31k [00:00<00:00, 3.92MB/s]
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.59G/1.59G [00:59<00:00, 28.5MB/s]
Killed

いきなり殺された。。。

stable_diffusion.openvino を WSL2 で実行したけど”Killed” されちゃった人へ
https://zenn.dev/suzuki5080/articles/1438d52377b9df

調べてみると、これも結局はメモリが不足しているために発生しているという可能性が高い。
そして、WSL2に対する割当メモリを変えることで、この問題は解消する可能性が!

[wsl2]
memory=12GB

.wslconfigファイルを配備して、再起動。
そして再チャレンジ

(ldm) root@21feb17171f4:/workspaces/StableDiffusion2/basujindal/stable-diffusion# python optimizedSD/optimized_txt2img.py --prompt "a photograph of an astronaut riding a horse" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50
Global seed set to 27
Loading model from models/ldm/stable-diffusion-v1/model.ckpt
Global Step: 470000
UNet: Running in eps-prediction mode
CondStage: Running in eps-prediction mode
FirstStage: Running in eps-prediction mode
making attention of type 'vanilla' with 512 in_channels
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla' with 512 in_channels
Sampling:   0%|                                                                                                                             | 0/2 [00:00<?, ?it/sseeds used =  [27, 28, 29, 30, 31, 32, 33, 34, 35, 36]                                                                                       | 0/1 [00:00<?, ?it/s]
Data shape for PLMS sampling is [10, 4, 64, 64]
Running PLMS Sampling with 50 timesteps
PLMS Sampler: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [06:46<00:00,  8.13s/it]
torch.Size([10, 4, 64, 64])
saving images 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [06:46<00:00,  8.38s/it]
memory_final =  7.72352
data: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [07:04<00:00, 424.21s/it]
Sampling:  50%|██████████████████████████████████████████████████████████                                                          | 1/2 [07:04<07:04, 424.21s/itseeds used =  [37, 38, 39, 40, 41, 42, 43, 44, 45, 46]                                                                                       | 0/1 [00:00<?, ?it/s]
Data shape for PLMS sampling is [10, 4, 64, 64]
Running PLMS Sampling with 50 timesteps
PLMS Sampler: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [07:19<00:00,  8.79s/it]
torch.Size([10, 4, 64, 64])
saving images 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [07:19<00:00,  8.62s/it]
memory_final =  6.833664
data: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [07:27<00:00, 447.21s/it]
Sampling: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [14:31<00:00, 435.71s/it]
Samples finished in 15.12 minutes and exported to outputs/txt2img-samples/a_photograph_of_an_astronaut_riding_a_horse
 Seeds used = 27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46

できた!できたよ、ママン!

ようやく、なんとかStable Diffusionを動かすことが出来る環境を作ることができました。
Pythonに関する知識不足もさることながら、メモリ周りで苦労しますね。

せっかく環境を作ることができたので、もう少し触って遊んでみようと思っています

画像生成AIを触ってみた(未完)

少し前から結構色々な、画像生成AIが話題になっている。
LINEでテキストメッセージを送ると画像を返してくれるような、簡単に使えるようなものを作ってくれる人もいて、早速フレンドになったはいいものの、すぐに制限に引っかかってしまい、面白くない。

というわけで、公開されている内容なので自前で用意してみようと考えた

Stable Diffusion

公開されている画像生成AIで、一番メジャーそうなのはこの「Stable Diffusion」のようなので、まずはそちらを使ってみることにした。
使うにはNVIDIAのボードを積んでいる必要があるようだ。ちなみに私のラップトップのスペックはこんな感じだ

CPU:AMD Ryzen 9 5900HS with Radeon Graphics 3.30 GHz
Memory:16G
GPU0:NVIDIA GeForce RTX 3050 Ti Laptop GPU
GPU1:AMD Radeon(TM) Graphics

前準備

Docker Desktopは入っているものとします。
また、NVIDIAのCUDA Toolkitを入れる必要があるそうです
https://developer.nvidia.com/cuda-downloads

Hugging Faceから学習済みモデルを取得

Hugging Faceという、学習済みのモデルやデータセットなどを公開してくれているサイトがあるので、そちらで公開されているStable Diffusion用のモデルを使用します

HuggingFace
https://huggingface.co/


右上の「Sign Up」からアカウントを作成します。
必要事項を入力し、最終的にメールによるアクティベートを行った後に、モデルの利用申請を行います

公開されているモデルはいくつかありますが、今回は一番新しいv1-4を使いますので、こちらのページに行きます

CompVis/stable-diffusion-v1-4
https://huggingface.co/CompVis/stable-diffusion-v1-4

ライセンス条項を確認して、チェックを行い、リポジトリへのアクセス許可を得ます。

その後、ローカルにて下記コマンドでモデルをダウンロードします

>git clone https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
Cloning into 'stable-diffusion-v-1-4-original'...
remote: Enumerating objects: 54, done.
remote: Counting objects: 100% (54/54), done.
remote: Compressing objects: 100% (53/53), done.
remote: Total 54 (delta 22), reused 0 (delta 0), pack-reused 0
Unpacking objects: 100% (54/54), 71.74 KiB | 282.00 KiB/s, done.
Updating files: 100% (5/5), done.
Filtering content: 100% (2/2), 7.14 GiB | 14.32 MiB/s, done.

>dir
stable-diffusion-v-1-4-original のディレクトリ

2022/09/04  22:31    <DIR>          .
2022/09/04  22:23    <DIR>          ..
2022/09/04  22:23             1,478 .gitattributes
2022/09/04  22:23            11,891 README.md
2022/09/04  22:32     7,703,807,346 sd-v1-4-full-ema.ckpt
2022/09/04  22:29     4,265,380,512 sd-v1-4.ckpt
2022/09/04  22:23            71,237 v1-variants-scores.jpg
               5 個のファイル      11,969,272,464 バイト

clone すると、ユーザ・パスワードを聞かれるので HuggingFace のユーザ名/パスワードを入力します。
clone結果としては上記のような形で、11GBほどファイルがありますね。。。

sd-v1-4.ckptmodel.ckptにリネームしておきます。

Dockerでの環境構築

Dockerのベースイメージに関してはNVIDIA Cloudのものを利用すると良さそうと偉い人が言っているので素直に真似る

FROM nvcr.io/nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04

ARG DEBIAN_FRONTEND=noninteractive
ENV TZ=Asia/Tokyo

RUN apt-get update && apt-get install -y wget git git-lfs libglib2.0-0 libsm6 libxrender1 libxext-dev

RUN wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && \
    sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3 && \
    rm -r Miniconda3-latest-Linux-x86_64.sh

ENV PATH /opt/miniconda3/bin:$PATH

RUN git clone https://github.com/CompVis/stable-diffusion && \
    cd stable-diffusion && \
    conda init bash && \
    conda env create -f environment.yaml && \
    echo "conda activate ldm" >> ~/.bashrc

さらに、DockerComposeを用意する

version: '3'
services:
  app:
    build: .
    working_dir: /stable-diffusion
    tty: true
    volumes:
      - ./stable-diffusion-v-1-4-original/:/stable-diffusion/models/ldm/stable-diffusion-v1/
      - ./outputs:/stable-diffusion/outputs
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
    environment: 
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=all

さて、動かすぞ

>docker-compose up --build
[+] Building 2.1s (8/8) FINISHED
 => [internal] load build definition from Dockerfile                                                               0.0s
 => => transferring dockerfile: 717B                                                                               0.0s
 => [internal] load .dockerignore                                                                                  0.0s
 => => transferring context: 2B                                                                                    0.0s
 => [internal] load metadata for nvcr.io/nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04                             2.0s
 => [1/4] FROM nvcr.io/nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04@sha256:4ee00dd83e88e75739870df5ac67ec38bea09  0.0s
 => CACHED [2/4] RUN apt-get update && apt-get install -y wget git git-lfs libglib2.0-0 libsm6 libxrender1 libxex  0.0s
 => CACHED [3/4] RUN wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh &&     sh Minicon  0.0s
 => CACHED [4/4] RUN git clone https://github.com/CompVis/stable-diffusion &&     cd stable-diffusion &&     cond  0.0s
 => exporting to image                                                                                             0.0s
 => => exporting layers                                                                                            0.0s
 => => writing image sha256:5d2c7f98241a55c1f2b608d865bfb22e09b1f91dc425d86db7a55d8e2b4d7b07                       0.0s
 => => naming to docker.io/library/stablediffusion-app                                                             0.0s

Use 'docker scan' to run Snyk tests against images to find vulnerabilities and learn how to fix them
[+] Running 1/0
 - Container stablediffusion_app_1  Recreated                                                                      0.1s
Attaching to stablediffusion-app-1

シーン。。。。

ここから、うんともすんとも言わなくなってしまった。
せめてエラーでも出してくれればいいのだが、いくら待っても何度やり直しても結果が変わらないので、きっと何かが足りないのであろう。。。
げせぬ

というわけで、一旦Docker Composeは諦めて、DevContainerで試行錯誤してみることにした。
続きは明日。。

参考: Stable DiffusionをDockerで動かすhttps://zenn.dev/choshicure/scraps/14bca2492bf49f

気がつけば歳を取ったものだ

あまりにも自分基準で考えると、未熟でしょうがないなって日々思っているんだけど、気がつけばもう40代も後半なんだよな。。。って気がついてしまった

鏡でジーっと顔を見てみると、もうね、笑っちゃうくらいですね。

これまで、家庭菜園やらランニングやらであまり気にしていなかったけど、日焼けからくるシミみたいなものもちらほら見えるし、肌の手入れなんてちゃんとやってない。

髪に関しては、白髪が増えてきた事を話したら、いつも言っている美容院で白髪染めしてくれるようになったのでいいとして、ちょっと少しあらがってみようかな?と。

ハイチオールCは、シミ・そばかすだけでなく疲れにも効くって書いてあるんだけど、飲み始めて数日経ったけど正直効果がわからない。
クリームに関しても、正直良くわからない。。。。

なんというか、そもそもこれまであまり気にしていなかったんだから、そういう事に関しての違いに関して恐ろしく鈍感なのかもしれない。

そんなことよりも、睡眠時間をちゃんと確保することのほうが効果はありそうなんだけど、こればっかりはどうしてもだめですね。。。

最近は特にひどくて、また睡眠時間4~5時間をウロウロしてしまっている。。。
せめて、早いところ勤務がリモートになってくれればなぁと切に願うばかりであります

いつももうダメだと思っている

基本的に私はネガティブである

仕事をしていても、ずっと考えてしまう

  • 何もうまいこといかんな
  • 何度同じこと繰り返しているんだ
  • 結局何もわかっていないということじゃないか
  • 口ではなんだかんだ言うけど、全然手を動かせていないじゃないか
  • 対して何も身に着けてないな
  • 頭悪すぎ

別に鬱になるとかそういうわけではないんだけど、定期的にものすごくやる気が落ちていろいろなことに手がつかなくなる時が来る

手がつかなくなるから、いろいろなことを取りこぼして、更に状況は悪くなっていくんですよね。

モチベーションの源泉なんてものがあるわけではなく、動いた結果、それがモチベーションとなるなんて偉い人は言うものなんだが、そうは言っても、それで動くことが出来るのであればそんな悩みはないわけだ。

しかも、明確な理由がある場合はまだいいのだが、明確な理由がなく落ち込む時があって、それは本当にたちが悪い。
おそらく、溜め込んだものがふとしたきっかけであふれているのかもしれない。

不安やいらだち、怒り、そういったネガティブな感情への対処は人それぞれで、マンガを読んだりアニメを見たり、そうやって気分転換を図ることで気が紛れることもある。

ただ根本的には解決しないので繰り返すことになってしまう。

よくあるのは、それら、感覚的なものを言語化してみてそれに向き合うという手法だ。

ただ、向き合うにしても、それらに対してどう向き合うかを間違えると、負のスパイラルに陥りそうだ。

頭が悪いなって思う事象にぶち当たったとして、じゃーどうすんだよーって話だ

もういい歳なのに、未だにこんなふうに思っちゃうところは、ちょっと情けなくも感じるが、世の40代は皆さん元気にやってるのだろうか、と思ってしまう今日このごろである

あーもうだめだー

SmartMirror妄想

先日、AWS のオンラインセミナーシリーズであるBlack Beltを見ていたら、こんなものが

見る限りでは、まだまだ改良の余地がありそうな顧客体験に感じるけれど、ちょっと未来的ですよね、SmartMirror。

そこで、SmartMirrorに関してちょっと調べてみた

SmartMirrorの仕組み

そもそもの話、鏡とは?ということに関してもちゃんと知らないことに気がつく。
そもそも鏡とガラスってどう作られるのか?ガラスはなんか砂を溶かしてやるって漫画で見たぞ?

こちらのサイトを見る限りでは、鏡=ガラス+銀 or アルミニウム背面のようだ。

SmartMirrorでは、背面としてディスプレイを使うし、鏡自体もマジックミラーを使うらしい。

ラズパイを用いる

作り上げるにはRaspberryPiを使うと、すでに世の中にはノウハウが溜まっていて楽そうだ。特にOSSでMagicMirrorを作るためのプラットフォームが用意されている

MagicMirror²
https://magicmirror.builders/

調べてみるとYouTubeにもDIY動画などが上がっていて、意外と簡単に作ることができそうだ。

何に使うのか

実装そのものは、技術的には別に問題なくできそうだ。
とは言え、作ったとして何にどう使うのか?を考えてみたい。

事例としてよく挙げられている内容としては、鏡に天気予報やニュース、メッセージなどを出すということなんだけど・・・

スマホでいいよね?

という結論に至ってしまう。もしくはスマートウォッチ。

鏡に文字が浮かび上がるのは、未来感もあるし、言ってしまうとSF的な感じもする。
ロマンだ

だけどせっかくなら有用な利用用途を考え出したい。

スマホなどと違って、鏡であること。
それであって、RaspberryPiで出来るレベルの表現

思いつかないな。。。

とりあえず、いつの日かロマンを追い求めて作り出すかもしれないので、見つけたサイトを備忘録に載せておくことにする

テレキューブの便利さと不便さ

皆さん、テレキューブって使ったことありますか?

大きいオフィスビルや駅、商業施設などを中心に設置されている、ちょっと大きめの電話ボックスみたいな個室を短時間で借りることができる、ミニ貸し会議室みたいなところです。

テレキューブ
https://telecube.jp/

最近、お客様先での業務が多い状態。
この状態で、自社業務に関連した会議や、他のお客様とのMTGなどが帰宅後だと時間的に合わない場合などに最寄り駅にテレキューブが設置されているので時々利用しています。

15分単位で借りることができ、料金も250円。デスクや防音設備。Wifiなども完備しているのでビジネス利用する分には悪くない印象です。

予約の取り方

イメージでは、出先での急な打ち合わせ時に。。。って利用用途だと思っているのですが、意外と皆さん普段使いしているのか、直前に予約を取ることは困難です。
それなりに事前に予約をとっておく必要があります

予約自体は、予め登録を済ませておけばWebで簡単に取ることができるのですが、

開始時刻は5分単位で細かく選ぶことはできるのですが、利用時間は15分単位となります。

実際のところ、ミーティング開始前にボックスに入ってPC広げて準備して・・・って事を考えると、上記キャプチャのように17:55 – 18:25 というような予約になってしまいます。

このあたりはミーテイングの性質としてギリギリまでやるのか?早く終わるのか?延長しがちなのか?ということによって、事前にどれだけ予約をとっておくのかがポイントになります。

予約のキャンセル・延長

予約のキャンセル自体は可能で、開始1時間前までは費用がかかりません。
ただし、1時間以内になってしまうと通常料金取られますし、予定より早く終わったとしても返金対応してくれるわけではありません。

延長に関しては、後ろがあいていれば可能です

それらを考えると、やはり初期の予約に関してはあまり大きく取りすぎず、と言うかたちにしたいのですが、延長しようと思ったときに後ろがすでに埋まっている可能性もあり、悩ましいところですね。

総括と他社サービス

とは言え、いちいち自社に戻らなくても、ちょっとした会議だけであればこれで済ますことができます。
料金はかかりますが、自社に戻るにも電車代はかかるので、それを考えれば別に大した話ではないと考えられます。

テレキューブと似たような形でステーションワークと言うブースが設置されている駅もあったり、CocoDeskというサービスもあるようですね

CocoDesk
https://www.fujifilm.com/fb/solution/menu/cocodesk

STATION BOOTH/DESK ホテルシェアオフィス その他(WeWork等)
https://www.stationwork.jp/

これらはまだ利用したことはないのですが、機会があったら使ってみようかな。
料金的に、テレキューブが一番安いといえば安いですが、差も微々たるものですしね

初めてスネつった

今日は比較的涼しい一日でした。

ここのところずっと、距離を走ることができておらず、その一因として暑さがあるのでは?と思っていたので、今日ならば!と頑張りました

いや、久しぶりにハーフマラソンの距離走ることができました!
やっぱり暑さのせいだったんだ!私はまだやれるんだ!って思って家路についていたら、、、

足のスネが超痛い(しかも両足)

どう考えても、症状的にはつっている状態ですが、これまでふくらはぎ。
つまりは足の裏側がつることは何度もあったのですがスネ側がつるというのは初めての経験。

そして、初めての経験はすべからく痛い。。。

どう対処していいのか全くわからず、痛みを堪えながらふくらはぎをつった時によくやる足の指を曲げたりしようとするもうまくいかず、悶絶しながらスマホで対応を調べます

「足首を回すといい」

いや、痛すぎて回すことがきつい。。。
冷えるとつることが多いので、とりあえずスネをさすったりして温めたりするも一向に良くならず。

足首が靴で固定されているのがいけないのか?と、靴を脱いだら、かなり楽になりました。

足がつる原因

ふくらはぎなどの“筋肉のつり” その原因と対処法
https://www.nhk.or.jp/radio/magazine/article/nhkjournal/k8vNRaUWiJ.html

上記ページにも書いてありますが、基本的には冷えと水分不足とのこと。

今回は、水分を全く取らずに、ここのところ走りなれていない距離である20kmオーバーを走ったということ。
走り終わったあとに水分は取ったのだけど、単純に遅かったんですね。

また、今日は気温が比較的低く、走り終わった直後で一気に汗が引いて冷えたことも原因のひとつなんでしょう。

予防としては、やはりストレッチもそうですが、こまめな水分補給ということなんだろうなぁ。ペットボトル持って走るの面倒なんだよね。

とは言え、今回は本当に痛くて立ってられなかった。
若干、走り終わったあとで手が痙攣っぽい動きもしていたので軽い脱水症状担っていたのは間違いなさそうなので、やはり20km超える場合は、その前段階で水分取らないとだめですね。。。

アクアラインマラソンまであと2ヶ月。
本当に困難で完走できるのかしら?って思ってしまうけれど、やれるだけのことはやっておかないとね。

頑張りまっせー

マンガあれこれ

雑誌を定期購読していたり、積読になっている本は貯まる一方なんだけど、マンガに関してはどんどん買って読んでを繰り返し、あまつさえ繰り返し読んでしまうのは、やっぱりそれだけ気分転換が必要ということなんだろう。

私にとって、やはりマンガはなくてはならないものなのだ、と、自己肯定感バッチリな気持ちで最近購入して読んでいるマンガを紹介したい

転生賢者の異世界ライフ~第二の職業を得て、世界最強になりました~ 17巻

今期、アニメ化もされている作品の最新刊。
かなりご都合主義満載な展開が盛りだくさんで、ハラハラドキドキ的な要素はまったくない。
ただ、なんとなく買って読んでいるような状況。
アニメのキャラデザがコミックで慣れ親しんだ身としてはちょっと違和感を感じてしまうが、アニメ化するとなんとなく子供っぽく見た目が変わるのはよくあること。
なんでなんだろうね。

奴隷転生 ~その奴隷、最強の元王子につき~(9)

そういう意味ではこちらは、常に困難に対して頭を痛めながら進んでいる。それぞれのキャラの成長を感じられて繰り返し読んでしまったりもする。

結構端折られてしまうシーンも多いけど、個人的に話の展開が早いということに関してはいいと思っている。
転生みたいなものがそんな都合良くうまくいかないんだよね、ってところも、今後の展開がどうなっていくのか楽しみ。

異世界おじさん 8

こちらも今期アニメ化の作品。
アニメ化するとは思っていなかった作品だけに結構びっくりしたし、アニメの方もそれなりに面白いとは思うんだけど、面白いと思える年齢層は高めなんだろうな、と思わずにはいられない。

あの頃、たしかにセガが今のようになるなんて思いもしなかったなぁ

ちなみに私が初めて買ってもらったゲーム機は、セガと互換が効く、ツクダオリジナルから発売されたオセロマルチビジョンというやつだった。

カセットがなくてもオセロで遊ぶことができるんだぜ!

現実主義勇者の王国再建記IX

異世界転生、現代知識無双としてはよくある話なんだろうけど、タイトル通り現実主義ということで、打つ手、打つ手がなんというか、それほど突拍子のないことをしない感じなので、淡々としている感じがする。

実際問題、現代知識を頭の中だけで異世界で再現できるほど詳細まで記憶しているなんてことはよっぽど厳しいものではあるけど、そういう事を言うとそもそも異世界が現実的ではない話になってしまうのでご愛嬌。

面白くないわけではないんだけど、良くも悪くも淡々と進んでいく感はある。

振り返って

基本的に私はKindle版を購入しているからいいものの、物理本を買っていたらとうの昔に本棚は埋まり、床が抜けてしまうかもしれないなぁ、なんて思ってしまうペースで買ってしまっている。

本当に、Kindle良くないと思う(褒め言葉)

Denoの今後に関して

先日、Denoの記事を書いたが、ちょうど公開されたmozaic.fmで話題に上がっていた

ep102 Monthly Ecosystem 202208
https://mozaic.fm/episodes/102/monthly-ecosystem-202208.html

Big Changes Ahead for Deno
https://deno.com/blog/changes

Denoの記事が投稿されたのが8/15。
mozaic.fmの公開が8/20ということで、いま時点から考えてもなかなか早い話題だ。

正直言って私はこのあたりの知見がないと言っても過言ではないレベル感なので、評価的なコメントは難しいし、誰も望んでいないだろうからしない。

ただ、いつも思うのはJavaScriptやTypeScript周りのフレームワークやエコシステムの数の多さというか、流行り廃れのスピード感はすごいな、と思わずにはいられない。

mozaic.fmの中でも話題にはなっていたが、それぞれの仕組みが何を目指して、それを使うモチベーションやメリットがどこに有るのか?というのだけでもちゃんと抑えていきたいところ。

話の中で出てきた、ViteやBunに関しても恥ずかしながら知らなかった。。。
うーん、追っかけるの実際問題難しいよなー

Bun
https://bun.sh/

Vite
https://vitejs.dev/

職業体験イベントに行ってきた

子供たちは夏休み終盤。
宿題の仕上げ時期に入っているのではないでしょうか。

そんな、人によっては切羽詰まった状況になる時期ではありますが、千葉市が主催している小学生向けの職業体験イベントである「葉市夏休みおしごと感動体験ワクワクワークデー2022」に抽選であたったので行ってきました

千葉市夏休みおしごと感動体験ワクワクワークデー2022
https://www.city.chiba.jp/keizainosei/keizai/koyosuishin/kandoutaiken2022.html

事前申し込みで、いろいろな職業の中から選んだものの体験ができるという、読んで字の如くなイベントです。
今回、小学六年の長女が、動物看護師の体験に参加してきました。

実施内容としては以下の内容

  • 健康診断
  • 歯磨き
  • お薬作成

あくまで獣医ではなく、動物看護師ということで補助的な内容で、対象も犬のみでした。
ちょうど、我が家でも犬を飼っているので知識を得るという意味ではちょうどよかったかな?

これが果たして本人の将来に、何かしら影響を与えることになったのかはわからないですが、いろいろな経験を積むということは、単純に良いことですね。

少し調べてみると、今年の5月に愛玩動物看護師法という法律が制定され、愛玩動物看護師という国家試験が今年から始まったんですね

愛玩動物看護師
https://www.maff.go.jp/j/syouan/tikusui/doubutsu_kango/

診療の補助を行うことができるのは、この国家資格保有者だけとなっているそうなので、これまで動物病院で勤務されていた看護師さんが行っていたのは診療の補助ではない。。。ということなのかな?
全員が獣医師資格を持っているなんてことはないだろうからなぁ

ちょっと「愛玩動物」という呼び方は正直どうなんだろう?と思わなくもないですが、この名称のくくりとしては犬・猫・鳥(オウムなど)のみを対象としているそうです

問2-3 愛玩動物看護師法に規定する愛玩動物にはどのような動物が含まれますか。(令和4年5月24日更新)
https://www.maff.go.jp/j/syouan/tikusui/doubutsu_kango/qanda.html#2-3

このあたりの知識はこれまで全く関わり合いがなかったので知らないことばかりで、調べていくとなかなか面白いですね。
いい機会を提供いただいたと思っています。