# Docker のインストール
sudo apt update
sudo apt install -y docker.io docker-compose-v2

# NVIDIA Container Toolkit のインストール（Docker 内での GPU アクセスを有効化）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi

docker run -d \
  --name vllm-server \
  --gpus all \
  -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model "nvidia/Llama-3.1-Nemotron-70B-Instruct" \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192

curl -X POST http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/Llama-3.1-Nemotron-70B-Instruct",
    "prompt": "Explain what a multi-agent AI system is",
    "max_tokens": 200
  }'

sudo tee /etc/systemd/system/vllm.service << 'EOF'
[Unit]
Description=vLLM Local LLM Server
After=docker.service
Requires=docker.service

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/bin/docker start vllm-server
ExecStop=/usr/bin/docker stop vllm-server

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable vllm.service
sudo systemctl start vllm.service

docker run -d \
  --name comfyui \
  --gpus all \
  -p 8188:8188 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v ~/comfyui-output:/output \
  ghcr.io/ai-forest/comfyui:latest

# ComfyUI リポジトリのクローン
cd ~/comfyui
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 依存関係のインストール
pip install -r requirements.txt

# カスタムノードのインストール（任意）
git clone https://github.com/Fannovel16/ComfyUI-Frame-Interpolation.git custom_nodes/
git clone https://github.com/laksjdjoy/deforum-comfy.git custom_nodes/

# サービスの起動
python main.py --listen 0.0.0.0 --port 8188

# HuggingFace CLI でモデルをダウンロード
pip install huggingface_hub
huggingface-cli download stabilityai/stable-diffusion-xl-base-1.0 --local-dir ~/models/sdxl
huggingface-cli download stabilityai/stable-diffusion-3.5-large --local-dir ~/models/sd3.5

free -h
nvidia-smi --query-gpu=memory.used,memory.free,temperature.gpu --format=csv

#!/bin/bash
# monitor-gpu.sh
while true; do
    echo "=== $(date) ==="
    nvidia-smi --query-gpu=memory.used,memory.free,temperature.gpu --format=csv
    docker ps --filter "name=vllm\|name=comfyui" --format "table {{.Names}}\t{{.Status}}"
    sleep 30
done

# Hermes Agent を使う場合
hermes register-cowork

# または MCP エンドポイントを手動で設定
# Agent の設定ファイルに：
{
  "mcpServers": {
    "cowork": {
      "url": "http://localhost:6868/mcp",
      "transport": "streamable-http"
    },
    "vllm": {
      "url": "http://localhost:8000/v1",
      "transport": "streamable-http"
    }
  }
}

# ComfyUI コンテナの状態をバックアップ
docker commit comfyui comfyui-backup:$(date +%Y%m%d)

# イメージをエクスポート
docker save comfyui:latest | gzip > ~/backups/comfyui-$(date +%Y%m%d).tar.gz

# HuggingFace キャッシュを定期的にバックアップ
rsync -avh ~/.cache/huggingface ~/backups/huggingface-cache/

# または rclone でクラウドにバックアップ
rclone sync ~/.cache/huggingface remote:backup-huggingface --progress

# 5 分ごとにサービスの状態を確認
*/5 * * * * curl -f http://localhost:8000/v1/models || echo "vLLM is down at $(date)" | mail -s "vLLM Alert" admin@example.com

# NVIDIA Container Toolkit がインストールされているか確認
nvidia-ctk runtime verify

# Docker サービスを再起動
sudo systemctl restart docker

# vLLM のメモリ使用率を下げる
# docker run コマンドに追加：
--gpu-memory-utilization 0.7

# または不要なサービスを停止
sudo systemctl stop bluetooth

# Docker のログを確認
docker logs comfyui

# 再起動を試す
docker restart comfyui

# HuggingFace ミラーを使う（中国本土のユーザー向け）
export HF_ENDPOINT=https://hf-mirror.com