DockerでローカルLLMを始める（Ollama + Open WebUI）

ローカルでLLMを試すための最小構成をDocker Composeで用意しました。ブラウザ（Open WebUI）からの利用と、OllamaのAPIの基本的な呼び出し方を簡単にまとめています。

対象リポジトリ: practice-llm-mcp（Composeと初期化スクリプトを同梱）

クイックスタート

前提条件

1
2
git clone https://github.com/arakkkkk/practice-llm-mcp.git
cd practice-llm-mcp

1
2
3
4
# 環境によっては sudo が必要です
sudo docker compose up -d
# Makefile を使う場合
make run

1
2
3
4
5
curl http://localhost:11434/api/generate -d '{
  "model": "qwen:7b-chat",
  "prompt": "明日のやることを3つ箇条書きで",
  "stream": false
}'

停止する場合:

1
2
3
sudo docker compose down
# または
make down

compose.yml では以下の2サービスを定義しています。

ollama
- ポート 11434 を公開（API）
- モデルを ./ollama/data に永続化
- 起動後の初期化でモデルを準備（init.sh）
open-webui
- ポート 8080 でWeb UIを提供
- OLLAMA_BASE_URL=http://ollama:11434
- depends_on: [ollama]

ollama/init.sh で、Ollamaの待ち受け開始を確認した後にモデルをまとめて取得します（初回のみ時間がかかります）。取得対象の例：

不要なモデルがある場合は、init.sh の ollama pull 行を調整してください。利用可能なモデルはlibraryを参考にしてください。

基本操作のショートカットです。

ポート
- 11434: Ollama HTTP API（/api/chat と /api/generate）
- 8080: Open WebUI
永続化
- モデルは容量が大きいため、./ollama/data に保存して再ダウンロードを避けます
- WebUI のデータは ./webui/data に保存します
起動順制御
- depends_on に加えて init.sh で疎通確認を行います
モデル選定
- まずは軽量な phi3:mini で確認 → qwen:7b-chat や llama3:8b へ拡張

初回起動が長い
- モデルのダウンロード時間がかかります。make logs で進捗を確認してください
ポート競合
- compose.yml のポートマッピング（例: 11434:11434）の左側を空いている番号に変更します
WebUIは開けるが応答がない
- open-webui の OLLAMA_BASE_URL が http://ollama:11434 か、ollama コンテナが起動しているかを確認します
権限エラー
- sudo を付けるか、ユーザーを docker グループへ追加します

以下の手順でローカルLLM環境を用意できます。

必要に応じて取得するモデルやポート番号を調整しながら、用途に合わせて拡張してください。