シェルスクリプトを実行した際に`$'\r': command not found` が出た。

これは Windows の改行コードが原因であり、スクリプトを Linux/unix の改行コードに変換する必要がある。

## dos2unix

https://docs.oracle.com/cd/E19253-01/819-1210/6n3j74jn0/index.html

改行コードを変換するツール dos2unix で変更する。

```bash
$ dos2unix <対象のファイル>
```

インストール方法

```bash
# redhat系
$ yum install dos2unix

# Debian系
$ apt-get install dos2unix

# Mac
$ brew install dos2unix
```

### 他に試したこと

sed での変換はうまくいかず、実行結果は変わらなかった。

```bash
$ sed "s/^M//g" <変換前のファイル> <変換後のファイル>
```

シェルスクリプトの実行で$'\r' command not found が出る場合

ディレクトリの中身のファイルをリスト化して操作できると色々と便利です。
例としてディレクトリ内のファイルの行数をCSV出力してみながら、bashの解説をしていきます。

## Contents

## 目的

Apacheの**ログファイルのファイル名とそのファイルの行数のCSVを出力する**bashを考えてみる。

▼ディレクトリの中身はこんな感じ。
Apacheのログとそのバックアップのディレクトリがあるとする。
ログは１週間ごとに切り分けてあり、古いファイルは圧縮している。

```bash
/var/log/httpd/
├── access_log
├── access_log-20210228.gz
├── access_log-20210307.gz
├── access_log-20210314.gz
├── access_log-20210321.gz
├── error_log
├── error_log-20210228.gz
├── error_log-20210307.gz
├── error_log-20210314.gz
├── error_log-20210314.gz
├── error_log-20210321.gz
└── backup # ディレクトリ
 ├── 202012
 ├── 202101
 ├── 202102
 └── 202103
```

以降で順に説明しながら目的を実行するスクリプトを書いていく。

## 1. ディレクトリ内のファイルとフォルダを出力する

```bash
#!/bin/bash

DIR=/var/log/httpd

# ディレクトリ内のファイルのリストを操作
for path in $DIR/*; do
 # パスを出力する
 echo $path
done
```

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
/var/log/httpd/backup
```

`for path in /path/to/dir/*; do`と書くとディレクトリ内の一層目のファイルとフォルダの
リストをfor文で扱うことができる。

## 2. ディレクトリとファイルを判定する

`if [ -d "$path" ]; then`でディレクトリか判定できる。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
 if [ -d "$path" ]; then
 # ディレクトリの場合スキップする
 continue
 fi
 echo $path
done
```

▼ファイルのみ出力する

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
```

早めに例外で切り上げるため`-d`でディレクトリか判定しました。
他にもファイルやシンボリックリンクなど判定できます。

> - `-e`: パスが存在するか
> - `-d`: ディレクトリが存在するか
> - `-f`: ファイルが存在するか
> - `-L`: リンクが存在するか
> - `-s`: 空ファイルではないか
> - `-w`: ファイルが書込可能か
> - `-x`: ファイルが実行可能か
> 参考: [bashでファイルやディレクトリの存在確認方法まとめ](https://qiita.com/nii_yan/items/73f4caacdc2ca6f45135)

## 3. パスからファイル名を取得する

`FILE_NAME=${path##*/}`でパスからファイル名を取得出来る。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
 if [ -d "$path" ]; then
 # ディレクトリの場合スキップする
 continue
 fi
 # echo $path
 FILE_NAME=${path##*/}
 echo $FILE_NAME
done
```

```bash:実行結果
access_log
access_log-20210228.gz
access_log-20210307.gz
access_log-20210314.gz
access_log-20210321.gz
error_log
error_log-20210228.gz
error_log-20210307.gz
error_log-20210314.gz
error_log-20210321.gz
```

パターンマッチより`${変数##パターン}`とすると**先頭から最長一致した部分を取り除く**。
つまり、`${path##*/}`ではパスの一番後ろの`/`までが取り除かれるため、ファイル名が残る。

> パターンマッチの仕様
>
> ```bash
> ${変数#パターン} # 先頭から最短一致した部分を取り除く
> ${変数##パターン} # 先頭から最長一致した部分を取り除く
> ${変数%パターン} # 末尾から最短一致した部分を取り除く
> ${変数%%パターン} # 末尾から最長一致した部分を取り除く
> ```
>
> 参考: [パス文字列からファイル名などを抜き出す](https://qiita.com/ktr_type23/items/94747a4b27e8a630ce48)

## 4. ファイルの行数を変数に代入する

`wc -l`でファイルの行数がわかる。
この結果を変数に代入して扱えるようする。

```bash
#!/bin/bash

file=/var/log/httpd/access_log
LINE=$(wc -l < $file)

echo $LINE
```

```bash:実行結果
173543
```

また、行数を取得する際に条件付けもしてみる。

### 4.1. grepで条件付けした行数を変数に代入する

```bash
#!/bin/bash

# grepで条件付け
file=/var/log/httpd/access_log
LINE=$(cat $file | grep POST | wc -l)

echo "POST:"$LINE
```

```bash:実行結果
POST:26
```

### 4.2. 一時ファイルに保存した行数を変数に代入する

```bash
#!/bin/bash

# 一時ファイルに保存する
# GETを含む and 200を含まない
cat /var/log/httpd/access_log \
 | grep GET \
 | grep -v "200" \
 > tmp.txt
LINE=$(wc -l < "tmp.txt")
echo "GET and not in 200:"$LINE
```

```bash:実行結果
GET and not in 200:76
```

### 4.3. 圧縮ファイルの行数を変数に代入する

```bash
#!/bin/bash

# 圧縮ファイル
file=/var/log/httpd/access_log-20210228.gz
LINE=$(zcat $file | wc -l)

echo $LINE
```

```bash:実行結果
413180
```

## 5. ログファイルのファイル名とそのファイルの行数のCSVを出力する

目的の処理を実装する。

```bash
#!/bin/bash

DIR=/var/log/httpd

echo "filename,line"
for path in $DIR/*; do
 if [ -d "$path" ]; then
 # ディレクトリの場合スキップする
 continue
 fi
 # echo $path
 FILE_NAME=${path##*/}

 # 拡張子
 ext=${FILE_NAME##*.}
 if [ "$ext" == "gz" ]; then
 # 圧縮ファイル
 LINE=$(zcat $path | wc -l)
 else
 LINE=$(cat $path | wc -l)
 fi
 echo $FILE_NAME","$LINE
done
```

```bash:実行結果
filename,line
access_log,178389
access_log-20210228.gz,413180
access_log-20210307.gz,411489
access_log-20210314.gz,413381
access_log-20210321.gz,422814
error_log,16686
error_log-20210228.gz,41686
error_log-20210307.gz,44184
error_log-20210314.gz,44154
error_log-20210321.gz,43002
```

いい感じですね。

【bash】ディレクトリ内のファイルの行数をCSV出力する


migrateしたら`  SQLSTATE[HY000] [2006] MySQL server has gone away`が出ました。

結論としては、認証方式**mysql_native_password**を**caching_sha2_password**に変更したらMySQLに接続できるようになりました。環境と現象をまとめておきます。

## 環境
[こちら](https://www.suzu6.net/posts/254-laravel-docker-compose/)で構築したDocker環境でこの現象が起きました。

構成とバージョンはこのようになってます。アプリ(php)とDB(mysql)のコンテナは分かれています。
- php (php-fpm) 7.4.1
  - composer 1.10.13
  - nodejs v12.18.4
  - npm 6.14.6
- mysql 8.0
- nginx 1.19.2

docekr-compose.ymlの[mysql]()の記述。
```yml
version: '3'

略

  db:
    image: mysql:8.0
    container_name: db
    environment:
      MYSQL_ROOT_PASSWORD: root
      MYSQL_DATABASE: database
      MYSQL_USER: docker
      MYSQL_PASSWORD: docker
      TZ: 'Asia/Tokyo'
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    volumes:
    - ./docker/db/data:/var/lib/mysql
    - ./docker/db/my.cnf:/etc/mysql/conf.d/my.cnf
    - ./docker/db/sql:/docker-entrypoint-initdb.d
    ports:
    - 3306:3306
```
ここでデータベース、ユーザ、パスワードを設定しています。
ホストOSのSQLクライアント([HeidiSQL](https://www.heidisql.com/))からはDB接続を確認できた。

### エラー
```sh
# php artisan migrate

   Illuminate\Database\QueryException 

  SQLSTATE[HY000] [2006] MySQL server has gone away (SQL: select * from information_schema.tables where table_schema = database and table_name = migrations and table_type = 'BASE TABLE')

  at vendor/laravel/framework/src/Illuminate/Database/Connection.php:671
    667▕         // If an exception occurs when attempting to run a query, we'll format the error
    668▕         // message to include the bindings with SQL, which will make this exception a
    669▕         // lot more helpful to the developer instead of just the database's errors.
    670▕         catch (Exception $e) {
  ➜ 671▕             throw new QueryException(
    672▕                 $query, $this->prepareBindings($bindings), $e
    673▕             );
    674▕         }
    675▕ 

      +37 vendor frames
  38  artisan:37
      Illuminate\Foundation\Console\Kernel::handle(Object(Symfony\Component\Console\Input\ArgvInput), Object(Symfony\Component\Console\Output\ConsoleOutput))
```

一応試した、`composer dumpautoload`や`php artisan config:clear`では解消できなかった。

### mysqlのユーザを確認
dbコンテナでmysqlのユーザを確認する。
```sh
$ docker-compose exec db bash

# mysql -u root -p
mysql: [Warning] World-writable config file '/etc/mysql/conf.d/my.cnf' is ignored.
Enter password: 

mysql> SELECT user, host, plugin FROM mysql.user;
+------------------+-----------+-----------------------+
| user             | host      | plugin                |
+------------------+-----------+-----------------------+
| docker           | %         | mysql_native_password |
| root             | %         | mysql_native_password |
| mysql.infoschema | localhost | caching_sha2_password |
| mysql.session    | localhost | mysql_native_password |
| mysql.sys        | localhost | caching_sha2_password |
| root             | localhost | mysql_native_password |
+------------------+-----------+-----------------------+
```
dockerとrootがあり、それぞれhostが%になっているためコンテナの外からもアクセスできる。（localhostはローカルだけ）

pluginが認証方式で`mysql_native_password`になっている。
`caching_sha2_password`はmysql8.0から追加された認証方式で、デフォルトである。

Dockerでビルドした際に5.7までの`mysql_native_password`に切り替わったようです。

### 認証方式の変更
`ALTER USER '{ユーザ名}'@'{ホスト}' IDENTIFIED WITH {認証方式} BY '{パスワード}';`で変更できる。
```sh
mysql> ALTER USER 'docker'@'%' IDENTIFIED WITH mysql_native_password BY 'docker';
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT user, host, plugin FROM mysql.user;
+------------------+-----------+-----------------------+
| user             | host      | plugin                |
+------------------+-----------+-----------------------+
| docker           | %         | caching_sha2_password |
| root             | %         | mysql_native_password |
| mysql.infoschema | localhost | caching_sha2_password |
| mysql.session    | localhost | mysql_native_password |
| mysql.sys        | localhost | caching_sha2_password |
| root             | localhost | mysql_native_password |
+------------------+-----------+-----------------------+
```

`caching_sha2_password`に変更すると、接続できた！

```sh
$ php artisan migrate
Migration table created successfully.
...
```

### なぜ認証方式によっては接続できないのか？

PHPのバージョンによって対応する方式が異なる。

MySQL8.0が登場する以前のPHPは、`caching_sha2_password`に対応していない。
> PHP 7.1.16 より前のバージョン、もしくは PHP 7.2.4 より前の 7.2系の PHP では、 MySQL 8 サーバのデフォルトパスワードプラグインを mysql_native_password に設定するようにしてください。
> 
> http://0-oo.net/php-manual/ref.pdo-mysql.html

今回はPHP 7.4.1のpdo_mysqlを使っているためこれはOK。
しかし、なぜか認証方式`caching_sha2_password`にする必要がある。

### laravel
```env
DB_CONNECTION=mysql
DB_HOST=db
DB_PORT=3306
DB_DATABASE=database
DB_USERNAME=docker
DB_PASSWORD=docker
```

## その他考慮したことと確認方法

### pdo_mysqlがインストールできていないのでは？
phpコンテナのDockerfileの記述。
ビルドの際にpdo_mysqlをインストールしている。
```Dockerfile
# Install PHP Extensions
RUN apt install -y zlib1g-dev mariadb-client libzip-dev libonig-dev
RUN docker-php-ext-install -j$(nproc) zip pdo_mysql
```

pdo_mysqlがインストールできているか確認した。
拡張を有効にするコマンド`docker-php-ext-enable`を打ってみる。
```sh
$ docker-php-ext-enable pdo_mysql

warning: pdo_mysql (pdo_mysql.so) is already loaded!
```
インストール済で有効になっていました。

```sh
$ pecl search pdo_mysql
WARNING: channel "pecl.php.net" has updated its protocols, use "pecl channel-update pecl.php.net" to update
Retrieving data...0%
Matched packages, channel pecl.php.net:
=======================================
Package   Stable/(Latest) Local
PDO_MYSQL 1.0.2 (stable)        MySQL driver for PDO
```


mysql8とlaravel(php7.4 pdo_mysql)でSQLSTATE[HY000] [2006] MySQL server has gone away

Laravel向けのDocker開発環境を整えたので共有します。

本番でもDockerが使えるように色々試しているとこですので、自分が把握できた範囲の構成です。

[github](https://github.com/suzu6/docker-laravel-nginx-php-fpm-mysql)に置いときます。

## 目標とミドルウェアの構成

目標はDockerを立ち上げて直ぐにLaravelの開発ができるようにすること。composerとnodejsも一緒に用意します。

構成とバージョン。最新になるようにしています。
- php (php-fpm) 7.4.1
 - composer 1.10.13
 - nodejs v12.18.4
 - npm 6.14.6
- mysql 8.0 (5.7も可能)
 - パスワードなど初期設定をする。
- nginx 1.19.2
 - Laravel向けのconfを用意する。

### ホスト環境
今回の趣旨に関係ありませんが、ホストOSはWindows10です。

- Windows 10 Home バージョン2004(OSビルド 19041.508)
- WSL2 (Ubuntu 20.04.1 LTS)
- Docker version 19.03.13, build 4484c46d9d
- docker-compose version 1.27.4, build 40524192

WSL2が出てWindows HomeでもDockerが使えるようになりました。
インストール方法は[Microsoftの手順](https://docs.microsoft.com/en-us/windows/wsl/install-win10#install-your-linux-distribution-of-choice)を解説した[Qiita @KoKeCross](https://qiita.com/KoKeCross/items/a6365af2594a102a817b)の記事の通り進めて行けばOKです。

### ディレクトリ構成 
```dir
/project
├─ /docker # コンテナ内のデータ保存先
| ├─ /db
| | ├─ /data # データベース保存先
| | ├─ /sql
| | └─ /my.conf # mysqlの設定(今回は空ファイル)
| ├─ /nginx
| | └─ /default.conf # Nginxの設定
| └─ /php
| ├─ /Dockerfile # phpコンテナの設定
| └─ /php.ini # phpの設定
├─ /web # アプリケーションコード
└─ docker-compose.yml
```

#### docker-compose.yml
php, nginx, dbのコンテナを作ります。mysqlはdb。

```yml
version: '3'

volumes:
 vendor-store:
 node_modules-store:

services:
 php:
 container_name: php
 build: ./docker/php
 volumes:
 - ./web:/var/www
 - vendor-store:/var/www/laravel/vendor
 - node_modules-store:/var/www/laravel/node_modules
 environment:
 TZ: Asia/Tokyo

 nginx:
 image: nginx
 container_name: nginx
 ports:
 - 80:80
 volumes:
 - ./web:/var/www
 - ./docker/nginx/default.conf:/etc/nginx/conf.d/default.conf
 depends_on:
 - php

 db:
 image: mysql:8.0
 container_name: db
 environment:
 MYSQL_ROOT_PASSWORD: root
 MYSQL_DATABASE: database
 MYSQL_USER: docker
 MYSQL_PASSWORD: docker
 TZ: 'Asia/Tokyo'
 command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
 volumes:
 - ./docker/db/data:/var/lib/mysql
 - ./docker/db/my.cnf:/etc/mysql/conf.d/my.cnf
 - ./docker/db/sql:/docker-entrypoint-initdb.d
 ports:
 - 3306:3306
```

**image**は[Docker-Hub](https://hub.docker.com/)にあるビルド済みイメージを指定している。
有名なミドルウェアは公式のものがあります。
phpコンテナはNodejsやcomposerをインストールするため、Dockerfileからビルドします。

**volumes**はホストとコンテナのディレクトリとファイルを同期する。
ホストの`/web`をphp・nginxコンテナのエントリーポイント`/var/www`に指定しました。
Laravelプロジェクトは`/web`にクローンするか、phpコンテナの`/var/www`で新規作成して開発が可能です。

vendorとnode_modulesは名前付きボリュームに格納して、ホスト側とコンテナ側と分離して管理している。
同期処理が発生しないため、その分速くなる。

dbの**environment**に初期設定を渡せる。
これを.envに書いたり、ホストのSQLクライアントの接続にそのまま使えます。
その他の変数は[dockerhub mysql](https://hub.docker.com/_/mysql/)でご確認ください。

`mysql:8.0`を`mysql:5.7`にしても動作確認とれた。

#### php/Dockerfile
```Dockerfile
FROM php:7.4.1-fpm

COPY php.ini /usr/local/etc/php/

RUN apt update
RUN apt install -y wget git unzip libpq-dev

# Install Node.js 12
RUN apt install -y npm \
 && npm install n -g \
 && n 12

# Install PHP Extensions
RUN apt install -y zlib1g-dev mariadb-client libzip-dev libonig-dev \
 && docker-php-ext-install zip pdo_mysql

# Install Composer
RUN curl -sS https://getcomposer.org/installer | php \
 && mv composer.phar /usr/local/bin/composer \
 && composer self-update

WORKDIR /var/www

# php-fpmはデフォルトのユーザwww-dataで動く。https://stackoverflow.com/questions/48619445/permission-denied-error-using-laravel-docker
# 変更する場合は /usr/local/etc/php-fpm.d/www.conf でユーザー名を変える。
RUN chown -R www-data:www-data /var/www

RUN composer global require "laravel/installer"
```
`php:7.4.1-fpm`のイメージにNode.jsやComposerをインストールしていくDockerfileです。

aptだとNodejsは古いため、パッケージマネージャのnで新しいバージョンをインストールしています。
以下のようにスクリプトでインストールする方法もあります。
```Dockerfile
# Install Node.js 12
RUN curl -sL https://deb.nodesource.com/setup_12.x | bash - \
 && apt install -y nodejs
```

php 7.4ではビルド時にonigumaが見つからないとエラーが出ます。
aptでは`libonig-dev`（library onigumaかな?）をインストールすると回避できる。
[参考1](https://www.limstash.com/en/articles/202002/1539),[参考2](https://qiita.com/wolf25/items/74bb98bb3052de4c324d)

必要な拡張は**docker-php-ext-install**に追加していく。

nginxはphp-fpmを通してLaravelを実行します。
`/var/www`以下のファイルにユーザ**www-data**の実行権限を与えます。
www-dataはphp-fpmのデフォルトユーザです。
`/usr/local/etc/php-fpm.d/www.conf`を修正してユーザ名を変更できます。

[dockerhub php](https://hub.docker.com/_/php/)

#### /php/php.ini
```conf
[Date]
date.timezone = "Asia/Tokyo"
[mbstring]
mbstring.internal_encoding = "UTF-8"
mbstring.language = "Japanese"
```
cliもfpmのphpもこの設定を参照します。

#### /nginx/default.conf

```js
server {
 listen 80;
 // root /var/www/{Laravelプロジェクト名}/public;
 root /var/www/laravel/public;

 add_header X-Frame-Options "SAMEORIGIN";
 add_header X-XSS-Protection "1; mode=block";
 add_header X-Content-Type-Options "nosniff";

 index index.php;
 charset utf-8;

 location / {
 try_files $uri $uri/ /index.php?$query_string;
 }

 location = /favicon.ico { access_log off; log_not_found off; }
 location = /robots.txt { access_log off; log_not_found off; }

 error_page 404 /index.php;

 // phpファイルはfastcgi(=php-fpm)で処理するよって書いてある
 location ~ \.php$ {
 try_files $uri =404;
 fastcgi_split_path_info ^(.+\.php)(/.+)$;
 // ホスト名(=コンテナ名):ポート
 fastcgi_pass php:9000;
 fastcgi_index index.php;
 include fastcgi_params;
 fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
 fastcgi_param PATH_INFO $fastcgi_path_info;
 }
 location ~ /\.(?!well-known).* {
 deny all;
 }
 }
```

LaravelをNginxで動作させる設定です。
ApacheではLaravel同梱の.htaccessが設定してくれるが、Nginxでは.htaccessに当たるものがないためNginxのconfを修正する必要がある。（[.htaccessを極力使わないほうがいい](https://www.suzu6.net/posts/240-htaccess-apache-vs-nginx/)）

公式の設定[Nginx | laravel.com](https://laravel.com/docs/8.x/deployment#nginx)からphpコンテナのfpmを見るよう修正しています。
ネットワークはDockerに管理されており、ホスト名はコンテナ名と同等です。

ドキュメントルートを`/var/www/laravel/public`としています。
**プロジェクト名が変わるときはパスに注意。**

### docker-composeのコマンド
ホスト側でよく使うコマンドです。
```sh
# コンテナ起動
$ docker-compose up -d

# コンテナ削除
$ docker-compose down

# コンテナ、イメージ、ボリューム、ネットワークを一括完全消去
$ docker-compose down --rmi all --volumes

# phpコンテナに接続する（コンテナ名を変えて他のコンテナに接続できる）
$ docker-compose exec php bash
```
Dockerfileなど修正した場合は一括削除してから起動しなおすといい。

初回は[Laravel 8.x インストール](https://readouble.com/laravel/8.x/ja/installation.html)に従ってphpコンテナ内で作業するとプロジェクトを作成できます。
ログの書き込みなどで**permission denined**が出る場合は、`# chown -R www-data:www-data /var/www`を実行するとphp-fpmに権限が与えられて解消できます。（php-fpmユーザを変更した場合はそのユーザ名にする）

## 参考
#### DockerFile
- [Dockerを使ってLaravel開発環境構築](https://qiita.com/A-Kira/items/1c55ef689c0f91420e81)
- [Vue + Vue Router + Vuex + Laravelで写真共有アプリを作ろう (3) SPA開発環境とVue Router](https://www.hypertextcandy.com/vue-laravel-tutorial-setting-up-spa-project)

#### Dockerの操作
- [《滅びの呪文》Docker Composeで作ったコンテナ、イメージ、ボリューム、ネットワークを一括完全消去する便利コマンド](https://qiita.com/suin/items/19d65e191b96a0079417)

#### 書籍

<a href="https://www.amazon.co.jp/Docker%E5%AE%9F%E8%B7%B5%E3%82%AC%E3%82%A4%E3%83%89-%E7%AC%AC2%E7%89%88-impress-top-gear/dp/4295005525/ref=as_li_ss_il?adgrpid=52005894183&dchild=1&gclid=Cj0KCQjw5eX7BRDQARIsAMhYLP8Pg6ptqJp0zP8yZpQrHoRPGCvfYg0lpWHE5LbbLbrGj46tbiogBgAaAm5SEALw_wcB&hvadid=338517973140&hvdev=c&hvlocphy=1009414&hvnetw=g&hvqmt=e&hvrand=7690341243257993499&hvtargid=kwd-333055296139&hydadcr=27265_11561134&jp-ad-ap=0&keywords=docker%E5%AE%9F%E8%B7%B5%E3%82%AC%E3%82%A4%E3%83%89&qid=1601855634&sr=8-2&linkCode=li2&tag=suzu60c-22&linkId=090fb950c12f16b36c5148d8e6ea363e&language=ja_JP" target="_blank"><img border="0" src="//ws-fe.amazon-adsystem.com/widgets/q?_encoding=UTF8&ASIN=4295005525&Format=_SL160_&ID=AsinImage&MarketPlace=JP&ServiceVersion=20070822&WS=1&tag=suzu60c-22&language=ja_JP" ></a><img src="https://ir-jp.amazon-adsystem.com/e/ir?t=suzu60c-22&language=ja_JP&l=li2&o=9&a=4295005525" width="1" height="1" border="0" alt="" style="border:none !important; margin:0px !important;" />

[Docker実践ガイド 第2版 | amazon](https://amzn.to/30w5x7w)

Dockerって何？の状態で読むと難しすぎたが、Dockerの概念を他で学び試して遊んでからわかるようになった。
Dockerの運用管理向け、業務で何度も読み返しそうな良著。

Laravel + Nginx + MySQLのDocker開発環境を共有します


WSL2を導入してとうとうDockerが使えるようになりました！
[この記事](https://qiita.com/A-Kira/items/1c55ef689c0f91420e81)に沿ってLaravelの開発環境を作っているところです。

Laravelが動くコンテナからDBのコンテナに接続するホスト名がわからなかったのでメモします。
結論としては**コンテナ間通信はコンテナ名を使用することでできます**。

---
2021/11/16 追記

WindowsでのDocker環境の構築方法は次の記事にまとめました。

[WSL2とDocker Desktop on WindowsでDocker環境を構築する](https://www.suzu6.net/posts/337-windows11-docker-desktop-wsl2)

---

### 環境

- Windows 10 Home x64 
  - OS ビルド: 19041.450
- Docker version 19.03.12
- docker-compose version 1.26.2

`docker-compose.yml`と手順は[こちら](https://qiita.com/A-Kira/items/1c55ef689c0f91420e81)を参考にしました。
これでMySQLとphpが動くコンテナができます。

```yml
version: '3'

services:
  php:
    container_name: php
    build: ./docker/php
    volumes:
    - ./server:/var/www

  db:
    image: mysql:5.7
    container_name: db-host
    environment:
      MYSQL_ROOT_PASSWORD: root
      MYSQL_DATABASE: laravel
      MYSQL_USER: docker
      MYSQL_PASSWORD: docker
      TZ: 'Asia/Tokyo'
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    volumes:
    - ./docker/db/data:/var/lib/mysql
    - ./docker/db/my.cnf:/etc/mysql/conf.d/my.cnf
    - ./docker/db/sql:/docker-entrypoint-initdb.d
    ports:
    - 3306:3306
```

### ローカルPCからmysqlに接続する

`db`のポートフォワーディングを3306にしているため、ローカルPCのSQLクライアントからは
- host: localhost (or 127.0.0.1)
- port: 3306
で接続できました。

### phpコンテナからmysqlに接続する

ローカルPCからと同じくlocalhostでポートを指定すれば接続できるのかと勘違いしてました。
Dockerでは**Dockerネットワークを作成してコンテナ名で通信が可能**なようです。

詳しいことは[こちら](https://knowledge.sakura.ad.jp/16082/)を見てください。
あまり理解できてないです…

Dockerネットワークを確認する`docker network ls`をローカルPCで実行した結果です。
この中の`laradoc_default`が名前解決しているっぽいです。
```sh
>docker network ls                       
NETWORK ID          NAME                   DRIVER              SCOPE
f26fe47a0096        bridge                 bridge              local
8b3e919809cd        host                   host                local
ca6f7a9282e5        laradoc_default        bridge              local
3f97d25e5c4a        none                   null                local
```

dbのコンテナの`/etc/hosts`を見てみるとこうなっている。
```sh
root@728c68c615ef:/var/www/laravel# cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.19.0.2      728c68c615ef
```


### phpコンテナからmysqlに接続する

phpコンテナの.envは以下の設定で接続できました。
`DB_HOST`をコンテナ名にしてあります。
```conf
DB_CONNECTION=mysql
DB_HOST=db
DB_PORT=3306
DB_DATABASE=laravel
DB_USERNAME=docker
DB_PASSWORD=docker
```
rootではなくユーザdockerに権限を与える`GRANT ALL ON laravel.* TO docker;`を実行してあります。

Dockerの仕組みの知識がふわふわしてるので勉強しないと。
とりあえず、ローカル開発環境は作ることができた。

## 参考

- [Docker入門（第五回）〜コンテナ間通信〜 - さくらのナレッジ](https://knowledge.sakura.ad.jp/16082/)
  - 参考にした記事。


DockerでのLaravel .envの設定。コンテナ間通信はホスト名＝コンテナ名でした


MySQLでリストアをしていた際に`ERROR 2006 (HY000) at line 566: MySQL server has gone away`とエラーが出た。
結果的に`max_allowed_packet`を1MBから4MBへ増やしたことで解決しました。

そのメモ。

## 環境

- CentOS 6.6
- MySQL 5.1

## MySQL server has gone away

調べると[こちら](https://qiita.com/RyutaKojima/items/3772d695db5e2342ab47)の記事に行き当たりました。
このエラーがでる原因を３つ示しています。

1. サーバータイムアウト
2. 接続をcloseしている
3. クエリが大きすぎる or クエリの最大サイズの設定が小さい

この中からクエリサイズが設定よりも大きいためと考え、クエリの最大サイズの設定を変更する。


## max_allowed_packet

クエリの最大サイズは`max_allowed_packet`の設定です。

確認から設定までは[](https://qiita.com/_am_/items/91824da643256d46b847)を参考にしました。

まずは現在の設定を確認します。

```sh
mysql> show variables like 'max_allowed_packet';
+--------------------+---------+
| Variable_name      | Value   |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
1 row in set (0.00 sec)
```

単位はバイトで、設定は1MBでした。
`my.conf`を変更して4MBにします。

`/etc/my.conf`
```conf
max_allowed_packet = 4194304
```
（MySQLのバージョンが古いためか、`max_allowed_packet = 4MB`とすると変更できなかった）

サーバを再起動して設定を反映後もう一度確認します。

```sh
mysql> show variables like 'max_allowed_packet';
+--------------------+---------+
| Variable_name      | Value   |
+--------------------+---------+
| max_allowed_packet | 4194304 |
+--------------------+---------+
1 row in set (0.00 sec)
```

OK!!


## 補足など

### サーバを再起動
CentOS6です

```sh
$ sudo service mysql restart
Shutting down MySQL.... SUCCESS! 
Starting MySQL.. SUCCESS! 
```

### my.confの場所の確認

```sh
$ mysql --help | grep my.cnf
                      order of preference, my.cnf, $MYSQL_TCP_PORT,
/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf
```

## ERROR 2006 (HY000)について

[MySQL 5.6 リファレンスマニュアル](https://dev.mysql.com/doc/refman/5.6/ja/error-messages-server.html)より

> エラー: 2006 (CR_SERVER_GONE_ERROR)
> メッセージ: MySQL Server が存在しなくなりました
> 
> [B.4 クライアントのエラーコードおよびメッセージ](https://dev.mysql.com/doc/refman/5.6/ja/error-messages-client.html)

> 5 文字の SQLSTATE 値 ('42S02')。この値は、ANSI SQL および ODBC から採用されており、より標準化されています。すべての MySQL エラー番号に、対応する SQLSTATE 値があるわけではありません。それらの場合は、'HY000' (一般エラー) が使用されます。
> 
> [B.3 サーバーのエラーコードおよびメッセージ](https://dev.mysql.com/doc/refman/5.6/ja/error-messages-server.html)

うん、そのままですね。参考になる記事が見つかって良かったです。

## 参考

- [MySQLのエラーと対策まとめ - Qiita](https://qiita.com/RyutaKojima/items/3772d695db5e2342ab47)
  - `MySQL server has gone away`が出る原因を3パターン示している
  - ※参照されているMySQL 4.1 リファレンスマニュアルがリンク切れでした。
- [mysql max_allowed_packetを変更する - Qiita](https://qiita.com/_am_/items/91824da643256d46b847)

MySQL server has gone awayがmax_allowed_packetを変更して解決した

MySQLのアップグレードドキュメントのリンクのまとめです。
ざっと検索したけど5.5以下はほぼ残っていないかも。

## リンク
| Ver. | Links |
| ---------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 5.7 to 8.0 | 日本語 [英語](https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html) |
| 5.6 to 5.7 | 日本語 [英語](https://dev.mysql.com/doc/refman/5.7/en/upgrading-from-previous-series.html) |
| 5.5 to 5.6 | [日本語](https://dev.mysql.com/doc/refman/5.6/ja/upgrading-from-previous-series.html) [英語](https://dev.mysql.com/doc/refman/5.6/en/upgrading-from-previous-series.html) |
| 5.1 to 5.5 | 日本語 [英語PDF](https://downloads.mysql.com/docs/mysql-5.5-relnotes-en.a4.pdf) もしくは[公式外のリリースノート](https://www.s-style.co.jp/mysql_news/mysql/20091215.html) |
| 5.0 to 5.1 | [日本語](http://download.nust.na/pub6/mysql/doc/refman/5.1/ja/upgrading-from-5-0.html) 英語 |

### 補足
- MySQL5.5はHTMLでドキュメントがあったようだが、全て8.0にリダイレクトされる。無くなったのかもしれない。
- 番号がとびとびで奇妙に思う方は[MySQLの歴史が面白い - Qiita](https://qiita.com/nom_bom/items/75d409b303f4814143c8)を読むと理由が分かるかと。
- [MySQL Documentation Archive](https://dev.mysql.com/doc/index-archive.html)に古いバージョンのアーカイブがPDF形式で載っている。

MySQLのアップグレードドキュメントのリンク


開発サーバに相乗りするためにMySQL5.5の環境にLaravel6.2を配置しました。
その際、SQLのエラーが出たのでそれを回避する設定について書きます。

デフォルトの設定を維持しつつ、他のプロジェクトへ影響も鑑みて`my.conf`は変更しないよう対応します。

## 環境

- CentOS 7
- PHP 7.3
- Laravel 6.2
- MySQL5.5

## 変更点

先に変更点を挙げます。
文字コードとstrictモードについてサーバ毎に変更できるようにしました。

**config/database.php**
```php
'mysql' => [
    // 文字コードを指定
    'charset' => env('DB_CHARSET', 'utf8mb4'),
    'collation' => env('DB_COLLATION', 'utf8mb4_unicode_ci'),

    // strictモードを指定
    'strict' => env('DB_STRICT', true),
],
```

**.env**
```conf
DB_CHARSET=utf8
DB_COLLATION=utf8_unicode_ci
DB_STRICT=false
```

MySQL 5.8以降の環境では **.env**に修正が不要です。

## 文字コードの対応

```sh
[previous exception] [object] (PDOException(code: 42000): SQLSTATE[42000]: Syntax error or access violation: 1071 Specified key was too long; max key length is 767 bytes at /srv/samples.jp/app/vendor/laravel/framework/src/Illuminate/Database/Connection.php:463)"}
```
このエラーが出たので調べると次の記事に辿り着いた。
- [Laravel5.4以上、MySQL5.7.7未満 でusersテーブルのマイグレーションを実行すると Syntax error が発生する - Qiita](https://qiita.com/beer_geek/items/6e4264db142745ea666f)

原因について詳しくかかれているので引用させて頂きます。

> 1. Laravel5.4から標準charasetがutf8mb4に変わった
>    標準charasetがutf8mb4となったことで1文字あたりの最大byte数が4bytesに増えた。
> 2. MySQL5.7.7未満ではユニーク制約を付けたカラムは最大767bytes
>    マイグレーションファイルにvarcharカラムの大きさを指定しなかった場合、varchar(255) のカラムが作成される。
> ```php
>  $table->string('email')->unique();
> ```
> 一方、MySQL5.7.7以前のバージョンでは、PRIMARY_KEYおよびUNIQUE_KEYを付けたカラムには最大767bytesまでしか入らない。
> 
> 4bytes,255文字では767bytesを超えてしまう。これがエラーの原因。

また、`utf8`と`utf8mb4`の違いは以下のよう。

> MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。
> 
> UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。
> [MySQL で utf8 と utf8mb4 の混在で起きること - @tmtms のメモ](https://tmtms.hatenablog.com/entry/2016/09/06/mysql-utf8)

特に絵文字は4バイトであるためutf8だと使えない。



## strictモード

- [Laravel5 QueryBuilderでgroupByが動かない時の対応方法 - Qiita](https://qiita.com/hikarizm/items/b8d50ab2e6a55c2e5dae)
- [MySQL 5.6 リファレンスマニュアル 厳密な SQL モード](https://dev.mysql.com/doc/refman/5.6/ja/sql-mode.html#sql-mode-strict)




Laravel6.xでMySQL5.5を使うための設定


SSHの接続先でdumpを取っていたら、SSH接続がタイムアウトしてdumpも途中で止まってしまった。

```
Terminal close -- exit!
```

この悲しみは２度と起こしてはならないため、SSHが切れてもバックグラウンドジョブで実行させる。

## nohupコマンド

SSH接続がタイムアウトするとSIGHUPが送られ実行中のジョブが停止する。
**nohup**を使って実行したジョブはこのSIGHUPを無視して継続してくれる。

方法は`nohup コマンド &`で最後に`&`を付ける。
実行したディレクトリに`nohup.out`が作られ、標準出力はそこに追加保存される。

せっかくなので、シェルを組んで動かす。

```sh
# 作ったシェルスクリプト
$ cat dump.sh
#!/bin/bash

echo -n "START:"
date
# ダンプの処理
mysqldump -u user -ppasswd -h localhost -B database > dump-$(date "+%Y%m%d").sql

echo -n "END:"
date

# バックグラウンドジョブで実行
$ nohup ./dump.sh&
```

`nohup.out`の結果
```log
START:Thu Dec 26 10:36:54 JST 2019
Warning: Using a password on the command line interface can be insecure.
./dump.sh: line 5:  7332 Terminated              mysqldump -u user -ppasswd -h localhost -B database > dump-$(date "+%Y%m%d").sql
END:Thu Dec 26 10:57:43 JST 2019
```

コマンドラインにパスワードを書いているので警告が出ているが、ダンプ完了まで実行できたので良い。

## 参考

- [nohupを使ってsshログアウト後もシェルスクリプトを動かす - Qiita](https://qiita.com/toshihirock/items/4a6b17a38f9b6e5e7116)
- [HUPシグナルとnohupとdisownとバック/フォアグラウンドジョブの理解 - Qiita](https://qiita.com/yushin/items/732043ee23281f19f983)

nohupを使ってmysqldumpをバックグラウンドで実行する


マイグレーションのステータスを見ようとして表題のエラーが出た。

```sh
$ php artisan migrate:status
Migration table not found.
```

マイグレーションしたことのない新しいDBに繋いでいたため、
マイグレーションテーブルが無くてエラーになっただけ。

```sh
$ php artisan migrate
Migration table created successfully.
Migrating: 2014_10_12_000000_create_users_table
Migrated:  2014_10_12_000000_create_users_table (0.06 seconds)
Migrating: 2014_10_12_100000_create_temp_users_table
Migrated:  2014_10_12_100000_create_temp_users_table (0.08 seconds)
Migrating: 2019_08_19_000000_create_companies_table
Migrated:  2019_08_19_000000_create_companies_table (0.03 seconds)
```

`php artisan migrate`でテーブルを作成したので見られるようになった。

```
[vagrant@localhost app]$ php artisan migrate:status
+------+-----------------------------------------------------------+-------+
| Ran? | Migration                                                 | Batch |
+------+-----------------------------------------------------------+-------+
| Yes  | 2014_10_12_000000_create_users_table                      | 1     |
| Yes  | 2014_10_12_100000_create_temp_users_table                 | 1     |
| Yes  | 2019_08_19_000000_create_companies_table                  | 1     |
+------+-----------------------------------------------------------+-------+
```