
シェルスクリプトを実行した際に`$'\r': command not found` が出た。

これは Windows の改行コードが原因であり、スクリプトを Linux/unix の改行コードに変換する必要がある。

## dos2unix

https://docs.oracle.com/cd/E19253-01/819-1210/6n3j74jn0/index.html

改行コードを変換するツール dos2unix で変更する。

```bash
$ dos2unix <対象のファイル>
```

インストール方法

```bash
# redhat系
$ yum install dos2unix

# Debian系
$ apt-get install dos2unix

# Mac
$ brew install dos2unix
```

### 他に試したこと

sed での変換はうまくいかず、実行結果は変わらなかった。

```bash
$ sed "s/^M//g" <変換前のファイル> <変換後のファイル>
```


シェルスクリプトの実行で$'\r' command not found が出る場合


ディレクトリの中身のファイルをリスト化して操作できると色々と便利です。
例としてディレクトリ内のファイルの行数をCSV出力してみながら、bashの解説をしていきます。

## Contents

## 目的

Apacheの**ログファイルのファイル名とそのファイルの行数のCSVを出力する**bashを考えてみる。

▼ディレクトリの中身はこんな感じ。
Apacheのログとそのバックアップのディレクトリがあるとする。
ログは１週間ごとに切り分けてあり、古いファイルは圧縮している。

```bash
/var/log/httpd/
├── access_log
├── access_log-20210228.gz
├── access_log-20210307.gz
├── access_log-20210314.gz
├── access_log-20210321.gz
├── error_log
├── error_log-20210228.gz
├── error_log-20210307.gz
├── error_log-20210314.gz
├── error_log-20210314.gz
├── error_log-20210321.gz
└── backup  # ディレクトリ
    ├── 202012
    ├── 202101
    ├── 202102
    └── 202103
```

以降で順に説明しながら目的を実行するスクリプトを書いていく。

## 1. ディレクトリ内のファイルとフォルダを出力する

```bash
#!/bin/bash

DIR=/var/log/httpd

# ディレクトリ内のファイルのリストを操作
for path in $DIR/*; do
  # パスを出力する
  echo $path
done
```

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
/var/log/httpd/backup
```

`for path in /path/to/dir/*; do`と書くとディレクトリ内の一層目のファイルとフォルダの
リストをfor文で扱うことができる。

## 2. ディレクトリとファイルを判定する

`if [ -d "$path" ]; then`でディレクトリか判定できる。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  echo $path
done
```

▼ファイルのみ出力する

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
```

早めに例外で切り上げるため`-d`でディレクトリか判定しました。
他にもファイルやシンボリックリンクなど判定できます。

> - `-e`: パスが存在するか
> - `-d`: ディレクトリが存在するか
> - `-f`: ファイルが存在するか
> - `-L`: リンクが存在するか
> - `-s`: 空ファイルではないか
> - `-w`: ファイルが書込可能か
> - `-x`: ファイルが実行可能か
> 参考: [bashでファイルやディレクトリの存在確認方法まとめ](https://qiita.com/nii_yan/items/73f4caacdc2ca6f45135)

## 3. パスからファイル名を取得する

`FILE_NAME=${path##*/}`でパスからファイル名を取得出来る。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}
  echo $FILE_NAME
done
```

```bash:実行結果
access_log
access_log-20210228.gz
access_log-20210307.gz
access_log-20210314.gz
access_log-20210321.gz
error_log
error_log-20210228.gz
error_log-20210307.gz
error_log-20210314.gz
error_log-20210321.gz
```

パターンマッチより`${変数##パターン}`とすると**先頭から最長一致した部分を取り除く**。
つまり、`${path##*/}`ではパスの一番後ろの`/`までが取り除かれるため、ファイル名が残る。

> パターンマッチの仕様
>
> ```bash
> ${変数#パターン}   # 先頭から最短一致した部分を取り除く
> ${変数##パターン}  # 先頭から最長一致した部分を取り除く
> ${変数%パターン}   # 末尾から最短一致した部分を取り除く
> ${変数%%パターン}  # 末尾から最長一致した部分を取り除く
> ```
>
> 参考: [パス文字列からファイル名などを抜き出す](https://qiita.com/ktr_type23/items/94747a4b27e8a630ce48)

## 4. ファイルの行数を変数に代入する

`wc -l`でファイルの行数がわかる。
この結果を変数に代入して扱えるようする。

```bash
#!/bin/bash

file=/var/log/httpd/access_log
LINE=$(wc -l < $file)

echo $LINE
```

```bash:実行結果
173543
```

また、行数を取得する際に条件付けもしてみる。

### 4.1. grepで条件付けした行数を変数に代入する

```bash
#!/bin/bash

# grepで条件付け
file=/var/log/httpd/access_log
LINE=$(cat $file | grep POST | wc -l)

echo "POST:"$LINE
```

```bash:実行結果
POST:26
```

### 4.2. 一時ファイルに保存した行数を変数に代入する

```bash
#!/bin/bash

# 一時ファイルに保存する
# GETを含む and 200を含まない
cat /var/log/httpd/access_log \
      | grep GET \
      | grep -v "200" \
      > tmp.txt
LINE=$(wc -l < "tmp.txt")
echo "GET and not in 200:"$LINE
```

```bash:実行結果
GET and not in 200:76
```

### 4.3. 圧縮ファイルの行数を変数に代入する

```bash
#!/bin/bash

# 圧縮ファイル
file=/var/log/httpd/access_log-20210228.gz
LINE=$(zcat $file | wc -l)

echo $LINE
```

```bash:実行結果
413180
```

## 5. ログファイルのファイル名とそのファイルの行数のCSVを出力する

目的の処理を実装する。

```bash
#!/bin/bash

DIR=/var/log/httpd

echo "filename,line"
for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}

  # 拡張子
  ext=${FILE_NAME##*.}
  if [ "$ext" == "gz" ]; then
    # 圧縮ファイル
    LINE=$(zcat $path | wc -l)
  else
    LINE=$(cat $path | wc -l)
  fi
  echo $FILE_NAME","$LINE
done
```

```bash:実行結果
filename,line
access_log,178389
access_log-20210228.gz,413180
access_log-20210307.gz,411489
access_log-20210314.gz,413381
access_log-20210321.gz,422814
error_log,16686
error_log-20210228.gz,41686
error_log-20210307.gz,44184
error_log-20210314.gz,44154
error_log-20210321.gz,43002
```

いい感じですね。


【bash】ディレクトリ内のファイルの行数をCSV出力する


SSHの接続先でdumpを取っていたら、SSH接続がタイムアウトしてdumpも途中で止まってしまった。

```
Terminal close -- exit!
```

この悲しみは２度と起こしてはならないため、SSHが切れてもバックグラウンドジョブで実行させる。

## nohupコマンド

SSH接続がタイムアウトするとSIGHUPが送られ実行中のジョブが停止する。
**nohup**を使って実行したジョブはこのSIGHUPを無視して継続してくれる。

方法は`nohup コマンド &`で最後に`&`を付ける。
実行したディレクトリに`nohup.out`が作られ、標準出力はそこに追加保存される。

せっかくなので、シェルを組んで動かす。

```sh
# 作ったシェルスクリプト
$ cat dump.sh
#!/bin/bash

echo -n "START:"
date
# ダンプの処理
mysqldump -u user -ppasswd -h localhost -B database > dump-$(date "+%Y%m%d").sql

echo -n "END:"
date

# バックグラウンドジョブで実行
$ nohup ./dump.sh&
```

`nohup.out`の結果
```log
START:Thu Dec 26 10:36:54 JST 2019
Warning: Using a password on the command line interface can be insecure.
./dump.sh: line 5:  7332 Terminated              mysqldump -u user -ppasswd -h localhost -B database > dump-$(date "+%Y%m%d").sql
END:Thu Dec 26 10:57:43 JST 2019
```

コマンドラインにパスワードを書いているので警告が出ているが、ダンプ完了まで実行できたので良い。

## 参考

- [nohupを使ってsshログアウト後もシェルスクリプトを動かす - Qiita](https://qiita.com/toshihirock/items/4a6b17a38f9b6e5e7116)
- [HUPシグナルとnohupとdisownとバック/フォアグラウンドジョブの理解 - Qiita](https://qiita.com/yushin/items/732043ee23281f19f983)

nohupを使ってmysqldumpをバックグラウンドで実行する


Laradockでphpのバージョンを変更する手順です。
デフォルトが`php 7.2`でしたので、`php 7.3`に変更しました。
`php-fpm`を利用しています。

現在対応しているバージョンは以下の通り。

- 7.3 
- 7.2
- 7.1
- 7.0
- 5.6

## ディレクトリと構成

プロジェクト直下にlaradockとpublicを置く構成。
[http://localhost/info.php](http://localhost/info.php)でphpのバージョンを確認できるようにしてある。

```sh
project
 ├─ laradock
 |   ├─ nginx
 |   ├─ php-fpm
 |   └─ .env
 └─ public
     ├─ index.html
     └─ info.php
```

`./public/info.php`

```php
<?php
phpinfo();
```

`./laradoc/.env`

**./laradock/.env**の変更点。`public`を表示するようにしている。

```diff
- APP_CODE_PATH_HOST=../
+ APP_CODE_PATH_HOST=../public/

- APP_CODE_PATH_CONTAINER=/var/www/
+ APP_CODE_PATH_CONTAINER=/var/www/public/
```

## phpのバージョン

デフォルトのphpのバージョンは**7.2**でした。

**./laradock/.env**

```sh
# Select a PHP version of the Workspace and PHP-FPM containers (Does not apply to HHVM). Accepted values: 7.3 - 7.2 - 7.1 - 7.0 - 5.6
PHP_VERSION=7.2
```

### バージョンの設定とbuild

バージョンの変更は設定を変え、buildします。

#### 1. `PHP_VERSION`を変更する

**./laradock/.env**

```diff
# Select a PHP version of the Workspace and PHP-FPM containers (Does not apply to HHVM). Accepted values: 7.3 - 7.2 - 7.1 - 7.0 - 5.6
- PHP_VERSION=7.2
+ PHP_VERSION=7.3
```

5.6, 7.0, 7.1, 7.2, 7.3に変更できます。マイナーバージョンは各最新のものです。

#### 2. php-fpmをbuildする

```sh
$ docker-compose build php-fpm
```

#### 3. phpinfo()を確認する

Nginxとworkspaceを立ち上げる。

```sh
$ docker-compose up -d nginx workspace
```

[http://localhost/info.php](http://localhost/info.php)でphpのバージョンを確認する。

![phpinfo](/images/posts/139/phpinfo.png)

出来た！

## 参考

[Change php version in laradock](https://medium.com/@abdulwahabcomsi/change-php-version-in-laradock-6bdb4722d26b)

バージョンを変更して立ち上げるシェルスクリプトを公開しています。

```sh
#!/bin/bash
version=$1
echo 'changing Php Version to '$1;
###change version in env file                        
sed -i '.bak' "s/PHP_VERSION=.../PHP_VERSION=$1/g" '.env'                                               
### Build fpm and cli for new version                       
docker-compose build php-fpm                       
docker-compose build workspace                                               
### Restart Container to use new version of php
docker-compose down                       
docker-compose up -d nginx mysql workspace redis
```

### Laravelのおすすめ参考書

こちらの書籍でLaravelの全体像が分かりやすいです。
MVCの概念の説明から開発環境の構築、Laravelの基本的な機能について学べます。

[PHPフレームワーク Laravel入門](https://amzn.to/2JVDkzI)

<a href="https://www.amazon.co.jp/PHP%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E3%83%AF%E3%83%BC%E3%82%AF-Laravel%E5%85%A5%E9%96%80-%E6%8E%8C%E7%94%B0%E6%B4%A5%E8%80%B6%E4%B9%83-ebook/dp/B07CLLW4MX/ref=as_li_ss_il?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=php7&qid=1558422296&s=books&sr=1-10&linkCode=li2&tag=suzu60c-22&linkId=619adb9f2b17c0e2847db78ab33c8e81" target="_blank"><img border="0" src="//ws-fe.amazon-adsystem.com/widgets/q?_encoding=UTF8&ASIN=B07CLLW4MX&Format=_SL160_&ID=AsinImage&MarketPlace=JP&ServiceVersion=20070822&WS=1&tag=suzu60c-22" ></a><img src="https://ir-jp.amazon-adsystem.com/e/ir?t=suzu60c-22&l=li2&o=9&a=B07CLLW4MX" width="1" height="1" border="0" alt="" style="border:none !important; margin:0px !important;" />

- バージョン：Laravel 5.4
- OS：Windows, Mac OS対応

注意：HTML/CSSが解かる人向けです。基本からちょっと外れたこと（既存のDBを使う方法など）は載っていません。