
シェルスクリプトを実行した際に`$'\r': command not found` が出た。

これは Windows の改行コードが原因であり、スクリプトを Linux/unix の改行コードに変換する必要がある。

## dos2unix

https://docs.oracle.com/cd/E19253-01/819-1210/6n3j74jn0/index.html

改行コードを変換するツール dos2unix で変更する。

```bash
$ dos2unix <対象のファイル>
```

インストール方法

```bash
# redhat系
$ yum install dos2unix

# Debian系
$ apt-get install dos2unix

# Mac
$ brew install dos2unix
```

### 他に試したこと

sed での変換はうまくいかず、実行結果は変わらなかった。

```bash
$ sed "s/^M//g" <変換前のファイル> <変換後のファイル>
```


シェルスクリプトの実行で$'\r' command not found が出る場合


CentOS 7にfluentdをインストールしようと公式の手順を実行したらインストールできなかった。

[Install by RPM Package (Red Hat Linux) - docs.fluentd.org](https://docs.fluentd.org/installation/install-by-rpm)

こちらの公式ドキュメントの手順に従ってrpm Repsitoryから**td-agent 4**をインストールしてみる。

途中でシェルスクリプトを取得して実行するコマンドがあり、そこでエラーが出た。

```bash
# td-agent 4
# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent4.sh | sh

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   849  100   849    0     0    904      0 --:--:-- --:--:-- --:--:--   908
==============================
 td-agent Installation Script
==============================
This script requires superuser access to install rpm packages.
You will be prompted for your password by sudo.
sh: line 8: sudo: command not found
sh: line 11: sudo: command not found

Installation completed. Happy Logging!
```

問題だったのはrootユーザで実行したため`sudo`コマンドが見つからないとエラーが出てインストールできなかった。

## 解決方法

rootユーザ以外で実行すればよい。以上。


ただ、rootユーザしかない環境だったのでrootで実行できるようにする。
（ユーザ作るの面倒）

curlで取得している`install-redhat-td-agent4.sh`の`sudo`を取り除けばいい。

`install-redhat-td-agent4.sh`の中身と書き換えた箇所。
```diff:install-redhat-td-agent4.sh
echo "=============================="
echo " td-agent Installation Script "
echo "=============================="
echo "This script requires superuser access to install rpm packages."
echo "You will be prompted for your password by sudo."

# clear any previous sudo permission
-- sudo -k

# run inside sudo
-- sudo sh <<SCRIPT
++ sh <<SCRIPT

  # add GPG key
  rpm --import https://packages.treasuredata.com/GPG-KEY-td-agent

  # add treasure data repository to yum
  cat >/etc/yum.repos.d/td.repo <<'EOF';
[treasuredata]
name=TreasureData
baseurl=http://packages.treasuredata.com/4/redhat/\$releasever/\$basearch
gpgcheck=1
gpgkey=https://packages.treasuredata.com/GPG-KEY-td-agent
EOF

  # update your sources
  yum check-update

  # install the toolbelt
  yes | yum install -y td-agent

SCRIPT

# message
echo ""
echo "Installation completed. Happy Logging!"
echo ""
```
中身はyumにTreasureDataのリポジトリを追加する設定ファイルを作ってyum installを実行している内容。

wgetして上記のように書き換えて実行すると無事インストールできた。


```bash
# 書き換えたスクリプトを実行する
# sh install-redhat-td-agent4.sh
==============================
 td-agent Installation Script
==============================

...

Installed:
  td-agent.x86_64 0:4.2.0-1.el7

Dependency Installed:
  libedit.x86_64 0:3.0-12.20121213cvs.el7                          libyaml.x86_64 0:0.1.4-11.el7_0

Complete!

Installation completed. Happy Logging!
```


fluentdがInstall by RPM Package (Red Hat Linux)の手順でインストールできないとき



PHP5.xをバージョン指定してCentOS7にインストールするコマンドです。
PHP7.xやPHP8.xも同様に可能です。
シェルスクリプトで自動化できるようにしたので、VMやDockerのイメージ作成にも使えます。

この記事にたどり着いた方の大半はレガシーな古いPHPのシステムを刷新しようと頑張る方だと思うので応援したい。
今更感もあるがちゃんと書く。

## Contents

## 環境

```bash
$ sudo cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)
```

このサーバにPHP5.xをインストールします。

ここではPHP-FPMを利用しないApacheの構成を想定してます。

## php56をインストールするコマンド

例としてphp56といくつかのphpモジュールやPEARのパッケージをインストールする例を載せます。
一緒にhttpd24もインストールされます。

```bash
#!/bin/bash
yum update

## remi
yum install -y epel-release
yum install -y http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

# デフォルトだと5.4をインストールしてしまう
# php5.6リポジトリの有効化
yum install -y yum-utils
yum-config-manager --enable remi-php56

# php5.6のインストール
yum -y install php
yum -y install php-mbstring \
    php-xml \
    php-pear

# 設定ファイルのバックアップ
cp /etc/php.ini /etc/php.ini.org
# /etc/php.ini.d/　にPHPモジュールの設定ファイルがある


# pear packages
pear install Mail
pear install Mail_Mime
```

### バージョンの指定について

`yum-config-manager --enable remi-php56`のバージョンを`remi-php54`や`remi-php73`などにしてあげるとPHPのバージョンを指定できる。

デフォルトではphp5.4がインストールされてしまいます。
`yum -y --enablerepo=remi,remi-php56 php`でphp56をphpとしてインストールする方法もありますが、なぜかphp5.4がインストールされてしまう問題が起きたため`yum-utils`をインストールして`yum-config-manager`コマンドで`remi-php56`を有効にしてからインストールする方法に落ち着きました。

`yum-config-manager --enable remi-php56`を実行すると`/etc/yum.repos.d/remi.repo`の設定ファイルを書き換えてremi-php56を有効化します。

バージョン確認。

```bash
# php -v
PHP 5.6.40 (cli) (built: Jun 28 2021 14:40:12)
Copyright (c) 1997-2016 The PHP Group
Zend Engine v2.6.0, Copyright (c) 1998-2016 Zend Technologies
```

### /etc/yum.repos.d/remi.repoについて

`yum-config-manager --enable remi-php56`を実行すると`/etc/yum.repos.d/remi.repo`の設定ファイルの`[remi-php56]`の`enabled=1`と書き換えてremi-php56を有効化します。

設定ファイルの中身はこんな感じです。

```bash
$ sudo cat /etc/yum.repos.d/remi.repo
# Repository: http://rpms.remirepo.net/
# Blog:       http://blog.remirepo.net/
# Forum:      http://forum.remirepo.net/

[remi]
name=Remi\'s RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/remi/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/remi/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/remi/mirror
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

[remi-php55]
name=Remi\'s PHP 5.5 RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/php55/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/php55/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/php55/mirror
# NOTICE: common dependencies are in "remi-safe"
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

[remi-php56]
name=Remi\'s PHP 5.6 RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/php56/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/php56/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/php56/mirror
# NOTICE: common dependencies are in "remi-safe"
enabled=1 #これが1になった
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi
```

remiリポジトリの設定はいくつかあるのでこれから有効にするPHPのバージョンを選べばよい。

```bash
$ sudo cat /etc/yum.repos.d/remi
remi-glpi91.repo   remi-glpi94.repo   remi-php70.repo    remi-php73.repo    remi.repo
remi-glpi92.repo   remi-modular.repo  remi-php71.repo    remi-php74.repo    remi-safe.repo
remi-glpi93.repo   remi-php54.repo    remi-php72.repo    remi-php80.repo
```

## リンク

この記事に関するリンクを挙げておきます。
疑問に思ったら一読をお勧めします。

- [CentOSなどで使う、Remi Repositoryってなんだ？](https://qiita.com/charon/items/6d34ae798e9b05e8bd0a)

よくわかんないよってなったらTwitterのDMしてくれたら何とかします。
PHPのレガシーシステムの刷新とか仕事につながったら嬉しいです。


PHP5.xをCentOS7にインストールする


自分用のメモ

`yum update`したときにマイナーバージョンがどうなるか確かめました。
結果、CentOS7.1がCentOS7.9へとバージョンが上がってます。
CentOS7のなかでCentOS7.9.2009が現在最新ですので、最新のマイナーバージョンになるようです。

[CentOS 7 ReleaseNotes](https://wiki.centos.org/Manuals/ReleaseNotes/CentOS7)

環境はVagrantで用意しました。

## 初期のバージョン

CentOS7.1
```bash
$ cat /etc/redhat-release
CentOS Linux release 7.1.1503 (Core)

$ cat /etc/os-release 
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

$ uname -a
Linux localhost.localdomain 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 
x86_64 GNU/Linux
```

## yum updateしたあと
CentOS7.9
```bash
$ cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

$ cat /etc/os-release 
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

$ uname -a
Linux localhost.localdomain 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 
x86_64 GNU/Linux
```

やっぱりyum updateするとマイナーバージョンが最新になるね。

以上

CentOS7.1をyum updateすると7.9とかマイナーバージョンが上がることの確認



`yum deplist`でyumパッケージの依存関係を確認することができる。

```
yum deplist [パッケージ名]
```
パッケージが依存しているパッケージのリストを出力できます。

インストールする際に出るリストは足りないから一緒にインストールするパッケージのみです。

▼ **nginx**をインストールするとき一緒にインストールする依存したパッケージの例。
```bash
$ sudo yum install nginx
...
Dependencies Resolved

============================================================================================================= Package                        Arch                 Version                        Repository          Size 
=============================================================================================================Installing:
 nginx                          x86_64               1:1.20.1-2.el7                 epel               586 k 
Installing for dependencies:
 centos-indexhtml               noarch               7-9.el7.centos                 base                92 k 
 gperftools-libs                x86_64               2.6.1-1.el7                    base               272 k 
 nginx-filesystem               noarch               1:1.20.1-2.el7                 epel                23 k 
 openssl11-libs                 x86_64               1:1.1.1g-3.el7                 epel               1.5 M 

Transaction Summary
=============================================================================================================Install  1 Package (+4 Dependent packages)
```

`yum deplist`ではインストール済のパッケージも含めて依存するパッケージのリストがわかる。
対象が未インストールでも確認できます。

▼ nginxが依存するすべてのパッケージ。`openssl`や`zlib`に依存していることがわかる。
```bash
$ sudo yum deplist nginx

Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp-srv2.kddilabs.jp
 * epel: ftp.riken.jp
 * extras: ftp-srv2.kddilabs.jp
 * remi-php56: ftp.riken.jp
 * remi-safe: ftp.riken.jp
 * updates: ftp.riken.jp
package: nginx.x86_64 1:1.20.1-2.el7
  dependency: /bin/sh
   provider: bash.x86_64 4.2.46-34.el7
  dependency: libc.so.6(GLIBC_2.17)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypt.so.1(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypto.so.1.1()(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libcrypto.so.1.1(OPENSSL_1_1_0)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libdl.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libdl.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpcre.so.1()(64bit)
   provider: pcre.x86_64 8.32-17.el7
  dependency: libprofiler.so.0()(64bit)
   provider: gperftools-libs.x86_64 2.6.1-1.el7
  dependency: libpthread.so.0()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpthread.so.0(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpthread.so.0(GLIBC_2.3.2)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libssl.so.1.1()(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libssl.so.1.1(OPENSSL_1_1_0)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libssl.so.1.1(OPENSSL_1_1_1)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libz.so.1()(64bit)
   provider: zlib.x86_64 1.2.7-19.el7_9
  dependency: nginx-filesystem
   provider: nginx-filesystem.noarch 1:1.20.1-2.el7
  dependency: nginx-filesystem = 1:1.20.1-2.el7
   provider: nginx-filesystem.noarch 1:1.20.1-2.el7
  dependency: openssl
   provider: openssl.x86_64 1:1.0.2k-21.el7_9
  dependency: pcre
   provider: pcre.x86_64 8.32-17.el7
   provider: pcre.i686 8.32-17.el7
  dependency: redhat-indexhtml
   provider: centos-indexhtml.noarch 7-9.el7.centos
  dependency: rtld(GNU_HASH)
   provider: glibc.x86_64 2.17-324.el7_9
   provider: glibc.i686 2.17-324.el7_9
  dependency: system-logos
   provider: centos-logos.noarch 70.0.6-3.el7.centos
  dependency: systemd
   provider: systemd.x86_64 219-78.el7_9.3
```

### yum deplist php

▼ remi-release-7を使ってインストールしたphp5.6の依存するパッケージの例。
```bash
$ sudo yum deplist php
読み込んだプラグイン:fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp.jaist.ac.jp
 * epel: ftp.jaist.ac.jp
 * extras: ftp.jaist.ac.jp
 * remi-php56: ftp.riken.jp
 * remi-safe: ftp.riken.jp
 * updates: ftp.jaist.ac.jp
パッケージ    : php.x86_64 5.6.40-28.el7.remi
  依存性      : httpd
   provider: httpd.x86_64 2.4.6-97.el7.centos
  依存性      : httpd-mmn = 20120211x8664
   provider: httpd.x86_64 2.4.6-97.el7.centos
  依存性      : ld-linux-x86-64.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : ld-linux-x86-64.so.2(GLIBC_2.3)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libc.so.6(GLIBC_2.15)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libcom_err.so.2()(64bit)
   provider: libcom_err.x86_64 1.42.9-19.el7
  依存性      : libcrypt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libcrypto.so.10()(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(OPENSSL_1.0.1_EC)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(OPENSSL_1.0.2)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(libcrypto.so.10)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libdl.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libdl.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libgssapi_krb5.so.2()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libk5crypto.so.3()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libkrb5.so.3()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libm.so.6()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libm.so.6(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libnsl.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libpcre.so.1()(64bit)
   provider: pcre.x86_64 8.32-17.el7
  依存性      : libpthread.so.0()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libpthread.so.0(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libresolv.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libresolv.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : librt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libssl.so.10()(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libssl.so.10(libssl.so.10)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libxml2.so.2()(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.4.30)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.5.2)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.6.0)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.6.11)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libz.so.1()(64bit)
   provider: zlib.x86_64 1.2.7-19.el7_9
  依存性      : php-cli(x86-64) = 5.6.40-28.el7.remi
   provider: php-cli.x86_64 5.6.40-28.el7.remi
  依存性      : php-common(x86-64) = 5.6.40-28.el7.remi
   provider: php-common.x86_64 5.6.40-28.el7.remi
  依存性      : rtld(GNU_HASH)
   provider: glibc.x86_64 2.17-324.el7_9
   provider: glibc.i686 2.17-324.el7_9
```

以上


【CentOS7】yumで依存しているパッケージを確認する


サーバのアップデート兼移行のためインストールしているパッケージやサービスの状態を調べたりしています。

この記事では、systemctlの起動中や自動起動になっているサービス一覧を取得していきます。


## 起動中のサービス一覧を表示するコマンド

ステータスが`active`になっているサービスのリストを表示する。
```
# systemctl list-units --type=service
```

- `list-units`はデフォルトでアクティブなユニットのみを表示します。
- `--type`は表示するタイプを指定します。
  カンマ区切りで複数指定できる`--type=service,socket`。
  `service`の他に`socket`や`mount`や`device`などあり、`--type=service`を取って実行するといっぱい出てきて面白い。


▼ 実行した例 (CentOS 7.9)
```bash
$ sudo systemctl list-units --type=service
[sudo] suzu6 のパスワード:
  UNIT                             LOAD   ACTIVE SUB     DESCRIPTION
  abrt-ccpp.service                loaded active exited  Install ABRT coredump hook
  abrt-oops.service                loaded active running ABRT kernel log watcher
  abrtd.service                    loaded active running ABRT Automated Bug Reporting Tool
  atd.service                      loaded active running Job spooling tools
  auditd.service                   loaded active running Security Auditing Service
  chronyd.service                  loaded active running NTP client/server
  crond.service                    loaded active running Command Scheduler
  dbus.service                     loaded active running D-Bus System Message Bus
  firewalld.service                loaded active running firewalld - dynamic firewall daem
  getty@tty1.service               loaded active running Getty on tty1
...
```

- **UNIT**: systemdユニット名
- **LOAD**: ユニットの構成がsystemdによって解析されたかどうか。ロードされたユニットの設定はメモリに保持されます。
- **ACTIVE**: ユニットがアクティブかどうかに関する状態概要。これは通常、ユニットが正常に起動したかどうかを判断する極めて基本的な方法です。
- **SUB**: 低レベルの状態を表し、ユニットに関するより詳細な情報を示します。多くの場合、ユニットのタイプ、状態、および実際のユニットの実行方法によって異なります。
- **DESCRIPTION**: ユニットの内容/実行内容の短いテキストによる説明。

## 全てのサービスの状態を表示する

`list-units`はデフォルトでアクティブなユニットのみを表示するため、全ての状態を表示したい場合はオプション`--all`を付ける。

```
# systemctl list-units --all  --type=service
```



▼ 実行した例 (CentOS 7.9)
```bash
$ sudo systemctl list-units --all  --type=service
  UNIT                                             LOAD      ACTIVE   SUB     DESCRIPTION
  abrt-ccpp.service                                loaded    active   exited  Install ABRT coredump hook
  abrt-oops.service                                loaded    active   running ABRT kernel log watcher
  abrt-vmcore.service                              loaded    inactive dead    Harvest vmcores for ABRT
  abrt-xorg.service                                loaded    inactive dead    ABRT Xorg log watcher
  abrtd.service                                    loaded    active   running ABRT Automated Bug Reporting Tool
  atd.service                                      loaded    active   running Job spooling tools
  auditd.service                                   loaded    active   running Security Auditing Service
  chronyd.service                                  loaded    active   running NTP client/server
  cpupower.service                                 loaded    inactive dead    Configure CPU power related settings
  crond.service                                    loaded    active   running Command Scheduler
  dbus.service                                     loaded    active   running D-Bus System Message Bus
● display-manager.service                          not-found inactive dead    display-manager.service
  dm-event.service                                 loaded    inactive dead    Device-mapper event daemon
```
**ACTIVE**の状態は`active`, `inactive`, `failed`と3種類ありました。

## すべてのユニットファイルの一覧と自動起動の状態

list-unitsコマンドは、systemdが解析してメモリにロードしようとしたユニットのみを表示します。systemdは必要と判断したユニットしか読み込まないめ、必ずしもシステムで利用可能なユニットすべてが表示されるとは限りません。systemdがロードしないものを含め、systemdパス内の利用可能なユニットファイルをすべて表示するには、 list-unit-filesコマンドを使用します。

ついでに**STATE**のカラムで自動起動の有効無効が確認できる。

```
# systemctl list-unit-files --type=service
```


▼ 実行した例 (CentOS 7.9)

```bash
$ sudo  systemctl list-unit-files --type=service
UNIT FILE                                     STATE   
abrt-ccpp.service                             enabled 
abrt-oops.service                             enabled 
abrt-pstoreoops.service                       disabled
abrt-vmcore.service                           enabled 
abrt-xorg.service                             enabled 
abrtd.service                                 enabled 
arp-ethers.service                            disabled
atd.service                                   enabled 
auditd.service                                enabled 
autovt@.service                               enabled 
blk-availability.service                      disabled
brandbot.service                              static
chrony-dnssrv@.service                        static
chrony-wait.service                           disabled
chronyd.service                               enabled 
console-getty.service                         disabled
console-shell.service                         disabled
lines 1-18
```

- `enabled`: 自動起動有効
- `disabled`: 自動起動無効
- `static`: おそらくプロセスとかがないタイプのサービス、たぶん

個別のサービスの状態は↓で確認できる
```bash
$ systemctl is-enabled chronyd.service
enabled
```


## 参考

- [Systemctlサービスを使用してSystemdサービスとユニットを管理する方法](https://www.digitalocean.com/community/tutorials/how-to-use-systemctl-to-manage-systemd-services-and-units-ja)
- [[CentOS7] サービスの一覧を見たり、起動・停止したい](https://blue21neo.blogspot.com/2015/08/centos7_82.html)

systemctlの起動中のサービス一覧を表示するコマンド


ディレクトリ内のシンボリックリンクを全件削除するコマンドです。

シンボリックリンクを消すコマンドに`unlink`があります。
ただし、このコマンドだと引数にファイルパスを渡さないとダメで、`$ unlink *`とか`unlink -r dir`のような書き方ができない。

そのため、`find`でシンボリックリンクを探して`rm`で消すことになる。

## ディレクトリ内のシンボリックリンクを全件削除する

```bash
$ find -type l | xargs rm -f
```

`-type l`がディレクトリ内のシンボリックを探し、そのリストを`rm`の引数にして削除してます。rmの`-f`は確認無しで削除するオプション。


findのオプションやパイプを工夫すれば、条件を変えたりシンボリックに限らずファイルを操作できる。

以下はシンボリックリンクに関する操作の応用。

## 削除するシンボリックリンクをファイル名で条件付けする

```bash
# 拡張子が.datのファイルのシンボリックリンクを削除
$ find -type l -name "*.log" | xargs rm -f
```

オプションの`-name`が大文字と小文字を区別する検索方法で、`-iname`が大文字と小文字を区別しない検索方法となる。

```bash
# NOT
$ find -type l ! -name "*.log" | xargs rm -f

# OR
$ find -type l -name "*.log" -o -name "*.csv" | xargs rm -f
```

## 検索するディレクトリの深さを指定する

```bash
# 2階層までのディレクトリ内のシンボリックリンクを削除
$ find -type l -maxdepth 2 | xargs rm -f
```

オプション`-maxdepth`の数値がディレクトリの階層の数に当たる。

この他はfindのオプションを調べると、色々とシンボリックリンクをまとめて操作できるようになる。


## 参考
- [linuxでディレクトリ内のシンボリックリンクのみを絞り出して削除した話 - ウェブエンジニア珍道中](https://www.te-nu.com/entry/2015/12/02/113205)
- [findコマンドの使い方 - Qiita](https://qiita.com/hana_shin/items/d1b420568d3c2223bd07#93-or%E6%9D%A1%E4%BB%B6%E3%81%A7%E7%B5%9E%E3%82%8A%E8%BE%BC%E3%82%80%E6%96%B9%E6%B3%95-o)

Linux ディレクトリ内のシンボリックリンクを全件削除するコマンド


Nuxt.jsで静的サイトを作成する処理を実行したら、計算途中でメモリが不足してエラーとなり止まってしまった。
ヒープ領域を確保して処理を通します。

参考： https://qiita.com/nakamto/items/8ed18f9f0d980fd70be1

## 環境

- CentOS Linux 7
- node v14.15.3
- yarn 1.22.10

## エラー

```bash
$ yarn generate

(省略)


<--- JS stacktrace --->

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0xa04200 node::Abort() [/usr/local/bin/node]
 2: 0x94e4e9 node::FatalError(char const*, char const*) [/usr/local/bin/node]
 3: 0xb7860e v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 4: 0xb78987 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 5: 0xd33215  [/usr/local/bin/node]
 6: 0xd33d9f  [/usr/local/bin/node]
 7: 0xd41e2b v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [/usr/local/bin/node]
 8: 0xd459ec v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [/usr/local/bin/node]
 9: 0xd0b2f2 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [/usr/local/bin/node]
10: 0xd05174 v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawWithImmortalMap(int, v8::internal::AllocationType, v8::internal::Map, v8::internal::AllocationAlignment) [/usr/local/bin/node]
11: 0xd074c1 v8::internal::FactoryBase<v8::internal::Factory>::NewRawTwoByteString(int, v8::internal::AllocationType) [/usr/local/bin/node]
12: 0x1097b49 v8::internal::Runtime_StringBuilderConcat(int, unsigned long*, v8::internal::Isolate*) [/usr/local/bin/node]
13: 0x1400039  [/usr/local/bin/node]
error Command failed with signal "SIGABRT".
info Visit https://yarnpkg.com/en/docs/cli/run for documentation about this command.
```

## 解決方法

処理を実行する前に`NODE_OPTIONS`の`max-old-space-size`を設定します。

```bash
$ export NODE_OPTIONS="--max-old-space-size=2048"
```

数値の単位はメガバイトです。
2048MBは2GBです。

V8ヒープの使用量がヒープ制限に近づいたとき、V8ヒープスナップショットをディスクに書き込み領域を確保します。

NODE_OPTIONSについて: 
https://nodejs.org/api/cli.html#cli_max_old_space_size_size_in_megabytes


【Node.js】yarn generateでヒープ領域が不足してエラーになったのでヒープ領域の設定を変更して処理を実行した


ディレクトリの中身のファイルをリスト化して操作できると色々と便利です。
例としてディレクトリ内のファイルの行数をCSV出力してみながら、bashの解説をしていきます。

## Contents

## 目的

Apacheの**ログファイルのファイル名とそのファイルの行数のCSVを出力する**bashを考えてみる。

▼ディレクトリの中身はこんな感じ。
Apacheのログとそのバックアップのディレクトリがあるとする。
ログは１週間ごとに切り分けてあり、古いファイルは圧縮している。

```bash
/var/log/httpd/
├── access_log
├── access_log-20210228.gz
├── access_log-20210307.gz
├── access_log-20210314.gz
├── access_log-20210321.gz
├── error_log
├── error_log-20210228.gz
├── error_log-20210307.gz
├── error_log-20210314.gz
├── error_log-20210314.gz
├── error_log-20210321.gz
└── backup  # ディレクトリ
    ├── 202012
    ├── 202101
    ├── 202102
    └── 202103
```

以降で順に説明しながら目的を実行するスクリプトを書いていく。

## 1. ディレクトリ内のファイルとフォルダを出力する

```bash
#!/bin/bash

DIR=/var/log/httpd

# ディレクトリ内のファイルのリストを操作
for path in $DIR/*; do
  # パスを出力する
  echo $path
done
```

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
/var/log/httpd/backup
```

`for path in /path/to/dir/*; do`と書くとディレクトリ内の一層目のファイルとフォルダの
リストをfor文で扱うことができる。

## 2. ディレクトリとファイルを判定する

`if [ -d "$path" ]; then`でディレクトリか判定できる。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  echo $path
done
```

▼ファイルのみ出力する

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
```

早めに例外で切り上げるため`-d`でディレクトリか判定しました。
他にもファイルやシンボリックリンクなど判定できます。

> - `-e`: パスが存在するか
> - `-d`: ディレクトリが存在するか
> - `-f`: ファイルが存在するか
> - `-L`: リンクが存在するか
> - `-s`: 空ファイルではないか
> - `-w`: ファイルが書込可能か
> - `-x`: ファイルが実行可能か
> 参考: [bashでファイルやディレクトリの存在確認方法まとめ](https://qiita.com/nii_yan/items/73f4caacdc2ca6f45135)

## 3. パスからファイル名を取得する

`FILE_NAME=${path##*/}`でパスからファイル名を取得出来る。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}
  echo $FILE_NAME
done
```

```bash:実行結果
access_log
access_log-20210228.gz
access_log-20210307.gz
access_log-20210314.gz
access_log-20210321.gz
error_log
error_log-20210228.gz
error_log-20210307.gz
error_log-20210314.gz
error_log-20210321.gz
```

パターンマッチより`${変数##パターン}`とすると**先頭から最長一致した部分を取り除く**。
つまり、`${path##*/}`ではパスの一番後ろの`/`までが取り除かれるため、ファイル名が残る。

> パターンマッチの仕様
>
> ```bash
> ${変数#パターン}   # 先頭から最短一致した部分を取り除く
> ${変数##パターン}  # 先頭から最長一致した部分を取り除く
> ${変数%パターン}   # 末尾から最短一致した部分を取り除く
> ${変数%%パターン}  # 末尾から最長一致した部分を取り除く
> ```
>
> 参考: [パス文字列からファイル名などを抜き出す](https://qiita.com/ktr_type23/items/94747a4b27e8a630ce48)

## 4. ファイルの行数を変数に代入する

`wc -l`でファイルの行数がわかる。
この結果を変数に代入して扱えるようする。

```bash
#!/bin/bash

file=/var/log/httpd/access_log
LINE=$(wc -l < $file)

echo $LINE
```

```bash:実行結果
173543
```

また、行数を取得する際に条件付けもしてみる。

### 4.1. grepで条件付けした行数を変数に代入する

```bash
#!/bin/bash

# grepで条件付け
file=/var/log/httpd/access_log
LINE=$(cat $file | grep POST | wc -l)

echo "POST:"$LINE
```

```bash:実行結果
POST:26
```

### 4.2. 一時ファイルに保存した行数を変数に代入する

```bash
#!/bin/bash

# 一時ファイルに保存する
# GETを含む and 200を含まない
cat /var/log/httpd/access_log \
      | grep GET \
      | grep -v "200" \
      > tmp.txt
LINE=$(wc -l < "tmp.txt")
echo "GET and not in 200:"$LINE
```

```bash:実行結果
GET and not in 200:76
```

### 4.3. 圧縮ファイルの行数を変数に代入する

```bash
#!/bin/bash

# 圧縮ファイル
file=/var/log/httpd/access_log-20210228.gz
LINE=$(zcat $file | wc -l)

echo $LINE
```

```bash:実行結果
413180
```

## 5. ログファイルのファイル名とそのファイルの行数のCSVを出力する

目的の処理を実装する。

```bash
#!/bin/bash

DIR=/var/log/httpd

echo "filename,line"
for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}

  # 拡張子
  ext=${FILE_NAME##*.}
  if [ "$ext" == "gz" ]; then
    # 圧縮ファイル
    LINE=$(zcat $path | wc -l)
  else
    LINE=$(cat $path | wc -l)
  fi
  echo $FILE_NAME","$LINE
done
```

```bash:実行結果
filename,line
access_log,178389
access_log-20210228.gz,413180
access_log-20210307.gz,411489
access_log-20210314.gz,413381
access_log-20210321.gz,422814
error_log,16686
error_log-20210228.gz,41686
error_log-20210307.gz,44184
error_log-20210314.gz,44154
error_log-20210321.gz,43002
```

いい感じですね。


【bash】ディレクトリ内のファイルの行数をCSV出力する


ZabbixでNginxを監視する設定のテンプレートを追加しました。
その備忘録です。

## 環境

- CentOS 7
- Zabbix : v5.0
- nginx : v1.19.6

## 導入方法

https://www.zabbix.com/integrations/nginx




ZabbixがNginxを監視するための導入手順は３つあります。
- [Template App Nginx By HTTP](https://www.zabbix.com/integrations/nginx#tab:official1)  
  HTTP経由でリソースを取得する。
- [Template App Nginx By Zabbix Agent](https://www.zabbix.com/integrations/nginx#tab:official2)  
  ローカルのエージェントがメトリックを収集する。
- [3rd Party Solutions](https://www.zabbix.com/integrations/nginx#tab:3rd_party)  
  PHP-FPM 向けのものやメトリクスを拡張するモジュールを紹介しています。

上２つはZabbixエージェントがサーバの中か外かの違いだけで。
どちらもNginxのステータスを返すエンドポイントを設定します。


## モジュールの確認とNginxの設定

### ngx_http_stub_status_module

[Nginx Module ngx_http_stub_status_module](https://nginx.org/en/docs/http/ngx_http_stub_status_module.html)

`ngx_http_stub_status_module`モジュールは、基本的なステータス情報へのアクセスを提供します。
Zabbixエージェントはこれをメトリクスとして収集します。

▼ のコマンドで`ngx_http_stub_status_module`モジュールが利用可能か確認します。
```sh
$ nginx -V 2>&1 | grep -o with-http_stub_status_module
with-http_stub_status_module
```


▼次のステータス情報が提供されています。

| ステータス   | 概要                                                |
| ------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------- |
| Active connections | 接続待ちを含むアクティブなクライアント接続の現在の数。 |
| accepts    | 受け入れられたクライアント接続の総数。                                    |
| handled    | 処理されたコネクションの総数。一般的にリソースの制限 (たとえば worker_connections の制限) に達していない限りパラメータの値は accepts と同じになります。 |
| requests     | クライアント要求の総数。                                          |
| Reading    | nginxがリクエストヘッダーを読み取っている現在の接続数。                               |
| Writing    | nginxがクライアントに応答を書き戻している現在の接続数。                               |
| Waiting    | 要求を待機しているアイドル状態のクライアント接続の現在の数。                              |

▼レスポンスの例
```bash
$ curl http://localhost/basic_status
Active connections: 11
server accepts handled requests
 47 47 160
Reading: 0 Writing: 1 Waiting: 10
```

### Nginxの設定

メトリックを収集するためのHTTPの設定をNginxのconfに追加します。
```bash:/etc/nginx/conf.d/default.conf
server {
  listen   80;
  server_name  localhost;

  location / {
    root /var/www/public;
    index  index.html index.htm;
  }

  # 追加したパス
  location /basic_status {
    stub_status;
    allow 127.0.0.1;
    allow ::1;
    deny all;
  }

  省略
}
```
ローカルホストから80ポートのアクセスに対してのみステータスを返します。
`127.0.0.1`と`::1`はどちらもローカルホストです。
どちらか片方を消しても同じです。

別のサーバからアクセスする場合は、`allow <IP of your Zabbix server/proxy>;`と変えてください。

▼ローカルからのアクセスはOK。  
```bash
$ curl http://localhost/basic_status
Active connections: 11
server accepts handled requests
 47 47 160
Reading: 0 Writing: 1 Waiting: 10
```

▼外からのアクセスは403になることを確認しました。  
![403](/images/posts/270/279/403.png)

## テンプレートについて

テンプレートの追加と項目について。

### テンプレートの追加
Zabbixの「設定」→「ホスト」からNginxのホストに対してテンプレートを追加します。
「新規テンプレートをリンク」からテンプレートを探して更新をする。

![template](/images/posts/270/279/template-nginx-agent.png)



ZabbixでNginxを監視する設定


サーバの監視を始めるためにZabbixを導入しました。
**Zabbix + CentOS7 + Nginx + MySQLの構成**です。
意外とつまずいたので手順を残す。

Zabbixについては[Zabbixのコンセプト](https://www.zabbix.com/documentation/5.0/manual/concepts/server)を読みました。

## Table of Contents

## 環境とバージョン

[zabbixダウンロードページ](https://www.zabbix.com/jp/download?zabbix=5.0&os_distribution=centos&os_version=7&db=mysql&ws=nginx)でバージョンと環境を選ぶとそれに沿ったインストール手順を示してくれます。

[以前作ったさくらのVPSの環境](https://www.suzu6.net/posts/267-new-blog/)に合わせて選択しました。
- ZABBIXバージョン: 5.0 LTS
- OSディストリビューション: CentOS
- OSバージョン: 7
- データベース: MySQL (8.0)
- WEB SERVER: Nnginx (1.19.6)

![ver](/images/posts/270/zabbix_version.png)

また、`zabbix-server`（管理画面）はPHPで動くため
`rh-php72-php-fpm` (php v7.2)もインストールされます。

## MySQLを準備する

MySQLがない場合は手戻りが発生するため先にインストールしておきます。
バージョンはMySQL 8.0です。

前にブログに書いたのでそちらの手順でインストールします。
後でZabbix用のDBとユーザを作ります。
- [CentOS7にMySQL8をインストールして初期パスワードを変更する](https://www.suzu6.net/posts/196-mysql/)

公式では[こちら](https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html)でyumリポジトリからのインストールする手順が載ってます。

※ 先にZabbixのインストールを進めていると、MariaDBを削除した際に`zabbix-server-mysql`が消されます。一緒に`postfix`も消えた。

```bash
Removed:
  mariadb-libs.x86_64 1:5.5.68-1.el7

Dependency Removed:
  postfix.x86_64 2:2.10.1-9.el7         zabbix-server-mysql.x86_64 0:5.0.7-1.el7
```

消しちゃった場合は▼でインストールし直すことができます。
```bash
$ sudo yum install -y zabbix-server-mysql postfix
```

## Zabbix インストール

Zabbixをインストールします。
サーバにSSHしてコマンドを実行していきます。


### a. Install Zabbix repository
RPMのパッケージをアップグレードします。
そのあとキャシュを消します。
```bash
# RPMのパッケージをアップグレード
$ sudo rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
Retrieving https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
warning: /var/tmp/rpm-tmp.jVb3gM: Header V4 RSA/SHA512 Signature, key ID a14fe591: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:zabbix-release-5.0-1.el7         ################################# [100%]

# キャシュクリーン
$ sudo yum clean all
Loaded plugins: fastestmirror, langpacks
Cleaning repos: base epel extras nginx-mainline nginx-stable updates zabbix
              : zabbix-non-supported
Cleaning up list of fastest mirrors
```

| オプション | 説明                                        |
| ---------- | ------------------------------------------- |
| `U`        | パッケージをアップグレードする              |
| `v`        | 情報表示を増やす                            |
| `h`        | インストール時の経過を「#」マークで表示する |

### b. Install Zabbix server and agent

Zabbixサーバとエージェントをインストールします。
```bash
$ sudo yum install zabbix-server-mysql zabbix-agent -y
```

### c. Install Zabbix frontend

Zabbixの管理画面をインストールするために[Red Hat Software Collections](https://wiki.centos.org/AdditionalResources/Repositories/SCL)を有効化します。

```bash
$ sudo yum install centos-release-scl
```

`/etc/yum.repos.d/zabbix.repo`を編集して`zabbix-frontend`のリポジトリを有効化します。
```bash
$ sudo vi /etc/yum.repos.d/zabbix.repo
[zabbix-frontend]
...
enabled=1
...
```
`zabbix-frontend`のパッケージをインストールする。

```bash
$ sudo yum install zabbix-web-mysql-scl zabbix-nginx-conf-scl
```

### d. Create initial database
Zabbix用のデータベースとユーザを作成します。
ユーザはローカルホストからのみアクセス出来るようにする。
```bash
$ mysql -uroot -p
password
# データベースを作成して文字コードをUTF-8にセット
mysql> create database zabbix character set utf8 collate utf8_bin;
# ユーザを追加
mysql> create user zabbix@localhost identified by 'password';
mysql> grant all privileges on zabbix.* to zabbix@localhost;

# zabbix ユーザが追加できた
mysql> select user, host from mysql.user;
+------------------+-----------+
| user             | host      |
+------------------+-----------+
| mysql.infoschema | localhost |
| mysql.session    | localhost |
| mysql.sys        | localhost |
| root             | localhost |
| zabbix           | localhost |
+------------------+-----------+
5 rows in set (0.00 sec)
mysql> quit;
```

Zabbixサーバーホストで初期スキーマとデータをインポートします。
新しく作成したパスワードを入力するように求められます。

```bash
$ sudo zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz | mysql -uzabbix -p zabbix
```

### e. Configure the database for Zabbix server
Zabbixサーバー用にデータベースを設定します。
ファイル`/etc/zabbix/zabbix_server.conf`を編集する。

```bash
$ sudo vi /etc/zabbix/zabbix_server.conf
...
# パスワードをセット
DBPassword=your-password
```
 
### f. Configure PHP for Zabbix frontend

Zabbixフロントエンドをインストールする中でNginxとPHP-fpmもインストールされてます。
今回はNginxはインストール済のモノを使うため、その設定をします。
php-fpmはそのまま利用します。

```bash
# zabbix.confをインストール済のNginxのディレクトリにコピー
$ sudo cp /etc/opt/rh/rh-nginx116/nginx/conf.d/zabbix.conf /etc/nginx/conf.d/
# ホスト名にリネーム
$ sudo mv /etc/nginx/conf.d/zabbix.conf /etc/nginx/conf.d/zabbix.suzu6.net.conf 
$ ls /etc/nginx/conf.d/
default.conf     nuxt-content-sample.suzu6.net.conf  www.suzu6.net.conf
https.conf.back  suzu6.net.conf                      zabbix.suzu6.net.conf

# 設定を編集する
$ sudo vi etc/nginx/conf.d/zabbix.suzu6.net.conf
server {
#        listen          80;
        listen          80;
#        server_name     example.com;
        server_name     zabbix.suzu6.net;
```
私のルールとしてファイル名をホスト名で管理しているので、そのようにファイルをリネームした。
設定はポートとホスト名を変更しました。（SSL対応は後でやります）


<details><summary>設定のオリジナルを載せます</summary>

```conf:/etc/opt/rh/rh-nginx116/nginx/conf.d/zabbix.conf
server {
#        listen          80;
        listen          80;
#        server_name     example.com;
        server_name     zabbix.suzu6.net;

        root    /usr/share/zabbix;

        index   index.php;

        location = /favicon.ico {
                log_not_found   off;
        }

        location / {
                try_files       $uri $uri/ =404;
        }

        location /assets {
                access_log      off;
                expires         10d;
        }

        location ~ /\.ht {
                deny            all;
        }

        location ~ /(api\/|conf[^\.]|include|locale) {
                deny            all;
                return          404;
        }

        location ~ [^/]\.php(/|$) {
                fastcgi_pass    unix:/var/opt/rh/rh-php72/run/php-fpm/zabbix.sock;
                fastcgi_split_path_info ^(.+\.php)(/.+)$;
                fastcgi_index   index.php;

                fastcgi_param   DOCUMENT_ROOT   /usr/share/zabbix;
                fastcgi_param   SCRIPT_FILENAME /usr/share/zabbix$fastcgi_script_name;        
                fastcgi_param   PATH_TRANSLATED /usr/share/zabbix$fastcgi_script_name;        

                include fastcgi_params;
                fastcgi_param   QUERY_STRING    $query_string;
                fastcgi_param   REQUEST_METHOD  $request_method;
                fastcgi_param   CONTENT_TYPE    $content_type;
                fastcgi_param   CONTENT_LENGTH  $content_length;

                fastcgi_intercept_errors        on;
                fastcgi_ignore_client_abort     off;
                fastcgi_connect_timeout         60;
                fastcgi_send_timeout            180;
                fastcgi_read_timeout            180;
                fastcgi_buffer_size             128k;
                fastcgi_buffers                 4 256k;
                fastcgi_busy_buffers_size       256k;
                fastcgi_temp_file_write_size    256k;
        }
}
```

</details>


Zabbixを起動して自動起動も有効化する。
```sh
$ sudo systemctl restart zabbix-server zabbix-agent nginx rh-php72-php-fpm
$ sudo systemctl enable zabbix-server zabbix-agent nginx rh-php72-php-fpm
```

## DNSの設定
zabbixがみられるように設定しにいきます。
Route53にドメインがあり[zabbix.suzu6.net](https://zabbix.suzu6.net) としました。

## Permission Errorを解決する

ここまで進めてZabbixのHTTPにアクセスすると`502 Bad Gateway`が出ました。
出てない方は次へ進めてください。

このエラーの解決方法は[こちら](https://www.suzu6.net/posts/272-isntall-zabbix-permission-error)に詳しく書きました。
ここではコマンドと設定だけ載せます。

▼`zabbix.conf`のユーザをnginxに変更します。
```bash
$ sudo vi /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf
[zabbix]
# user = apache
# group = apache
user = nginx
group = nginx

listen = /var/opt/rh/rh-php72/run/php-fpm/zabbix.sock
# listen.acl_users = apache
listen.acl_users = nginx
listen.allowed_clients = 127.0.0.1
```

▼PHPの権限を変更します。
```bash
# 実行権限を与える
$ sudo chmod 755 -R /usr/share/zabbix
# Nginxユーザを設定
$ sudo chown -R root:nginx /usr/share/zabbix

# ライブラリもNginxユーザを設定
$ sudo chown -R root:nginx /var/opt/rh/rh-php72/lib/php/*
```

Zabbixを再起動する。
```bash
$ sudo systemctl restart zabbix-server zabbix-agent nginx rh-php72-php-fpm
```

Welcome Zabbixがでた！会いたかったよZabbix！

![zabbix](/images/posts/270/zabbix.png)

## Zabbixの初期設定
Zabbixの初期設定を進めていきます。

### Time zone for PHP is not set (configuration parameter "date.timezone").
Zabbixの画面でこのメッセージが出ました。
PHPのタイムゾーンの設定が必要みたいです。

php-fpmの設定を`Asia/Tokyo`に変更します。

```conf:/etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf
php_value[date.timezone] = Asia/Tokyo
```

### サーバとMySQLの設定

▼ ここでしたMySQLの設定を記入します。
![mysql](/images/posts/270/zabbix_mysql.png)

▼ ホスト名とポートを設定する（これであっているか自信ない）。
![server](/images/posts/270/zabbix_server.png)


進めていくと設定ファイルを吐き出そうとします。
ディレクトリの権限がないと保存できず進めないため`/etc/zabbix/web/zabbix.conf.php`が保存できるよう権限を変更する。

その後セットアップが進んでログイン画面に行きます。
- 初期ユーザ: Admin
- 初期パスワード: zabbix

ログイン後は「管理」→「ユーザ」からパスワードと言語の変更をしました。

## certbotでSSL化する（オプション）

[certbot](https://certbot.eff.org/lets-encrypt/centosrhel7-nginx)をインストールしていたのでこれでSSL対応します。

`certbot --nginx`で追加する。
```bash
# certbot --nginx
Saving debug log to /var/log/letsencrypt/letsencrypt.log
Plugins selected: Authenticator nginx, Installer nginx

Which names would you like to activate HTTPS for?
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
1: suzu6.net
2: nuxt-content-sample.suzu6.net
3: www.suzu6.net
4: zabbix.suzu6.net
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Select the appropriate numbers separated by commas and/or spaces, or leave input  
blank to select all options shown (Enter 'c' to cancel): 4
Requesting a certificate for zabbix.suzu6.net
Performing the following challenges:
http-01 challenge for zabbix.suzu6.net
Waiting for verification...
Cleaning up challenges
Deploying Certificate to VirtualHost /etc/nginx/conf.d/zabbix.suzu6.net.conf
Redirecting all traffic on port 80 to ssl in /etc/nginx/conf.d/zabbix.suzu6.net.conf

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -   
Congratulations! You have successfully enabled https://zabbix.suzu6.net
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -   

IMPORTANT NOTES:
 - Congratulations! Your certificate and chain have been saved at:
   /etc/letsencrypt/live/zabbix.suzu6.net/fullchain.pem
   Your key file has been saved at:
   /etc/letsencrypt/live/zabbix.suzu6.net/privkey.pem
   Your certificate will expire on 2021-04-16. To obtain a new or
   tweaked version of this certificate in the future, simply run
   certbot again with the "certonly" option. To non-interactively
   renew *all* of your certificates, run "certbot renew"
 - If you like Certbot, please consider supporting our work by:

   Donating to ISRG / Let's Encrypt:   https://letsencrypt.org/donate
   Donating to EFF:                    https://eff.org/donate-le
```


```conf:/etc/nginx/conf.d/zabbix.suzu6.net.conf 
    listen 443 ssl; # managed by Certbot
    ssl_certificate /etc/letsencrypt/live/zabbix.suzu6.net/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/zabbix.suzu6.net/privkey.pem; # managed by Certbot
    include /etc/letsencrypt/options-ssl-nginx.conf; # managed by Certbot
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; # managed by Certbot
```

` systemctl restart nginx`再起動。


Zabbixのインストール@CentOS7


サーバの監視を始めるためにZabbixを導入しました。
**Zabbix + CentOS7 + Nginx + MySQLの構成**です。

Zabbix Frontendのパーミッションでエラーの内容と解決方法を残します。
無理やりなところもあるため参考程度に見てください。

類似のエラーを検索して来られた方は、Permissionの確認をされると解決するかもしれません。

### 502 Bad Gateway
諸々インストールしてZabbixの管理画面を表示したときのエラー

```bash
$ tail /var/log/nginx/error.log | grep zabbix
2021/01/16 20:44:30 [crit] 21109#21109: *11 connect() to unix:/var/opt/rh/rh-php72/run/php-fpm/zabbix.sock 
failed (13: Permission denied) while connecting to upstream, client: 220.213.202.52, server: zabbix.suzu6.net, request: "GET / HTTP/1.1", upstream: "fastcgi://unix:/var/opt/rh/rh-php72/run/php-fpm/zabbix.sock:", host: "zabbix.suzu6.net"
```

これはNginxがphp-fpmを動かそうとしたけど権限がないって感じのエラーです。

php-fpmのPermissionをどうにかする必要があるけど、どうするのかわからなかったので調べた。
php-fpmの設定で`listen.owner`と`listen.group`を`nginx`にすればよいらしい。
参考: [Nginx で「502 Bad Gateway」とか、なんだかエラーログがでるよって時](https://qiita.com/madaran0805/items/a5b064105852656cca0e)

ということでphp-fpmのユーザの設定を書き換える。
`php-fpm.conf`のパスはstatusを確認するとわかる。

```bash
# systemctl status rh-php72-php-fpm
* rh-php72-php-fpm.service - The PHP FastCGI Process Manager
   Loaded: loaded (/usr/lib/systemd/system/rh-php72-php-fpm.service; enabled; vendor preset: disabled)     
   Active: active (running) since Sat 2021-01-16 20:41:35 JST; 37min ago
 Main PID: 21104 (php-fpm)
   Status: "Processes active: 0, idle: 10, Requests: 0, slow: 0, Traffic: 0req/sec"
   CGroup: /system.slice/rh-php72-php-fpm.service
           |-21104 php-fpm: master process (/etc/opt/rh/rh-php72/php-fpm.conf)
           |-21110 php-fpm: pool www
```

`/etc/opt/rh/rh-php72/php-fpm.conf`だとわかりました。
ただし、ユーザの設定は`/etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf`のファイルで設定します。

一応、Nginxのユーザ名を確認しておく。
`/etc/nginx/nginx.conf`の最初の行に`user nginx;`とあるのでユーザ名が`nginx`であるとわかりました。

▼`zabbix.conf`のユーザを変更します。
```bash
$ sudo vi /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf
[zabbix]
# user = apache
# group = apache
user = nginx
group = nginx

listen = /var/opt/rh/rh-php72/run/php-fpm/zabbix.sock
# listen.acl_users = apache
listen.acl_users = nginx
listen.allowed_clients = 127.0.0.1
```
どうやら初期設定がApache用になっていたようです。
これでこのエラーは解決出来ましたが、他にもApacheユーザになっていそうです。

### HTTP ERROR 500
```bash
# tail /var/log/nginx/error.log | grep zabbix
2021/01/16 22:45:03 [error] 21109#21109: *865 FastCGI sent in stderr: "PHP message: PHP Warning:  session_start(): open(/var/opt/rh/rh-php72/lib/php/session//sess_qa6cgi9qqr3al256qeslgjef4s, O_RDWR) failed: Permission denied (13) in /usr/share/zabbix/include/classes/core/CSession.php on line 45
PHP message: PHP Warning:  session_start(): Failed to read session data: files (path: /var/opt/rh/rh-php72/lib/php/session/) in /usr/share/zabbix/include/classes/core/CSession.php on line 45
PHP message: PHP Fatal error:  Uncaught Exception: Cannot start session. in /usr/share/zabbix/include/classes/core/CSession.php:46
#0 /usr/share/zabbix/setup.php(67): CSession::start()
  thrown in /usr/share/zabbix/include/classes/core/CSession.php on line 46" while reading response header from upstream, client: 220.213.202.52, server: zabbix.suzu6.net, request: "GET /setup.php HTTP/1.1", upstream: "fastcgi://unix:/var/opt/rh/rh-php72/run/php-fpm/zabbix.sock:", host: "zabbix.suzu6.net"
```

PHPのクラスでエラーが起きているようです。

▼権限を確認します。
```bash
# ll /usr/share/zabbix/include/classes/core/CSession.php
-rw-r--r-- 1 root root 3212 Dec 21 18:38 /usr/share/zabbix/include/classes/core/CSession.php
```

`/usr/share/zabbix`以下が644になっているので実行権限を与えて755にする。

```bash
# 実行権限を与える
$ sudo chmod 755 -R /usr/share/zabbix
# Nginxユーザを設定
$ sudo chown -R root:nginx /usr/share/zabbix
```

また確認すると、`# ll -al /var/opt/rh/rh-php72/lib/php/`も`drwxrwx--- 2 root apache`となっていました。こちらもユーザを変更します。

```bash
$ sudo chown -R root:nginx /var/opt/rh/rh-php72/lib/php/*
```

以上でZabbixがエラーなしで動くようになりました！


Zabbixのインストール時のエラー


CentOS7のEBSのボリュームを小さくするのがかなり大変だったので、備忘録として残します。
ほぼ[EC2 EBS縮小 (というより CentOS ディスク縮小) の流れ](https://cloudpack.media/26364)の通り進めています。
自分の知らなかった部分を補足しました。

## EBSは簡単に大きくできるが小さくするのは大変

Elastic Block Store(EBS)はEC2の仮想的な記憶領域で、柔軟に容量を増やしたりスナップショットを取ってバックアップや複製が簡単に出来ます。
ただし、一度大きくしたEBSを小さくすることはできません。
これから新しく作成してAMIに登録する場合は、小さめのボリュームにしておくことをお勧めします。

![ebs](/images/posts/240/243/ebs.png)

では、どうやって小さくするかというと、新しく小さいボリュームのEBSを用意してそこにコピーすることでEBSのボリュームを小さくできます。
EC2のルートデバイスとして認識させる必要があるため、パーティションの設定も正しく行います。

## 標準ファイルシステム ext4とxfs

ボリュームのコピーは標準ファイルシステムによってコマンドが異なるので注意してください。

CentOS7のファイルシステムはxfsで、この記事はそのコピーの方法で進めます。
同じくxfsのOSはAmazon Linux2、Red Hat Enterprise Linux 7など。
対してext4のOSはCentOS6、Amazon Linux、そしてUbuntuです。

ext4のボリューム縮小は[参考1: Amazon EC2ルートボリュームのサイズを縮小してみた](https://techblog.forgevision.com/entry/2018/09/10/172633)を参照されると分かり安いと思います。

xfsはほぼ[参考2: EC2 EBS縮小 (というより CentOS ディスク縮小) の流れ](https://cloudpack.media/26364)の通り進めました。


## CentOS7のEBSのボリュームを小さくする
AMIで利用しやすいように、200GBのボリュームから20GBへ小さくしました。
OS+ミドルウェアで４GB、swap領域で数GB使っていたので最小を20GBとしています。

参考1に倣って言葉の定義をします。
- 新EBSボリューム：新規起動したEC2インスタンスのEBSルートボリューム
- 旧EBSボリューム：縮小対象EC2インスタンスのEBSルートボリューム


手順は次の通り。
1. 任意の作業用EC2インスタンスに新EBSボリュームと旧EBSボリュームをアタッチする
2. 新EBSボリュームのパーティションを設定する
3. 新旧EBSボリュームをマウントする
4. 新EBSボリュームを旧EBSボリュームと同期する
5. ボリュームを取り外す
6. EC2にアタッチして起動する

### 1. 任意の作業用EC2インスタンスに新EBSボリュームと旧EBSボリュームをアタッチする
EBSをコピーするために新旧EBSボリュームを別の作業用EC2にアタッチします。
作業用EC2はOSがAmazon Linux2です。
インスタンスタイプはt3.microで十分でした。

アタッチ後のブロックデバイス一覧。
```sh
# lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvda    202:0    0    8G  0 disk 
└─xvda1 202:1    0    8G  0 part /
xvdf    202:80   0  200G  0 disk <-旧EBSボリューム
└─xvdf1 202:81   0  200G  0 part
xvdg    202:96   0   20G  0 disk <-新EBSボリューム
```
`xvdf`が旧EBSボリュームで`xvdg`が新EBSボリュームです。

### 2. 新EBSボリュームのパーティションを設定する

新EBSボリュームにパーティション`xvdg1`を作ります。
（パーティション内状態でコピーしたら、EC2がルートデバイスとして認識してくれなかった）


```sh
# fdisk /dev/xvdg

fdisk (util-linux 2.30.2) へようこそ。
ここで設定した内容は、書き込みコマンドを実行するまでメモリのみに保持されます。
書き込みコマンドを使用する際は、注意して実行してください。

古い xfs 署名は write (書き込み)コマンドを実行すると消えてしまいます。

デバイスには認識可能なパーティション情報が含まれていません。
新しい DOS ディスクラベルを作成しました。識別子は 0x3800409a です。

コマンド (m でヘルプ): n
パーティションタイプ
   p   基本パーティション (0 プライマリ, 0 拡張, 4 空き)
   e   拡張領域 (論理パーティションが入ります)
選択 (既定値 p): p
パーティション番号 (1-4, 既定値 1): 1
最初のセクタ (2048-41943039, 既定値 2048):
最終セクタ, +セクタ番号 または +サイズ{K,M,G,T,P} (2048-41943039, 既定値 41943039):

新しいパーティション 1 をタイプ Linux、サイズ 20 GiB で作成しました。

コマンド (m でヘルプ): a
パーティション 1 を選択
パーティション 1 の起動フラグを有効にしました。

コマンド (m でヘルプ): p
ディスク /dev/xvdg: 20 GiB, 21474836480 バイト, 41943040 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: dos
ディスク識別子: 0x3800409a

デバイス   起動 開始位置 最後から   セクタ サイズ Id タイプ
/dev/xvdg1 *        2048 41943039 41940992    20G 83 Linux

コマンド (m でヘルプ): w
パーティション情報が変更されました。
```
設定が日本語になっていた。
`n -> p -> 1 -> a -> w`でディスクサイズと同じ大きさのパーティション`xvdg1`ができる。
`m`でヘルプが見れます。


１度目はパーティション情報の書き込みで失敗している。
下はその時のログ。
再起動してもう一度実行したら成功しました。
```sh
コマンド (m でヘルプ): w
パーティション情報が変更されました。
ioctl() を呼び出してパーティション情報を再読み込みします。
パーティション情報の再読み込みに失敗しました。: Device or resource busy

カーネルは古い情報を使用しています。新しい情報を利用するには、システムを再起動するか、もしくは partprobe(8) または kpartx(8) を実行してください。
```

縮小前後(xvdf/xvdg)で同様の設定になっている事を確認します。
```sh
# fdisk -l
ディスク /dev/xvda: 8 GiB, 8589934592 バイト, 16777216 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: gpt
ディスク識別子: 83181C97-6D5E-43C9-9EDE-E2F50EAD5338

デバイス     開始位置 最後から   セクタ サイズ タイプ
/dev/xvda1       4096 16777182 16773087     8G Linux ファイルシステム
/dev/xvda128     2048     4095     2048     1M BIOS 起動

パーティション情報の項目がディスクの順序と一致しません。


ディスク /dev/xvdg: 20 GiB, 21474836480 バイト, 41943040 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: dos
ディスク識別子: 0x3800409a

デバイス   起動 開始位置 最後から   セクタ サイズ Id タイプ
/dev/xvdg1 *        2048 41943039 41940992    20G 83 Linux


ディスク /dev/xvdf: 200 GiB, 214748364800 バイト, 419430400 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: dos
ディスク識別子: 0x000aec37

デバイス   起動 開始位置  最後から    セクタ サイズ Id タイプ
/dev/xvdf1 *        2048 419430366 419428319   200G 83 Linux
```

### 3. 新旧EBSボリュームをマウントする
```sh
# mkdir -p /mnt/old /mnt/new/boot
# mount -t xfs /dev/xvdf1 /mnt/old
# mount -t xfs /dev/xvdg1 /mnt/new

# lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvda    202:0    0    8G  0 disk 
└─xvda1 202:1    0    8G  0 part /
xvdf    202:80   0  200G  0 disk
└─xvdf1 202:81   0  200G  0 part /mnt/old <-旧EBSボリューム
xvdg    202:96   0   20G  0 disk 
└─xvdg1 202:97   0   20G  0 part /mnt/new <-新EBSボリューム
```

### 4. 新EBSボリュームを旧EBSボリュームと同期する

この辺りから自分の言葉で表せない、申し訳ないが参考の手順とその時の出力をのせる。

xfs を扱うためのパッケージをインストールしておきます。
- [xfsdump](https://www.atmarkit.co.jp/ait/articles/1804/26/news045.html): XFSファイルシステムをバックアップするために、指定した場所にコピーするコマンド
- [xfsprogs](https://www.atmarkit.co.jp/ait/articles/1804/27/news037.html): xfsdumpのバックアップからファイルを復元するコマンド
インストールコマンド: `yum install xfsprogs xfsdump`

容量により時間が掛かるのでバックグラウンド実行しておきます。
```sh
# cd /mnt/old/
( LANG=C date; nohup xfsdump -J - /mnt/old \
  | xfsrestore -J -p 60 - /mnt/new ; date \
) > /tmp/disk-sync.log 2>&1  < /dev/null &

# ログ
# tail -f /tmp/disk-sync.log
xfsrestore: media label: ""
xfsrestore: file system id: 0f790447-ebef-4ca0-b229-d0aa1985d57f
xfsrestore: session id: 606c299e-31bf-4de9-9bff-36538c642a89
xfsrestore: media id: dafc54f9-af51-4412-88d3-32cfe9298f5d
xfsrestore: searching media for directory dump
xfsrestore: reading directories
xfsdump: dumping non-directory files
xfsrestore: 21868 directories and 127203 entries processed
xfsrestore: directory post-processing
xfsrestore: restoring non-directory files
xfsrestore: status at 10:06:38: 42584/98461 files restored, 47.9% complete, 60 seconds elapsed
xfsdump: ending media file
xfsdump: media file size 4563930720 bytes
xfsdump: dump size (non-dir files) : 4521594712 bytes
xfsdump: dump complete: 111 seconds elapsed
xfsdump: Dump Status: SUCCESS
xfsrestore: restore complete: 112 seconds elapsed
xfsrestore: Restore Status: SUCCESS
2020年  4月  9日 木曜日 10:07:30 UTC


^C[1]+  終了                  ( LANG=C date; nohup xfsdump -J - /mnt/old | xfsrestore -J -p 60 - /mnt/new; date ) > /tmp/disk-sync.log 2>&1 < /dev/null
```

5) grubインストール
chroot
OS起動時に作成されるディレクトリ群をマウントした後、 /mnt/new/ に対して chroot します。 (chroot した事を確認するためにログファイルコピーを行っていますが、必須ではありません。)

```sh
[root@ip-172-31-19-210 old]# cp -ip /tmp/disk-sync.log /mnt/new/var/log/
[root@ip-172-31-19-210 old]# gzip /mnt/new/var/log/disk-sync.log
[root@ip-172-31-19-210 old]# ls -l /mnt/new/var/log/disk-sync.log*
-rw-r--r-- 1 root root 820  4月  9 10:07 /mnt/new/var/log/disk-sync.log.gz
[root@ip-172-31-19-210 old]# mount -t proc /proc /mnt/new/proc
[root@ip-172-31-19-210 old]# mount -t sysfs /sys /mnt/new/sys
[root@ip-172-31-19-210 old]# mount --bind /dev /mnt/new/dev
[root@ip-172-31-19-210 old]# chroot /mnt/new/
[root@ip-172-31-19-210 /]# ls -l /var/log/disk-sync.log.gz
-rw-r--r-- 1 root root 820  4月  9 19:07 /var/log/disk-sync.log.gz
[root@ip-172-31-19-210 /]# 
```

grub xfs

```sh
[root@ip-172-31-19-210 /]# grub2-mkconfig -o /boot/grub2/grub.cfg
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-3.10.0-1062.9.1.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-1062.9.1.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-229.14.1.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-229.14.1.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-229.4.2.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-229.4.2.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-123.8.1.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-123.8.1.el7.x86_64.img
Found linux image: /boot/vmlinuz-0-rescue-f9afeb75a5a382dce8269887a67fbf58
Found initrd image: /boot/initramfs-0-rescue-f9afeb75a5a382dce8269887a67fbf58.img
done
[root@ip-172-31-19-210 /]# grub2-install /dev/xvdg
Installing for i386-pc platform.
Installation finished. No error reported.
```

6) fstab/grub.conf 書き換え
fstab 、grub.conf に UUID 指定がある場合は、書き換えを行います。 (CentOS6 には grub-mkconfig が無いようなので grub.conf は直接書き換えています。)
xfs
UUID指定部分を書き換えます。 CentOS7 では grub2 が導入済みのようなので /etc/grub/ ではなく、 /etc/grub2/ が使用されます。

```sh
[root@ip-172-31-19-210 /]# blkid | grep xvdg
/dev/xvdg1: UUID="80ef9b35-2d25-430c-a753-5f6bbc2955e5" TYPE="xfs"
[root@ip-172-31-19-210 /]#  cp -ip /etc/fstab /etc/fstab.org
[root@ip-172-31-19-210 /]# vi /etc/fstab
# diff /etc/fstab.org /etc/fstab
9c9
< UUID=0f790447-ebef-4ca0-b229-d0aa1985d57f /                       xfs     defaults        1 1
---
> UUID=80ef9b35-2d25-430c-a753-5f6bbc2955e5 /                       xfs     defaults        1 1

# chrootを抜ける
[root@ip-172-31-19-210 /]# exit
exit
```

### 5. ボリュームを取り外す
アンマウント

`proc`、`sys`、`dev`もアンマウントしておく。
```sh
[root@ip-172-31-19-210 old]# cd /
[root@ip-172-31-19-210 /]# umount /mnt/old/
[root@ip-172-31-19-210 /]# umount /mnt/new/proc /mnt/new/sys /mnt/new/dev
[root@ip-172-31-19-210 /]# umount /mnt/new/
[root@ip-172-31-19-210 /]# mount -l | grep "old\|new"
```
ディスク内容の移行が完了したら、 作業用インスタンスから Volume をデタッチして後続作業を行います。

インスタンスを停止して、デタッチ。

## 6. EC2にアタッチして起動する

EC2の `/dev/sda1` にアタッチする。

※ デバイス名が`/dev/sda`だとエラーで`/dev/sdf`だとルートデバイスとして認識しなかった。

```sh
# sshでEC2に接続

$ df -h
df: `/s3': 通信端点が接続されていません
ファイルシス   サイズ  使用  残り 使用% マウント位置
devtmpfs         472M     0  472M    0% /dev
tmpfs            495M     0  495M    0% /dev/shm
tmpfs            495M   13M  482M    3% /run
tmpfs            495M     0  495M    0% /sys/fs/cgroup
/dev/xvda1        20G  4.5G   16G   23% /
tmpfs             99M     0   99M    0% /run/user/1001
```

いえーあー

AMIに登録して失くさないようにする。

## 参考

- [Amazon EC2ルートボリュームのサイズを縮小してみた](https://techblog.forgevision.com/entry/2018/09/10/172633)
  - コピーの流れが図で分かり易いです。
- [EC2 EBS縮小 (というより CentOS ディスク縮小) の流れ](https://cloudpack.media/26364)
  - CentOS6(ext4)とCentOS7(xfs)のやり方。この記事がなかったら無理だった。ありがとうございます。
- [今から始めるRHEL 7 第2回 標準ファイルシステムとなったXFS](http://www.intellilink.co.jp/article/column/oss-rh02.html)
  - 問題となったXFSについての解説。
- [Linux で Amazon EBS ボリュームを使用できるようにする | docs.aws.amazon.com](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-using-volumes.html)
- [Amazon EBS スナップショット | docs.aws.amazon.com](https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/EBSSnapshots.html)


CentOS7（ファイルシステムxfs）のEBSのボリュームを小さくした


UbuntuにPython3をvenvを使ってインストールする方法です。
Python3のインストールだけだとすぐに終わっちゃうので仮想環境も構築します。

venvは仮想環境をつくるための標準ツールです。
pipでインストールするパッケージディレクトリごとに実行環境を変えたり、バージョン管理を楽にしてくれます。

今回の用途は[ゼロから作るDeepLeaning](https://amzn.to/33suAbN)の実行環境を整えるためですので、同時に必要なライブラリもインストールします。

## 環境

- Ubuntu 18.04.4 LTS

インストールするもの
- Python 3.8.0
- NumPy
- Matplotlib

Pythonは3系であれば問題ありません。
最新の3.8.0をインストールします。

ライブラリのSciPyとCuPyはオプションとなっていたので、必要になったらいつかインストールします。

## venvはいらないから簡単にインストールしたい

Ubuntu 18.04（または16.10）では以下のコマンドだけでPython3.8をインストール出来ます。
```sh
$ sudo apt-get update
$ sudo apt-get install python3.8

# こうすると3.6.9がインストールできる
$ sudo apt-get remove python3
```

インストールできたら`python3`コマンドで確認できます。
```sh
$ python3.8 --version
Python 3.8.0
```

削除する場合は$ sudo apt-get remove python3.8`です。

Ubuntuに限らずLinuxではPython2が動いており、`python`コマンドはPython2に割り当てられています。
作業していると結構コマンドを打ち間違えるので、venv使ってディレクトリごとに環境をPython3に切り替えたいと思いました。

- [Installing Python 3 on Linux](https://docs.python-guide.org/starting/install3/linux/#installing-python-3-on-linux)
  - Ubuntu 16も同じようにインストールできるかと

## venvで仮想環境を構築する
venvは仮想環境を作るためのツールで、Python3.3から標準ツールとなりました。

私は以前サードパーティの`virtualenv`で仮想環境を作ったことがあります。
その時はPython3.6でしたがvenvの存在は知らなかった。。。ので構築したら比べてみます。

[Zappaを使ってPythonのコードをAWS Lambdaにデプロイする](https://www.suzu6.net/posts/4/)

venvのインストールと仮想環境の構築は[How to Create Python Virtual Environments on Ubuntu 18.04](https://linuxize.com/post/how-to-create-python-virtual-environments-on-ubuntu-18-04/)を参考にします。

### Python3をインストールする
venvはPython3.3以降が必要です。
最新のpython3.8をインストールします。

ちなみに以下の手順の`python3.8`をすべて`python3`にするとpython3.6の環境が出来上がります。

```sh
$ sudo apt-get update
$ sudo apt-get install python3.8
```

```sh
$ python3.8 --version
Python 3.8.0
```
これで十分な気もしてきたけど進めます。

続いてvenvのモジュールが入った`python3-venv`をインストールします。
```sh
$ sudo apt install python3.8-venv
```

### 仮想環境を作る

my-projectというディレクトリの配下に仮想環境を作ります。
```sh
# まずは仮想環境の名前を決める。
$ python3.8 -m venv my-project-env

# ディレクトリを移動して
$ cd path/to/my-project

# そこを仮想環境とする
$ source my-project-env/bin/activate
(my-project-env) suzu6:~/path/to/my-project$ 
```
すると$のまえに環境名がつくようになります。
（`source`コマンドなんで環境変数を切り替えてるんでしょうね）

```sh
(my-project-env) suzu6:~/path/to/my-project$  python --version
Python 3.8.0

(my-project-env) suzu6:~/path/to/my-project$ pip -V
pip 9.0.1 from /home/suzumura/git/nuxt-blog/my-project-env/lib/python3.8/site-packages (python 3.8)
```
`python`と`pip`のバージョンも切り替わりました！

pipでNumPyとMatplotlibをインストールしてみます。
```sh
# NumPyとMatplotlibをインストール
(my-project-env) suzu6:~/path/to/my-project$ pip install numpy matplotlib

# バージョン確認
(my-project-env) suzu6:~/path/to/my-project$ pip freeze
cycler==0.10.0
kiwisolver==1.1.0
matplotlib==3.2.0
numpy==1.18.2
pkg-resources==0.0.0
pyparsing==2.4.6
python-dateutil==2.8.1
six==1.14.0
```
### その他のコマンド

```sh
# 仮想環境を閉じる
(my-project-env) suzu6:~/path/to/my-project$ deactivate

# 仮想環境を削除する
$ rm -r my-project-env
```

### venvのヘルプ

```sh
$ python3.8 -m venv -h
usage: venv [-h] [--system-site-packages] [--symlinks | --copies] [--clear] [--upgrade] [--without-pip] [--prompt PROMPT] ENV_DIR [ENV_DIR ...]

Creates virtual Python environments in one or more target directories.

positional arguments:
  ENV_DIR               A directory to create the environment in.

optional arguments:
  -h, --help            show this help message and exit
  --system-site-packages
                        Give the virtual environment access to the system site-packages dir.
  --symlinks            Try to use symlinks rather than copies, when symlinks are not the default for the platform.
  --copies              Try to use copies rather than symlinks, even when symlinks are the default for the platform.
  --clear               Delete the contents of the environment directory if it already exists, before environment creation.
  --upgrade             Upgrade the environment directory to use this version of Python, assuming Python has been upgraded in-place.
  --without-pip         Skips installing or upgrading pip in the virtual environment (pip is bootstrapped by default)
  --prompt PROMPT       Provides an alternative prompt prefix for this environment.

Once an environment has been created, you may wish to activate it, e.g. by sourcing an activate script in its bin directory.
```
python自体のバージョンは`--upgrade`でアップグレードできるみたい。
ダウングレードはないようなんで、特定のバージョンが必要な場合はインストール手順の`python3.8`をすべて`python3.x`にするとその環境が出来上がります。（3.3以上）

## venvとvirtualenv
性能面は調べていないため割愛するが、扱いやすさは正直変わらないと思う。
ただ、日本語で参考になる記事がvirtualenvのほうが圧倒的に多いためとっつきやすい。

virtualenvはおまけだけど、AWS Lambdaで遊んだ記事もあるのでよければどうぞ。
[Zappaを使ってPythonのコードをAWS Lambdaにデプロイする](https://www.suzu6.net/posts/4/)

## 参考

- [Python モジュールのインストール](https://docs.python.org/ja/3.8/installing/index.html)
- [How to Create Python Virtual Environments on Ubuntu 18.04](https://linuxize.com/post/how-to-create-python-virtual-environments-on-ubuntu-18-04/)
  - 今回参考にした方法
- [How to manage multiple Python versions and virtual environments](https://www.freecodecamp.org/news/manage-multiple-python-versions-and-virtual-environments-venv-pyenv-pyvenv-a29fb00c296f/)
  - Pythonの仮想環境ツールを比較した記事。venv / pyvenv / virtualenvが載ってます。

UbuntuにPython3.8とvenvの仮想環境をインストールする


VagrantのホストOSとゲストOSのフォルダを共有するよう設定し、立ち上げると`mount: unknown filesystem type 'vboxsf'`のエラーが出た。

## 環境

- Ubuntu 18.04.4 LTS (ホストOS)
- Vagrant 2.2.7
- config.vm.box = "centos/7" (ゲストOS)

Vagrantfileの共有フォルダの設定
```conf
config.vm.synced_folder "/home/suzu6/vagrant/", # ホストOSのフォルダ
                        "/srv/app",             # ゲストOSのフォルダ
                        :mount_options => ["dmode=777,fmode=777"]
```

## 対処方法
[こちら](https://berukann.hatenablog.jp/entry/2016/01/24/163124)の解決策２を試し解決した。
プラグインの`vagrant-vbguest`をホストOSにインストールするだけで済んだ。

```sh
$ sudo vagrant plugin install vagrant-vbguest
$ vagrant vbguest --status
[default] GuestAdditions 6.1.4 running --- OK.
```

この状態で`vagrant up`するとゲストOSにフォルダ共有に必要な追加機能をインストールしてくれる。

```sh
$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...

...

==> default: Machine booted and ready!
# 起動後に追加機能がないことを確認すると自動的にインストールする
[default] No Virtualbox Guest Additions installation found.

# 依存パッケージを追加
...

Complete!

# VBoxGuestAdditions.isoでmntする
Copy iso file /usr/share/virtualbox/VBoxGuestAdditions.iso into the box /tmp/VBoxGuestAdditions.iso
Mounting Virtualbox Guest Additions ISO to: /mnt
mount: /dev/loop0 is write-protected, mounting read-only
Installing Virtualbox Guest Additions 6.1.4 - guest version is unknown
Verifying archive integrity... All good.
Uncompressing VirtualBox 6.1.4 Guest Additions for Linux........
VirtualBox Guest Additions installer
Copying additional installer modules ...
Installing additional modules ...
VirtualBox Guest Additions: Starting.
VirtualBox Guest Additions: Building the VirtualBox Guest Additions kernel 
modules.  This may take a while.
VirtualBox Guest Additions: To build modules for other installed kernels, run
VirtualBox Guest Additions:   /sbin/rcvboxadd quicksetup <version>
VirtualBox Guest Additions: or
VirtualBox Guest Additions:   /sbin/rcvboxadd quicksetup all
VirtualBox Guest Additions: Building the modules for kernel 
3.10.0-1062.12.1.el7.x86_64.
Redirecting to /bin/systemctl start vboxadd.service
Redirecting to /bin/systemctl start vboxadd-service.service
Unmounting Virtualbox Guest Additions ISO from: /mnt
==> default: Checking for guest additions in VM...
==> default: Configuring and enabling network interfaces...
==> default: Rsyncing folder: /home/suzu6/vagrant/my-vagrantfile/ => /vagrant
==> default: Mounting shared folders...
    default: /srv/app => /home/suzu6/vagrant
==> default: Machine already provisioned. Run `vagrant provision` or use the `--provision`
==> default: flag to force provisioning. Provisioners marked to run always will still run.
```
以上でフォルダが共有できました。

### vagrant-vbguest
[github](https://github.com/dotless-de/vagrant-vbguest)

`vagrant-vbguest`は、ゲストシステムにホストの`VirtualBox Guest Additions`を自動的にインストールするVagrantプラグイン。

`VirtualBox Guest Additions`の中にフォルダを共有する機能がある。
`vagrant up`をするとプラグインがゲストOSに自動的にインストールしてくれる。

## エラーの全文

```sh
Vagrant was unable to mount VirtualBox shared folders. This is usually
because the filesystem "vboxsf" is not available. This filesystem is
made available via the VirtualBox Guest Additions and kernel module.
Please verify that these guest additions are properly installed in the
guest. This is not a bug in Vagrant and is usually caused by a faulty
Vagrant box. For context, the command attempted was:

mount -t vboxsf -o dmode=777,fmode=777,uid=1000,gid=1000 srv_app /srv/app

The error output from the command was:

mount: unknown filesystem type 'vboxsf'
```

## 参考
- [vagrant up時に「mount: unknown filesystem type 'vboxsf'」が発生する](https://berukann.hatenablog.jp/entry/2016/01/24/163124)
- [vagrant-vbguest github](https://github.com/dotless-de/vagrant-vbguest)
- [virtualbox.org Chapter 4. Guest Additions](https://www.virtualbox.org/manual/ch04.html)


【Ubuntu】Vagrantの共有フォルダの設定とエラーmount unknown filesystem type 'vboxsf'の対処



tarで一部のファイルを除外するオプションです。

`tar --exclude pattern` でパターンに応じたファイルを除外して固めることができます。

## 使いどころ

バックアップのためディレクトリをtarで固めていた際に、`tar: /path/to/some.sock: socket ignored`との標準エラーが出ていました。
処理中に標準エラーが出たらメールを送るようにしていたのでこれを修正します。

ソケットはバックアップに不要なため無視するオプションを付けました。

```sh
tar --exclude *.sock -Pzcvf /foo/data.tar.gz /backup_dir
```

`--exclude *.sock `でソケットを無視します。


バックアップ処理の流れは２つの記事の通りです。
- [ディレクトリのバックアップスクリプト](https://www.suzu6.net/posts/231-dirctory-backup-script/)
- [Python2.7 smtplibで保守のメールを送る](https://www.suzu6.net/posts/228-python27-mail/)


tarで一部のファイルを除外する


ディレクトリのバックアップスクリプトを作成したのでメモ。

## 環境

- CentOS 6.6

同じ処理をCentOS 7でも実行可能です。

## ディレクトリのバックアップ

要件として以下を想定した
- 対象のディレクトリを圧縮してバックアップを取る
- １週間分のバックアップを保存する（同時に古いものを削除する）
- 毎日実行する

```sh
# バックアップ先のディレクトリ
backupdir='/path/to/backupdir'

# 古いものを削除する
find $backupdir -type f -daystart -mtime +6 |xargs /bin/rm -f

# バックアップするディレクトリ
targetdir='/path/to/target_dir'

# ファイル名を定義
filename='backup.tar.gz'
cDateTime=`date '+%Y%m%d_%H%M%S'`

# backup実行
tar -zcf $backupdir/$filename$cDateTime $targetdir
```

これでバックアップファイル`/path/to/backupdir/backup.tar.gz20200310_121112`が作成できる。

`find`で過去のファイルを検索して`|xargs /bin/rm -f`で削除している。
`-daystart -mtime +6`のオプションが、過去から7日前までのファイルを検索する。
**+nの場合は過去から(n+1)日前**までの期間となるので注意。
0時が基準です。
保存期間の変更する場合は[参考](https://qiita.com/narumi_/items/9ea27362a1eb502e2dbc)が詳しい。

`tar -zcf`でtarで固めてgzipで圧縮している。
テストの際はオプション`v`を付けると処理したファイルが確認できます。

## crontabで定期実行する

先ほど作成したスクリプト`backup.sh`を`crontab`に登録します。
下は毎朝5時に実行する例。

```sh
# crontab -l
0 5 * * *  sh /path/to/backup.sh
```

`crontab -e`で編集して`crontab -l`で確認できる。

## 関連

- [tarコマンドの使い方と圧縮のオプション](https://www.suzu6.net/posts/5)
- [Python2.7 smtplibで保守のメールを送る](https://www.suzu6.net/posts/228-python27-mail/)
  - バックアップに失敗した場合にエラー内容をメールで送る設定です。

## 参考

- [findコマンドのmtimeオプションまとめ](https://qiita.com/narumi_/items/9ea27362a1eb502e2dbc)
  - バックアップファイルの保存期間を変更したい方はこちら

ディレクトリのバックアップスクリプト


ホスト先にファイル同期するrsyncで`ssh: connect to host x.xxx.xx.xx port 2222: Invalid argument`エラーがでた。
このエラーは中々みることも無いと思うので記念に記す。

- 環境: CentOS 7.7.1908

rsyncはsshのオプションを付けるとホスト先のサーバにファイルを同期できる。
`authorized_key`やrsyncの実行権限など設定が必要だがとても便利で何度か利用した。

そんな中、バックアップスクリプトのテストで以下のエラーが出た。
`x.xxx.xx.xx`はホスト先のIPアドレス。

```sh
$ rsync -navu -e "ssh -p 2222" --rsync-path="sudo rsync" /path/to/localfile user@$x.xxx.xx.xx:/path/to/remotefile
ssh: connect to host x.xxx.xx.xx port 2222: Invalid argument
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: unexplained error (code 255) at io.c(226) [sender=3.1.2]
```

どうやらsshで**不正な引数**があるようです。
検索しても該当する記事は無く、sshができることを確かめたりrsyncのオプションが悪いのか、firewalldやその他のネットワークが原因かと散々悩んでいた。

結局、ホスト名のところに$が付いていてそこに対してのエラーだった。
スクリプトで${user}@${hostname}`と変数を使っていた名残があったためだ。

## SSHでも同じエラーが出るか確かめてみる

```sh
# $ + ipadress
$ ssh -p 2222 user@$x.xxx.xx.xx
ssh: connect to host x.xxx.xx.xx port 2222: Invalid argument

# ハイフン
$ ssh -p 2222 user@---
ssh: Could not resolve hostname ---: Name or service not known

# $ のみ
$ ssh -p 2222 user@$
ssh: Could not resolve hostname $: Name or service not known

# ! + ipadress
$ ssh -p 2222 user@!x.xxx.xx.xx
ssh -p 2222 user@ls /home.203.0.2
ssh: Could not resolve hostname ls: Name or service not known

# # + ipadress
$ ssh -p 2222 user@#x.xxx.xx.xx
ssh: Could not resolve hostname #x.xxx.xx.xx: Name or service not known
```

`user@$x.xxx.xx.xx`とすると`Invalid argument`が出るが、他は大体`Name or service not known`となる。
$x.xxx.xx.xx`で変数だと勘違いしたのだろうか？

このエラーに出会う人はほぼいないと思うけど、助けになったのなら幸いです。

rsyncとsshでInvalid argumentとエラーがでた


とあるバッチ処理がエラーを吐いたときにメールを送る必要がありました。
メール送信の処理をPython2.7で書いたのでメモです。

最終的に以下のようにcronを実行してエラーがあればメールを送信する仕組みです。

```sh
# clontab -l
0 0 * * *  sh /path/batch.sh 2>&1 1>/dev/null |  python /path/mail.py "バッチ処理[Subject]"
```

説明が長いのでコードだけ知りたい方は一番下のコードを見て下さい。

## 環境

- CentOS 7.4
- postfix 2.10.1
- Python 2.7.5

汎用性を持たせるためLinuxで標準のPython 2.7を利用しました。
postfixは動作確認済みです。

Red Hat Enterprise Linux 8からはPython 3.6が標準で利用できるみたいです([RedHat](https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/8/html/configuring_basic_system_settings/using-python3_configuring-basic-system-settings))。

## smtplibを使ってメールを送信する

SMTPクライアントの[smtplib](https://docs.python.org/ja/2.7/library/smtplib.html)モジュールを使ってメールを送信します。
メールを送る簡易的なコードを載せます。

```py
import smtplib
from email.mime.text import MIMEText

_from = 'from@example.jp'
_to = 'to@someone.com'

# Create a text/plain message
msg = MIMEText('Hello World')
msg['Subject'] = 'subject'
msg['From']  = _from
msg['To']  = _to

# メール送信
s = smtplib.SMTP('localhost')
s.sendmail(_from, [_to], msg.as_string())
s.quit()
```

**MIMEText**でメールを整形し、**smtplib**でメールサーバのSMTPコネクションを作成してメールを送信している。

### MIMETextの補足

`MIMEText(_text[, _subtype[, _charset]])`となっており、メールの`Content-Type`を指定できます。

例として`MIMEText(text, 'html', 'iso-2022-jp')`と引数を渡すと`Content-Type: text/html; charset="iso-2022-jp"`となります。
デフォルトでは、`_subtype='plain'`と`_charset='us-ascii'`です。

headerを付けたい場合は`msg['X-Test'] = 'Problem'`とMIMETextオブジェクトに追加する。


[Python2.7 doc email.mime:ゼロからのメールと MIME オブジェクトの作成](https://docs.python.org/ja/2.7/library/email.mime.html?highlight=mimetext)

### smtplibの補足

メールサーバを指定したいときは`smtplib.SMTP([host[, port[, local_hostname[, timeout]]]])`の引数を変える。`host`はメールサーバのホストで、`local_hostname`を指定するとHELO/EHLO コマンドでのローカルホストの FQDN として使われるそう。タイムアウト時間の単位は秒。

コネクションが失敗した場合は`SMTPConnectError`が返る。

ドキュメントに幾つかの[使用例](https://docs.python.org/ja/2.7/library/smtplib.html)が載っています。

## バッチのエラー内容をメールで送信する

クーロンに戻って、バッチのエラー内容をメールで送信するパイプについて説明します。

```sh
# clontab -l
0 0 * * *  sh /path/batch.sh 2>&1 1>/dev/null | python /path/mail.py "バッチ処理[Subject]"
```

### 出力の制御

`2>&1 1>/dev/null `の部分はスクリプトの標準出力と標準エラー出力の制御をしている。
Unixには、次の3つの入出力があり、それぞれ番号が振られています。

- 0: 標準入力
- 1: 標準出力
- 2: 標準エラー出力

`> /dev/null`は出力結果を捨てる処理で、`2>&1`は標準エラー出力を標準出力にマージするという意味です。
つまり、`2>&1 1>/dev/null `で標準出力を捨て標準エラー出力を標準出力としてパイプの次のコマンドに渡している。

```sh
echo "stdout" >&1
echo "stderr" >&2
```
`batch.sh`はこうしておくと標準出力、標準エラー出力のテストが楽。

[いい加減覚えよう。 `command > /dev/null 2>&1`の意味 - Qiita](https://qiita.com/ritukiii/items/b3d91e97b71ecd41d4ea)

### 標準出力を受け取ってメール送信するpythonのコード

標準エラー出力を標準出力として受け取って空でなければ内容をメールで送信するコードです。

```py
import smtplib
import sys
from email.mime.text import MIMEText

_from = 'from@example.jp'
_to = 'to@someone.com'

# 引数受け取り
args = sys.argv
subject = args[1]

try:
    # 標準入力受け取り
    text = sys.stdin.read()
except IndexError:
    text = ''

if not text:
    # 標準入力がエラーだったら終了
    print 'no message'
    sys.exit()

# ontent-Type: text/plain; charset="iso-2022-jp"
msg = MIMEText(text, _subtype='plain', _charset='iso-2022-jp')
msg['Subject'] = subject
msg['From']  = _from
msg['To']  = _to
# headers
msg['X-Alert'] = 'Problem'

# print msg.as_string()

# メール送信
s = smtplib.SMTP('localhost')
s.sendmail(_from, [_to], msg.as_string())
s.quit()
```

書いていて振り返ると`sys.stdin`じゃなくて`sys.stderr`を使えばコマンドもスッキリするけど、クーロン見て標準出力捨ててるなと一目で分かるので良しとする。

## 参考

- [Python2.7 doc smtplib](https://docs.python.org/ja/2.7/library/smtplib.html)
- [Python2.7 doc email:使用例](https://docs.python.org/ja/2.7/library/smtplib.html)
- [Python2.7 doc email.mime:ゼロからのメールと MIME オブジェクトの作成](https://docs.python.org/ja/2.7/library/email.mime.html?highlight=mimetext)
- [いい加減覚えよう。 `command > /dev/null 2>&1`の意味 - Qiita](https://qiita.com/ritukiii/items/b3d91e97b71ecd41d4ea)
- [bash: 標準出力、標準エラー出力をファイル、画面それぞれに出力する方法](https://qiita.com/laikuaut/items/e1cc312ffc7ec2c872fc)

Python2.7 smtplibで保守のメールを送る


RHEL/CentOS 7系でSSHできるIPアドレスを制限するようファイアウォールを設定した手順です。
あと、自分用に`firewalld`の備忘録と関連するコマンドも書き出します。

## 環境

- CentOS 7.6

CentOS 6では`iptables`で設定していましたが、RHEL/CentOS 7系から`firewalld`へと変更されました。
7系でも`iptables`は利用できますが、ゾーンの方式を取り入れた`firewalld`は使い勝手が良くなっています(後述)。


## ファイアウォールのゾーンとは？

突然ですが、
ゾーンはアクセス制御のポリシーを性質でグループ化して管理しやすくしたものです。

従来

## systemctl
他のサービスと同様、`firewalld`も`systemctl`コマンドで状態を制御します。

| コマンド                       | 操作                     |
| ------------------------------ | ------------------------ |
| systemctl status firewalld     | サービス起動             |
| systemctl stop firewalld       | サービス停止             |
| systemctl restart firewalld    | サービス再起動           |
| systemctl reload firewalld     | サービスリロード         |
| systemctl status firewalld     | サービスステータス表示   |
| systemctl enable firewalld     | サービス自動起動有効     |
| systemctl disable firewalld    | サービス自動起動無効     |
| systemctl is-enabled firewalld | サービス自動起動設定確認 |


### firewalldの確認

`firewalld`には**zone**
```console
# firewall-cmd --get-active-zones
public
  interfaces: eth0 eth1
```



`firewalld`が起動していない場合、`FirewallD is not running`が返ります。


## 参考
- [5.7. ゾーンの使用](https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/7/html/security_guide/sec-working_with_zones)
- [CentOS 7 firewalld よく使うコマンド - Qiita](https://qiita.com/kenjjiijjii/items/1057af2dddc34022b09e)
  - コマンドの種類が多く説明が詳しい
- [RHEL/CentOS7ではiptablesではなくfirewalld - Qiita](https://qiita.com/sak_2/items/fe996c518e8075214b49)
- [ファイアウォールのゾーンとは？背景や設定のポイントも紹介](https://it-trend.jp/firewall/article/60-0010)

firewalldの理解とSSHできるIPアドレスを制限する設定


コマンドでのUbuntuのバージョン確認方法です。  
環境: Ubuntu 18.04.3 LTS

### cat /etc/issue

```sh
$ cat /etc/issue
Ubuntu 18.04.3 LTS \n \l
```

### cat /etc/os-release
```sh
$ cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.3 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.3 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
```

### lsb_release -a
```sh
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.3 LTS
Release:        18.04
Codename:       bionic
```

もしくは`cat /etc/lsb-release`でもいい
```sh
$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.3 LTS"
```

### uname -a

```
$ uname -a
Linux suzu6-u 5.0.0-37-generic #40~18.04.1-Ubuntu SMP Thu Nov 14 12:06:39 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
```

Ubuntuのバージョン確認


コマンドでの`Ubuntu 18.04`に`Vagrant`をインストールする方法を紹介します。

Vagrantは、仮想マシン環境を構築および管理するためのツールです。
Ansibleなどインフラ周りの試しをしたいので、いくらでも壊せて遊べるVagrantが好きです。
仮想マシンのプロバイダーは`VirtualBox`を利用します。

手順は[How to Install Vagrant on Ubuntu 18.04 | Linuxize](https://linuxize.com/post/how-to-install-vagrant-on-ubuntu-18-04/)を参考にしました。

## 環境とインストールしたバージョン

- Ubuntu 18.04.3 LTS x86_64
- VirtualBox 6.1
- Vagarnt 2.2.7

## UbuntuにVagrantをインストールする手順
以下、Vagrantをインストールするコマンドです。

ただし、GUIであれば各ダウンロードページから`.deb`をダウンロードしてインストールしたほうが楽な気がします。

### 1-1. VirtualBoxのインストール
`apt`でインストールできるVirtualBoxを確認します。

```sh
$ apt list virtualbox -a
一覧表示... 完了
virtualbox/bionic-updates 5.2.34-dfsg-0~ubuntu18.04.1 amd64
virtualbox/bionic-security 5.2.18-dfsg-2~ubuntu18.04.5 amd64
virtualbox/bionic 5.2.10-dfsg-6 amd64
```

バージョン5.2のようですね。
問題なければ、次のコマンドでインストールします。

```sh
# VirtualBoxをインストール
$ sudo apt install virtualbox
```

![5.2](/images/posts/220/221/virtualbox52.png)

VirtualBox 5.2をインストールできました。

`VirtualBox Extention Pack`もインストールしている手順がいくつか出ていますが、内容は「USB 2.0およびUSB 3.0デバイス、VirtualBox RDP、ディスク暗号化、IntelカードのNVMeおよびPXEブートのサポート」だそうで、用途的に不要なためインストールしない。

アンインストールもコマンドでできます。
```sh
# VirtualBoxをアンインストール
$ sudo apt autoremove virtualbox
```

### 1-2. VirtualBox 6.xのインストール
現在バージョン6.1がリリースされているので、最新バージョンをインストールしてみます。
手順は[VirtualBoxの公式](https://www.virtualbox.org/wiki/Linux_Downloads)と[こちら](https://news.mynavi.jp/article/20190227-777688/)を参照。

VirtualBox 6.1は次の３行でインストールできます。
```sh
$ wget -q https://www.virtualbox.org/download/oracle_vbox_2016.asc -O- | sudo apt-key add -
$ sudo add-apt-repository "deb [arch=amd64] http://download.virtualbox.org/virtualbox/debian $(lsb_release -cs) contrib"
$ sudo apt update && sudo apt install virtualbox-6.1
```

インストールできた！
![6.1](/images/posts/220/221/virtualbox61.png)

何しているか気になる方は、次の項に上のコマンドの詳細を書いておきます。
インストールできたなら読み飛ばしても大丈夫。


アンインストールはこちら。
```sh
$ sudo apt remove virtualbox virtualbox-*
```

### 1-2.の詳細
細かいが、インストールコマンドの３行を説明する。

#### 1行目: 公開鍵を追加
１行目はセキュアなダウンロードのため、オラクルの公開鍵を取得して`apt-key`に追加しています。
下のようなエラーが出た方は、公開鍵が追加されていないためです。
```sh
W: GPG エラー: http://download.virtualbox.org/virtualbox/debian bionic InRelease: 公開鍵を利用できないため、以下の署名は検証できませんでした: NO_PUBKEY A2F683C52980AECF
E: リポジトリ http://download.virtualbox.org/virtualbox/debian bionic InRelease は署名されていません。
N: このようなリポジトリから更新を安全に行うことができないので、デフォルトでは更新が無効になっています。
N: リポジトリの作成とユーザ設定の詳細は、apt-secure(8) man ページを参照してください。
```

#### 2行目: リポジトリを追加
リポジトリを追加するためのコマンドです。

`/etc/apt/sources`に次の行を追加します。
`<mydist>`のところは利用するディストリビューションの名前に変えてください。
名前はバージョンごとに`eoan`, `bionic`, `xenial`, `buster`, `stretch`, or `jessie` とする。
名前はコマンド$ lsb_release -cs`でわかります。

```sh
deb [arch = amd64] https://download.virtualbox.org/virtualbox/debian <mydist> contrib
```
この環境は18.04ですので**bionic**にして`/etc/apt/sources`に追記します。
それよりも、`<mydist>`を$(lsb_release -cs)`としておけばどのバージョンでもOK！！！

```sh
# ディストリビューション名を確認
$ lsb_release -cs
bionic

# 名前が合っているので次のコマンドで`/etc/apt/sources`に追記
$ sudo add-apt-repository "deb [arch=amd64] http://download.virtualbox.org/virtualbox/debian $(lsb_release -cs) contrib"
```
といったことが行われている。

####  3行目: aptのアップデートとVirtualBoxをダウンロード
はい。それをしています。
新しいバージョンが出たら、`virtualbox-6.2`などと数値を変えていけば大丈夫かと。

すみません、かなり脱線しました。

### Vagrantをインストール
Ubuntuのリポジトリで利用可能なVagrantパッケージは古いです。
バージョン`2.0.2`でした。
Vagrantの公式サイトから最新バージョンをダウンロードしてインストールします。

[Vagrant Downloadページ](https://www.vagrantup.com/downloads.html)

2020/01/29時点での最新は**Vagrant 2.2.7**です。
これをダウンロードします。

```sh
# パッケージリストを更新
$ sudo apt update

# Vagrantをダウンロード
$ curl -O https://releases.hashicorp.com/vagrant/2.2.7/vagrant_2.2.7_x86_64.deb

# Vagrantをインストール
$ sudo apt install ./vagrant_2.2.7_x86_64.deb

# バージョン確認
$ vagrant --version
Vagrant 2.2.7
```
無事、Vagrantがインストールできました！

## 仮想環境を作ってみる

適当なディレクトリに`centos/7`の仮想環境を作ってみます。

```sh
$ cd ~
$ mkdir test
$ cd test/

# Vagrantファイルを作成
$ vagrant init centos/7
A `Vagrantfile` has been placed in this directory. You are now
ready to `vagrant up` your first virtual environment! Please read
the comments in the Vagrantfile as well as documentation on
`vagrantup.com` for more information on using Vagrant.

# 仮想環境を立ち上げる
$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
==> default: Box 'centos/7' could not be found. Attempting to find and install...
    default: Box Provider: virtualbox
    default: Box Version: >= 0
==> default: Loading metadata for box 'centos/7'
    default: URL: https://vagrantcloud.com/centos/7
==> default: Adding box 'centos/7' (v1905.1) for provider: virtualbox
    default: Downloading: https://vagrantcloud.com/centos/boxes/7/versions/1905.1/providers/virtualbox.box
    default: Download redirected to host: cloud.centos.org
==> default: Successfully added box 'centos/7' (v1905.1) for 'virtualbox'!
==> default: Importing base box 'centos/7'...
==> default: Matching MAC address for NAT networking...
==> default: Checking if box 'centos/7' version '1905.1' is up to date...
==> default: Setting the name of the VM: test_default_1580338279594_89929
==> default: Clearing any previously set network interfaces...
==> default: Preparing network interfaces based on configuration...
    default: Adapter 1: nat
==> default: Forwarding ports...
    default: 22 (guest) => 2222 (host) (adapter 1)
==> default: Booting VM...
==> default: Waiting for machine to boot. This may take a few minutes...
    default: SSH address: 127.0.0.1:2222
    default: SSH username: vagrant
    default: SSH auth method: private key
    default: 
    default: Vagrant insecure key detected. Vagrant will automatically replace
    default: this with a newly generated keypair for better security.
    default: 
    default: Inserting generated public key within guest...
    default: Removing insecure key from the guest if it's present...
    default: Key inserted! Disconnecting and reconnecting using new SSH key...
==> default: Machine booted and ready!
==> default: Checking for guest additions in VM...
    default: No guest additions were detected on the base box for this VM! Guest
    default: additions are required for forwarded ports, shared folders, host only
    default: networking, and more. If SSH fails on this machine, please install
    default: the guest additions and repackage the box to continue.
    default: 
    default: This is not an error message; everything may continue to work properly,
    default: in which case you may ignore this message.
==> default: Rsyncing folder: /home/suzu6/vagrant/test/ => /vagrant
```
数分で仮想環境が立ち上がりました！

```sh
$ vagrant global-status
id       name    provider   state   directory                           
------------------------------------------------------------------------
94d84f9  default virtualbox running /home/suzu6/vagrant/test  
```

仮想マシンにSSH接続するには、次を実行します。
```sh
$ vagrant ssh
```
次のコマンドで仮想マシンを停止できます。
```sh
$ vagrant halt
```
次のコマンドは、実行中のマシンを停止し、マシンの作成中に作成されたすべてのリソースを破棄します。
```sh
$ vagrant destroy
```
## 参考

- [How to Install Vagrant on Ubuntu 18.04 | Linuxize](https://linuxize.com/post/how-to-install-vagrant-on-ubuntu-18-04/)
- [VirtualBoxの公式](https://www.virtualbox.org/wiki/Linux_Downloads)

Ubuntu 18.04にVagrantをインストールするコマンド


`ssh_exchange_identification: connection closed by remote host`とエラーがでて、とあるサーバにSSHできなかったので原因の究明と解消した方法についてです。


## 環境

- クラウド：IIJ P2でロードバランサーを使った構成
- OS：CentOS 7

## 原因の推測

私の居る拠点では直接つなぐことができませんでしたが、別の拠点からは繋がります。
よって、クラウドのファイアウォール(FW)かサーバでIP制限していることが原因だろうと考えていました。

IPをどこで制限しているか外側から順に確認していきます。

- クラウドのFW → ロードバランサーの設定 → サーバのFW → TCP Wrapper

クラウドの設定は問題ないことを確認したため、サーバのFWの設定を確認していきます。

### 手元の環境の確認

その前に、`ssh_exchange_identification: connection closed by remote host`はknown_hostsやサーバIPが違っていても出るようです。

- known_hostsに目的のサーバIPはなし
- 別拠点から同じコマンドで接続可能（IPやユーザ名はOK）

以上も確認しました。

### サーバのFW iptables

**iptables**コマンドでFWの設定が確認できます。

```sh
$ sudo iptables -t nat -L
...

Chain FORWARD_IN_ZONES_SOURCE (1 references)
target     prot opt source               destination
FWDI  all  --  別拠点のIP      anywhere            [goto]

...
```

Chainの中に別拠点のIPが書かれた箇所がありました。
私の拠点のIPは見つからなかったので、追加してあげればよさそうです。
（Chain名の`FORWARD_IN_ZONES_SOURCE`はクラウド側で設定されるものっぽいので、どこかで設定が反映されない事象が起きてそう。）

追加は以下のコマンドで出来ます。

`iptables -I チェイン名 -p all -s ターゲットのIP -j ターゲット名`

iptablesの使い方は[こちら](https://qiita.com/hana_shin/items/956dfaca4539ba257c16)が網羅的です。

```sh
# 追加
$ sudo iptables -I FORWARD_IN_ZONES_SOURCE -p all -s 自分の拠点のIP -j FWDI

# 確認
$ iptables -L FORWARD_IN_ZONES_SOURCE --line-numbers
Chain FORWARD_IN_ZONES_SOURCE (1 references)
num  target     prot opt source               destination
1    FWDI  all  --  自分の拠点のIP  anywhere
2    FWDI  all  --  別拠点のIP      anywhere            [goto]
```

設定を変更したら再起動します。
```sh
$ sudo systemctl restart iptables
```

繋がるようになりました。

### TCP Wrapper /etc/hosts.allow と /etc/hosts.deny

一応、こちらも確認してあるので載せておきます。

クライアントからのアクセスを制御するために `TCP Wrappers` が参照する設定ファイルです。
`/etc/hosts.allow`がアクセスできるホストを許可して、その内`/etc/hosts.deny`に書かれているホストを制限します。（両方に書かれていないホストは許可）

`/etc/hosts.allow`が`ALL:ALL`となっており、`/etc/hosts.deny`は無記述だったのでOK。

参考：[Turbolinux 11 Server: ユーザーガイド](https://www.turbolinux.co.jp/products/server/11s/user_guide/tcpwrapperconf.html)

## 参考

- [「IP制限」について調査した。 - Qiita](https://qiita.com/hnkyi/items/0c9a5def5ebd1aead63e)
- [2.6.2. TCP WRAPPER の設定ファイル RedHat 公式](https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/6/html/security_guide/sect-security_guide-tcp_wrappers_and_xinetd-tcp_wrappers_configuration_files)
- [Turbolinux 11 Server: ユーザーガイド](https://www.turbolinux.co.jp/products/server/11s/user_guide/tcpwrapperconf.html)
- [iptablesの使い方 - Qiita](https://qiita.com/hana_shin/items/956dfaca4539ba257c16)

【CentOS】SSHが繋がらなかったのでファイアウォールを設定し直した


LAMP環境でLaravelを動かして`could not find driver`が出た時に、解決した方法についてです。

LaravelからMySQLに接続したときに、ドライバーがないためエラーになっています。

## 環境

- CentOS 7.6
- Apache 2.4
- MySQL 5.7.27
- PHP 7.3.10

## ドライバーを確認する

phpのモジュールにMySQLのドライバーが入っているか確認します。
PDOがSQLのドライバーにあたります。

```sh
$ php -m | grep pdo
pdo_sqlite
```

SQLite向けのドライバーしかありませんでした。
モジュールをまとめてインストールした際に、入れ忘れてたようです。

## ドライバーをインストールする

MySQLのドライバーは`php-mysqlnd`ですので、これをインストールしていきます。

PHP7.3はremiリポジトリを使っていたため以下のコマンドで`php-mysqlnd`をインストールします。

```sh
$ sudo yum -y install --enablerepo=remi,remi-php73 php-mysqlnd
```

remiリポジトリを使っていない場合（PHP 5.x）以下のコマンドでインストールできると思います。

```sh
# バージョンを確認
$ sudo yum info php-mysqlnd

# インストール
$ sudo yum install php-mysqlnd
```

インストールして`pdo_mysql`が追加されています。

```sh
$ php -m | grep pdo
pdo_mysql
pdo_sqlite
```

この後、Apacheを再起動するとエラーが解消されていました。

## おまけ：試行錯誤したときのログ

ドライバーがないことを知らず、パスが通ってないと考えていました。
`php.ini`に拡張モジュールを指定できる設定があり、これを変更したときのWarning。

`php.ini`に`extension=php_pdo_mysql.so`を加えました。

```sh
$ php -m | grep pdo
PHP Warning:  PHP Startup: Unable to load dynamic library 'php_pdo_mysql.so' (tried: /usr/lib64/php/modules/php_pdo_mysql.so (/usr/lib64/php/modules/php_pdo_mysql.so: cannot open shared object file: No such file or directory), /usr/lib64/php/modules/php_pdo_mysql.so.so (/usr/lib64/php/modules/php_pdo_mysql.so.so: cannot open shared object file: No such file or directory)) in Unknown on line 0
pdo_mysql
```

存在しないモジュールを指定すると、こういった警告が出るようです。
`php-mysqlnd`をインストールした後は、`extension`をコメントアウトに戻しておきました。

PHPモジュールは`/usr/lib64/php/modules/`にまとまっています。

【Laravel】CentOSのLAMP環境でcould not find driver


CentOS7にMySQL8をインストールして初期設定するところまでをまとめました。

## 環境

- CentOS 7.6
- MySQL 8.0

## MySQL 8のインストール

### mariaDBを削除

CentOS7系ではmariaDBがデフォルトで入っている場合がある。
MySQLをインストールする際に競合するため、これを先に削除しておく。

```sh
$ sudo yum remove mariadb-libs
```

### MySQL8 インストール

MySQLのyumリポジトリを追加する必要があります。

yumリポジトリは公式の[こちら](https://dev.mysql.com/downloads/repo/yum/)に置いてあり、`yum localinstall http://dev.mysql.com/get/リポジトリ名`でインストールできます。

```sh
# yumリポジトリをインストール
$ sudo yum -y localinstall http://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
```

正しくyumリポジトリを追加できると、`yum info mysql-community-server`でこれから導入するMySQLのバージョンが確認できます。

```sh
# インストールできるMySQLのバージョンを確認
$ sudo yum info mysql-community-server

...

Installed Packages
Name        : mysql-community-server
Arch        : x86_64
Version     : 8.0.17
Release     : 1.el7
Size        : 1.8 G
Repo        : installed
From repo   : mysql80-community
Summary     : A very fast and reliable SQL database server

...
```


バージョンは問題ないので、`mysql-community-server`をインストールします。

```sh
# MySQLをインストール
$ sudo yum -y install mysql-community-server

# バージョン確認
$ sudo mysqld --version
/usr/sbin/mysqld  Ver 8.0.17 for Linux on x86_64 (MySQL Community Server - GPL)
```

インストールはここまでです。

### 初期設定

MySQLの設定ファイルは`/etc/my.cnf`です。
末尾に設定を加えます。

```bash
# 設定をバックアップ
$ sudo cp /etc/my.cnf /etc/my.cnf.org
$ sudo vi /etc/my.cnf

# 認証プラグインの設定
default_authentication_plugin=mysql_native_password
```

viがめんどくさい人は以下のコマンドで末行に追加できる。

```sh
# sudo suのあと
echo "default_authentication_plugin=mysql_native_password" >> /etc/my.cnf
```

この設定はなにか？は次で述べてます。

#### default_authentication_plugin

MySQL8.0は認証プラグインが新たに追加され`caching_sha2_password`になりました。これは、SHA-256を使用した、より安全なパスワードの暗号化を提供するとともに、キャッシュを使用して同一ユーザの認証処理を高速化しようという、MySQL推奨の認証プラグインです。

ただし、接続に使用するクライアント又はコネクタ側でも `caching_sha2_password` をサポートしている必要があるため、従来の`mysql_native_password`を設定しておきます。

- 参考：[MySQL8.0新機能 (caching_sha2_password 認証プラグイン)](https://www.s-style.co.jp/blog/2018/05/1807/)

### パスワードのポリシーの設定について

MySQLでは結構厳格なパスワードを求められます。
初期では英数記号全て含む文字列をパスワードに使わなければならない。
開発環境などで簡易なパスワードを設定するには、`validate_password`を設定してください。

▼ 例として、4文字以上の文字列なら通す設定です。
```sh
# パスワードポリシー
validate_password.length=4
validate_password.mixed_case_count=0
validate_password.number_count=0
validate_password.special_char_count=0
validate_password.policy=LOW
```

詳細は以下の参考をご覧ください。

- [MySQL8.0のパスワードポリシーについて](https://www.denet.ad.jp/technology/2018/07/mysql80.html)
- [MySQL 8.0 初期設定覚書](https://qiita.com/nobu-maple/items/3849b2161a21f90ae298)
- [MySQL 8.0リファレンスマニュアル - 6.4.3 The Password Validation Component](https://dev.mysql.com/doc/refman/8.0/en/validate-password.html)

### MySQL起動

説明が長くなってしまいました。MySQLを起動します。

```sh
# 起動
$ sudo systemctl start mysqld

# 状態確認
$ sudo systemctl status mysqld
```

起動に失敗した場合に確認するところ
- `systemctl status mysqld`
- `journalctl -xe`
- `/var/log/mysqld.log`  #初期設定でのログの場所

### 自動起動の設定

```sh
# 自動起動
$ sudo systemctl enable mysqld
```

### 初回のパスワードについて

mysqlを初回に起動すると一時パスワードがlogに吐き出されます。
次で使うためメモします。

```sh
$ grep password /var/log/mysqld.log
2019-09-19T01:46:33.268022Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: %ata*6Cz.9No
```

ここでは`%ata*6Cz.9No`です。

### パスワードの更新と初期設定

`mysql_secure_installation`で初期設定をしていきます。

```sh
$ mysql_secure_installation
```

[mysql_secure_installation](https://mariadb.com/kb/ja/mysql_secure_installation/)に項目の和約が載っています。こちらはMariaDBとなっていますが、内容はMySQLとほぼ同じでした。

質問と簡単な訳
<details><summary>質問と簡単な訳</summary>

```sh
$ mysql_secure_installation

Securing the MySQL server deployment.
# 一時パスワードを入力する
Enter password for user root:

The existing password for the user account root has expired. Please set a new password.
# パスワードを更新
New password:

Re-enter new password:
 ## パスワードを英数字のみで登録しようとしたらダメだった。
 ... Failed! Error: Your password does not satisfy the current policy requirements

New password:

Re-enter new password:
The 'validate_password' component is installed on the server.
The subsequent steps will run with the existing configuration
of the component.
Using existing password for root.

Estimated strength of the password: 100
Change the password for root ? ((Press y|Y for Yes, any other key for No) :  y

 ... skipping.
By default, a MySQL installation has an anonymous user,
allowing anyone to log into MySQL without having to have
a user account created for them. This is intended only for
testing, and to make the installation go a bit smoother.
You should remove them before moving into a production
environment.

Remove anonymous users? (Press y|Y for Yes, any other key for No) : y
# 匿名ユーザを削除しますか？
Success.


Normally, root should only be allowed to connect from
'localhost'. This ensures that someone cannot guess at
the root password from the network.

Disallow root login remotely? (Press y|Y for Yes, any other key for No) : y
# リモートからの root ログインを禁止しますか？
Success.

By default, MySQL comes with a database named 'test' that
anyone can access. This is also intended only for testing,
and should be removed before moving into a production
environment.


Remove test database and access to it? (Press y|Y for Yes, any other key for No) : y
# test データベースとそのデータベースへのアクセスを削除しますか？
 - Dropping test database...
Success.

 - Removing privileges on test database...
Success.

Reloading the privilege tables will ensure that all changes
made so far will take effect immediately.

Reload privilege tables now? (Press y|Y for Yes, any other key for No) : y
# 今すぐ権限テーブルを再読み込みしますか？
Success.

All done!
```

開発環境だったので`Remove anonymous users?`はnoを選択しとくべきだったかな。

</details>

### ログインと状態確認

rootでログインする。

```sh
$ mysql -u root -p
Enter password:
```

状態の確認

```sh
mysql> status
--------------
mysql  Ver 8.0.17 for Linux on x86_64 (MySQL Community Server - GPL)

Connection id:          11
Current database:
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         8.0.17 MySQL Community Server - GPL
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    utf8mb4
Db     characterset:    utf8mb4
Client characterset:    utf8mb4
Conn.  characterset:    utf8mb4
UNIX socket:            /var/lib/mysql/mysql.sock
Uptime:                 17 min 54 sec

Threads: 2  Questions: 16  Slow queries: 0  Opens: 128  Flush tables: 3  Open tables: 48  Queries per second avg: 0.014
--------------
```

文字コードなどの確認
```bash
mysql> show variables like '%char%';
+--------------------------------------+--------------------------------+
| Variable_name                        | Value                          |
+--------------------------------------+--------------------------------+
| character_set_client                 | latin1                         |
| character_set_connection             | latin1                         |
| character_set_database               | utf8mb4                        |
| character_set_filesystem             | binary                         |
| character_set_results                | latin1                         |
| character_set_server                 | utf8mb4                        |      
| character_set_system                 | utf8                           |      
| character_sets_dir                   | /usr/share/mysql-8.0/charsets/ |      
| validate_password.special_char_count | 1                              |      
+--------------------------------------+--------------------------------+      
9 rows in set (0.00 sec)
```

以上でMySQL8のインストール終わりです。

## おわりに

何度かMySQLのインストールに失敗していると前のDBや設定が残って起動できないことが多々あった。つらかった。

完全に削除する手順をまとめたので、こちらもどうぞ。

- [CentOSにインストールしたMySQL8を削除する](https://www.suzu6.net/posts/197-delete-mysql)

## 参考

- [CentOS7にMySQL8.0をインストール - Qiita](https://qiita.com/zaburo/items/7518a432d915c061983f)
- [CentOS 7.3でMySQL 5.7を設置、かなり勉強になりました。- Oiita](https://qiita.com/park-jh/items/1e118580ae1deab70f99)
- [CentOS 7 に MySQL Server 8 をインストールする - Qitta](https://qiita.com/bezeklik/items/10e520e281bd32bde3e8)


CentOS7にMySQL8をインストールして初期パスワードを変更する


vagrant に初回ssh接続するときパスワードを聞かれる。

## vagrantの初期パスワード

初期ユーザは `vagarnt` と `root` どちらもパスワードが `vagrant`です。

| ユーザ  | パスワード |
|---------|------------|
| vagrant | vagrant    |
| root    | vagrant    |

## 環境

`bento/centos-7.2` で確認しました。Vagrantファイルは以下の通り。

```conf
Vagrant.configure("2") do |config|
  config.vm.box = "bento/centos-7.2"
  config.ssh.insert_key = false
  config.vm.network "private_network", ip: "192.168.33.10"
end
```

vagrantの初期パスワード


Linux上でsudo権限を持ったユーザアカウントの作成手順です。

## 確認した環境

- CentOS 7
- Ubuntu 18.04

以下CentOSでのコマンド。
Ubuntuでは`wheel`を`admin`に変えて下さい。

## 手順

以下`root`もしくは`sudo`で行う。

```sh
# useradd suzu6
# gpasswd -a suzu6 wheel
# passwd suzu6
```

以上で`sudo`が実行できるsuzu6ユーザを追加できる。

## 各コマンドについて

### useradd ユーザ名

Linuxにユーザを追加する。

| コマンド  | 説明                 |
|-----------|----------------------|
| `useradd` | ユーザを追加する     |
| `usermod` | ユーザ情報を変更する |
| `userdel` | ユーザを削除する     |

後述のユーザグループの追加も`useradd -G wheel suzu6`で同時に行えます。

### passwd ユーザ名

ユーザのパスワード設定します。
２回入力したパスワードが合っていると更新される。

```sh
# passwd suzu6
Changing password for user suzu6.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
```

日本語だとこう聞かれる。

```sh
# passwd suzu6
ユーザー suzu6 のパスワードを変更。
新しいパスワード:
新しいパスワードを再入力してください:
suzu6: 全ての認証トークンが正しく更新できました。
```

### gpasswd -a ユーザ名 グループ名

ユーザのグループを編集します。

| コマンド     | 説明                         |
|--------------|------------------------------|
| `gpasswd -a` | グループにユーザを追加する   |
| `gpasswd -d` | グループからユーザを削除する |

グループに追加は`usermod -G wheel suzu6`と同等です。

## sudo権限について

紹介したコマンドではsudo権限をもつグループに追加しています。
CentOSでは**wheel**、Ubuntuでは**admin**がデフォルトで用意されている。

`/etc/sudoers`に登録されていて`visudo`コマンドで編集できる。

```conf
# Ubuntuの例場合
# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL
```


### 参考

- [sudo - wiki](https://ja.wikipedia.org/wiki/Sudo)

- [Linuxにユーザーを追加する - Qiita](https://qiita.com/Tooooomin/items/c063cee80227a5f1d95b)
- [【 gpasswd 】コマンド――ユーザーが所属するグループを管理する](https://www.atmarkit.co.jp/ait/articles/1612/12/news016.html)
- [【 usermod 】コマンド――ユーザーアカウントの情報を変更する](https://www.atmarkit.co.jp/ait/articles/1612/14/news022.html)

【Linux】sudo権限を持ったユーザアカウントの追加


本番稼働中のサーバのApacheの設定を変更したり、新しくホストを追加する作業には神経を使う。
サイトを止めないよう、できるだけ安全にApacheの設定を変更するコマンドと手順を紹介する。

※間違いがあるかもしれません。コマンドを実行される前に[Apacheのドキュメント](https://httpd.apache.org/docs/2.4/ja/)をご確認ください。

### 環境

- CentOS 7.4
- Apache 2.4

コマンドは基本`apachectl`を使っていきます。

`systemctl`、`httpd`、`/etc/rc.d/init.d/httpd2`とたくさんあるので対応したコマンドも載せておく。

## restartは使わないで

環境構築のときは`restart`をよく使うかもしれませんが、
Apacheが止まってはまずい状況では使わないで下さい。

`restart`はApacheを停止してから起動します。
設定を間違えていた場合、修正する時間サイトが停止してしまいます。
また、誰かがサイトにアクセス中だと子プロセスが走っていますが、`restart`は子プロセスをkillします。

1. `configtest`でconfの構文チェック
2. `graceful`で緩やかに再起動させる

以上の手順を踏まれた方が安全に設定を反映できます。

## 設定ファイルの変更後の確認 configtest

`apachectl configtest`もしくは`apachectl -t`

confファイルを書き換えた後は記述が正しいか`configtest`で確認できます。
構文が間違っているとエラー箇所を教えてくれますし、正しくてもディレクトリがない場合もWarningで教えてくれます。

```sh
$ sudo apachectl configtest
Syntax OK
```

問題なければ`Syntax OK`となる。

```sh
# 権限がない場合の例
$ apachectl -t
Syntax error on line 31 of /etc/httpd/conf.d/ssl.conf:
SSLPassPhraseDialog: file '/root/bin/echo_passphrase' does not exist
```

権限も検知してくれる。

```sh
# DocumentRootのディレクトリがない場合の例
$ sudo apachectl configtest
AH00112: Warning: DocumentRoot [/var/www/app/public] does not exist
Syntax OK
```

構文エラーがなくとも、Warningを示してくれる。
エラーもWarningも全て修正しておきたい。

```sh
$ httpd -t
$ httpd configtest
$ /etc/init.d/httpd configtest
```

また、バーチャルホストの設定をしていた場合、`httpd -t -D DUMP_VHOSTS`でバーチャルホストの一覧を確認できる。

関連記事：[ApacheでVirtualHostの一覧確認](https://www.suzu6.net/posts/192-apache-dump-vhosts)

## Apacheを止めずに設定反映  graceful

`apachectl -k graceful`

`graceful`は**緩やかな再起動**です。
子プロセスは現在の処理を完了してから終了します。
親プロセスは設定を反映しておき、新しい子プロセスから新しい設定で動かす。

また、再起動前に構文チェックが走りエラーがある場合再起動されない。
（※これでも正しく再起動することは保証されていないため、事前にチェックは必要）

```sh
$ sudo apachectl -k graceful
```

正しく再起動できた場合特に表示はない。

```sh
$ httpd -t
$ httpd configtest
$ /etc/init.d/httpd configtest
```

`systemctl`では`systemctl reload httpd`がほぼ同じコマンド。

### httpdがもし立ち上がらなかったら

```sh
$ sudo cat /var/log/httpd/error_log
```

`/var/log/httpd/error_log`にエラーログがある。
読んでググれば大体検討は付くはず。

### 参考

- [Apache HTTP サーバ バージョン 2.4 ドキュメント](https://httpd.apache.org/docs/2.4/ja/)

何かあったらこれをまず見る。

- [Apache 便利コマンド集 - Qiita](https://qiita.com/bezeklik/items/990bed2e7e529584fa57)

ログの操作も載っている。

- [httpd -tとconfigtestの違い | OpenGroove](https://open-groove.net/apache/httpd-t-configtest/)

`http -t`と`apachectl configtest`は環境変数を読み込むか読み込まないかの違いがあるらしい。

- [Apacheでreloadとgracefulを試した動きのメモ](http://www.lesstep.jp/step_on_board/apache/610/)

`graceful`が「プロセスが終わるのを待ってから新しい設定を反映させる」か検証された記事。
`reload`は子プロセスの終了を待つが、`graceful`は子プロセスを強制終了させるらしい。(ドキュメントと異なる？)

- [Apacheのrestartやgraceful、stopなどの違い | インフラ | DoRuby](https://doruby.jp/users/yokian/entries/Apache_restart_graceful_stop_)

`graceful`、`restart`の挙動の違いがわかりやすい。

configtestとgracefulでApacheの安全に再起動して設定を反映させる


変なはまり方をしてとてもニッチなエラーだと思うのでログを細かく残しておく。
深夜帯で疲れているためすこし変なテンションで書く。

## エラー内容

CenoOS7のネットワーク設定を変更するため、`/etc/sysconfig/network-scripts/`配下にある`ifcfg-eth1`と`ifcfg-eth0`を修正した。
この時いつものようにバックアップを取ろうと`ifcfg-eth1.org`とコピーしてからファイルを修正している。
その後、`systemctl restart network`としたときにエラーが出た。

```sh
# systemctl restart network
● network.service - LSB: Bring up/down networking
   Loaded: loaded (/etc/rc.d/init.d/network; bad; vendor preset: disabled)
   Active: failed (Result: exit-code) since Thu 2019-07-04 20:43:05 JST; 19s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 3941 ExecStart=/etc/rc.d/init.d/network start (code=exited, status=1/FAILURE)

Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain network[3941]: RTNETLINK answers: File exists
Jul 04 20:43:05 localhost.localdomain systemd[1]: network.service: control proces...1Jul 04 20:43:05 localhost.localdomain systemd[1]: Failed to start LSB: Bring up/d....Jul 04 20:43:05 localhost.localdomain systemd[1]: Unit network.service entered fa....Jul 04 20:43:05 localhost.localdomain systemd[1]: network.service failed.
Hint: Some lines were ellipsized, use -l to show in full.
```

### ログを確認

書式を間違えたかと思いログを表示させると以下のようになっている。
`journalctl -xe`で確認。

```sh
[root@localhost ~]# journalctl -xe
Jul 04 21:12:06 localhost.localdomain network[8337]: [  OK  ]
Jul 04 21:12:06 localhost.localdomain network[8337]: Bringing up interface eth1.org:  [  OK  ]
Jul 04 21:12:07 localhost.localdomain network[8337]: [  OK  ]
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain network[8337]: RTNETLINK answers: File exists
Jul 04 21:12:07 localhost.localdomain systemd[1]: network.service: control process exited, code=exited status=1
Jul 04 21:12:07 localhost.localdomain systemd[1]: Failed to start LSB: Bring up/down networking.
-- Subject: Unit network.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit network.service has failed.
--
-- The result is failed.
Jul 04 21:12:07 localhost.localdomain systemd[1]: Unit network.service entered failed state.
Jul 04 21:12:07 localhost.localdomain systemd[1]: network.service failed.
Jul 04 21:12:07 localhost.localdomain polkitd[2596]: Unregistered Authentication Agent for unix-process:8331:366613 (system bus name :1.506, object path /org/freedesktop/PolicyKit1/AuthenticationAgent,
lines 2403-2431/2431 (END)
```

おわかりだろうか？

長くてわかりづらいと思うが、実は３行目に原因が出ている。
（横にスクロールしないと見えないかも）

```sh
Jul 04 21:12:06 localhost.localdomain network[8337]: Bringing up interface eth1.org:  [  OK  ]
```

**なんと！バックアップとして作った`ifcfg-eth1.org`も読み込まれている！！！！**

これを特定するまで、一旦修正を`.tmp`にして`.org`を戻してrestartしてみるも「もとのファイルなのにエラーが出る！」と1人悩んでいた。。。
因みに`.tmp`も読み込むよ。

## 解決策

読み込んでしまう`.org`と`.tmp`を消した。
restartすると何事もなく立ち上がりました。

### バックアップは.bak

オリジナルのバックアップは`.bak`でとりましょう。
`/etc/sysconfig/network-scripts/`配下では`.bak`は読み込まれないようです。
また、変更前から`.bak`が存在して「オレが見本だよ」と主張していました。

```sh
# ls /etc/sysconfig/network-scripts/
ifcfg-eth0      ifcfg-eth1.bak  # もとからあった.bak
ifcfg-eth0.org  ifcfg-eth1.org  ifdown-bnep  ifdown-isdn  ifdown-sit       ifup           ifup-ippp  ifup-plusb  ifup-sit       ifup-wireless
ifcfg-eth0.tmp  ifcfg-eth1.tmp  ifdown-eth   ifdown-post  ifdown-Team      ifup-aliases   ifup-ipv6  ifup-post   ifup-Team      init.ipv6-global
# 一部省略
```

おわり。

CentOS7でifcfg-eth1の.orgを作るとnetworkを再起動できない


Laravelで開発中にDBの時刻にずれがあり、原因を辿ったら開発環境の時刻がずれていた。
そのため、場当たり的だが手動で時刻を修正する。

週末やバッチ処理のテストにも使える。

### 環境

- CentOS 7.4

[CentOS7の時刻（同期）設定](https://qiita.com/Pirlo/items/c4c23cc1ba2b1d3c0673)を参考に時刻を設定していた。
どこかで間違えたか、VMで開発していたことが原因だと思う。

## 手順

timezoneは`Asia/Tokyo`に設定済みだったが、５時間ほどずれていた。
CLIでは以下のコマンドで確認できる。

```sh
$ date
2019年  6月 10日 月曜日 08:39:39 JST

$ timedatectl status
      Local time: 月 2019-06-10 08:39:46 JST
  Universal time: 日 2019-06-09 23:39:46 UTC
        RTC time: 日 2019-06-09 13:41:45
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
```

`timedatectl set-time 日付時刻`でローカルタイムを修正できる。
この時、ntpが有効になっていると下のようなエラーが出る。

```sh
$ timedatectl set-time "2019-06-10 13:00:00"
Failed to set time: Automatic time synchronization is enabled
```

そのため、`timedatectl set-ntp no`でntpを無効にしてから再度時刻を修正する。

```sh
# ntp無効
$ sudo  timedatectl set-ntp no

$ sudo timedatectl set-time "2019-06-10 13:01:00"
$ timedatectl status
      Local time: 月 2019-06-10 13:01:17 JST
  Universal time: 月 2019-06-10 04:01:17 UTC
        RTC time: 月 2019-06-10 04:01:17
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
```

ntpを有効に戻す。
```
$ sudo timedatectl set-ntp yes
```

### 参考

- [haiju's 開発メモ テスト用にCentOS7の日付をずらす](https://haiju.hatenablog.com/entry/2018/04/17/180747)

CentOSの時刻を手動で変更


CentOS 7にPostgreSQL 10をインストールしようとしましたが、どれを選べばよいか判らず困りました。
[yum.postgresql.org](https://yum.postgresql.org/)にダウンロードリンクがまとまっていますが、たくさんのリンクがあり初めは面食らうと思います。（最近は少しわかるようになってきた。）
また、ネットの記事から同じ環境で同じバージョンのインストール方法を見つけることは難しいです。

[www.postgresql.org](https://www.postgresql.org/download/)ではわかりやすく目的のリンクを探せるようになっていました。
英語やOSの違いでとっつきにくい部分があるので、翻訳しつつ使い方を紹介します。

Linuxを対象にしています。
ひとまず以下の環境向けの手順を示します。

- OS : CentOS 7.6 
  - architecture : x86_64
- PostgreSQL : 10


## Download URLの探し方

[www.postgresql.org](https://www.postgresql.org/download/)

まずは上記のダウンロードページを開きます。

![link](/images/posts/140/148/postgresql-download.png)

ページにはソースコードとバイナリパッケージがありますが、インストールが目的であるためバイナリパッケージを見ます。
「Binary packages」の「Linux」から目的の[ディストリビューション](https://ja.wikipedia.org/wiki/Linux%E3%83%87%E3%82%A3%E3%82%B9%E3%83%88%E3%83%AA%E3%83%93%E3%83%A5%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3)を選びます。

目的の**CentOS**がありました。
これをクリックして次のページへ進みます。

![link](/images/posts/140/148/selector.png)

今回紹介したいのはこのページです！
見て頂くとわかるように、バージョンやOSを選択するとインストールするコマンドまで表示してくれます。
目的のものだけ書いてあるため、混乱なくインストールできます。

### インストールの手順

項目の補足をしながら以下のの環境を作ってみます。

- OS : CentOS 7.6 
  - architecture : x86_64
- PostgreSQL : 10

#### 1. Select version: 

PostgreSQLのバージョンを聞かれています。
（RedHat系では）9.4から11まで選べます。

![step1](/images/posts/140/148/step1.png)

「10」を選びました。

#### 2. Select platform: 

PostgreSQLをインストールするOSを選びます。

![step2](/images/posts/140/148/step2.png)

「CentOS 7」を選びました。

#### 3. Select architecture: 

Linuxマシンのアーキテクチャ（ハードウェア）を選びます。

アーキテクチャはマシンのCPUです。
**x86_64**や**ppc64le**、**i386**などが該当します。

調べ方は`uname`コマンドを使う方法があります。
`uname -m`でマシン（ハードウェア）のタイプを表示します。

```sh
$ uname -m
x86_64

# arch コマンドも同等
$ arch
x86_64
```

![step3](/images/posts/140/148/step3.png)

**x86_64**を選びました。


- [Linuxカーネルのバージョン確認](https://uxmilk.jp/13610#js-heading5)
- [CentOS7で時間のずれを調整してみた](https://qiita.com/one-kelvin/items/36c59c674a82ff903143)
- アーキテクチャについての参考：[Linux カーネルの徹底調査 - IBM](https://www.ibm.com/developerworks/jp/linux/library/l-linux-kernel/index.html)

#### 4. Install the repository RPM:

Step 3まで選ぶと以降はインストールのコマンドです。
Linuxでコマンドを実行していきます。

目的のバージョンの**RPM**をインストールして、yumにリポジトリ情報を追加します。
先に`yum update`をしておくと良いです。

```sh
$ yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-6-x86_64/pgdg-sl10-10-2.noarch.rpm
（略）
インストール:
  pgdg-redhat-repo.noarch 0:42.0-4

完了しました!
```

RPMは、コンパイル済みのバイナリと関連するファイル群の情報をまとめたものです。
昔はソースコードだけ提供されていたため、コンパイルする必要がありました。

参考：[【パッケージ】Linuxの「パッケージ」と「yum」と「rpm」について勉強したのでまとめてみた。](https://qiita.com/sksmnagisa/items/05a6f8a707010b8bea56)

#### 5. Install the client packages:

本命のPostgreSQLをインストールします。

```sh
$ yum install postgresql10
(略)
インストール:
  postgresql10.x86_64 0:10.7-2PGDG.rhel7

依存性関連をインストールしました:
  libicu.x86_64 0:50.1.2-17.el7                                    postgresql10-libs.x86_64 0:10.7-2PGDG.rhel7

完了しました!
```

`yum info postgresql10`でインストール前に情報を確認できます。

#### 6. Optionally install the server packages:

オプションでpostgresql10-serverをインストールします。

```sh
$ yum install postgresql10-server
```

`yum info postgresql10`によると、「PostgreSQLサーバ上のPostgreSQLデータベースを操作したい場合は、このパッケージが必要」らしいです。なんとなく入れておきます。

#### 7. Optionally initialize the database and enable automatic start:

PostgreSQLの初期設定と自動的に立ち上がる設定です。


`systemctl`版の手順
```sh
# データベースの初期化
$ /usr/pgsql-10/bin/postgresql-10-setup initdb

# OS起動時にpostgresqlを自動起動する（同じ）
$ chkconfig postgresql-10 on

# postgresqlを立ち上げる
$ systemctl start postgresql-10
```

CentOS 7 から`systemctl`を使うよう変わりました。`service`コマンドはCentOS 6以前のコマンドです。

#### 操作のコマンド

postgresqlの操作コマンドも載せておきます。

```sh
# 起動
$ systemctl status postgresql-10

# ステータス確認
$ systemctl status postgresql-10

# 終了
$ systemctl stop postgresql-10

# 再起動
$ systemctl reload postgresql-10
```

以上です。

## 注意事項

### Fedoraについて

Red Hat系のFedoraをサーバ目的で使用することをPostgreSQLでは推奨していません。

> **Note**: due to the shorter support cycle on Fedora, all supported versions of PostgreSQL are not available on this platform. We do not recommend using Fedora for server deployments.
> 
> 雑訳：  
> $*$**注意**：Fedoraのサポートサイクルが短いため、サポートされているPostgreSQLの全バージョンはこのプラットフォーム（Fedora）では利用できません。Fedoraをサーバー配備に使用することはお勧めできません。

## 参考

- [PostgreSQL 10 を CentOS 7 に yum インストールする手順](https://weblabo.oscasierra.net/postgresql10-centos7-install/)

RPMやリポジトリなどの説明の参考とさせていただきました。

### おわりに

今回扱ったバージョン・OS以外のインストールも、同様にインストール手順が載っています。
悩んだら[www.postgresql.org](https://www.postgresql.org/download/)を辿ると良いでしょう。

欲しいバージョンのPostgreSQLのリンクがわからなくて困ったときのインストール方法｜CentOS版


閏年の話をしていたとき、後輩君にCUIでカレンダーを表示するコマンドを教えてもらいました。
見やすくて好きです。

## カレンダーを確認する cal

`cal`で見られる日付は整っていて見やすいです。

`cal`では今月のカレンダーが表示できます。
ローカルタイムをJSTにしていたためか、日本語表示になっていました。

```sh
$ cal
      4月 2019
日 月 火 水 木 金 土
    1  2  3  4  5  6
 7  8  9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30
```

出力では今日の日付が網掛けになっています。

### 2020年の閏年に対応しているか確認する

１年分のカレンダーを表示するには表示する年を渡す。
表示する年は1-9999まで指定できます。

```
cal [表示する年]
```

#### 2020年のカレンダーを表示する

```sh
$ cal 2020
                               2020

         1月                    2月                    3月
日 月 火 水 木 金 土   日 月 火 水 木 金 土   日 月 火 水 木 金 土
          1  2  3  4                      1    1  2  3  4  5  6  7
 5  6  7  8  9 10 11    2  3  4  5  6  7  8    8  9 10 11 12 13 14
12 13 14 15 16 17 18    9 10 11 12 13 14 15   15 16 17 18 19 20 21
19 20 21 22 23 24 25   16 17 18 19 20 21 22   22 23 24 25 26 27 28
26 27 28 29 30 31      23 24 25 26 27 28 29   29 30 31

         4月                    5月                    6月
日 月 火 水 木 金 土   日 月 火 水 木 金 土   日 月 火 水 木 金 土
          1  2  3  4                   1  2       1  2  3  4  5  6
 5  6  7  8  9 10 11    3  4  5  6  7  8  9    7  8  9 10 11 12 13
12 13 14 15 16 17 18   10 11 12 13 14 15 16   14 15 16 17 18 19 20
19 20 21 22 23 24 25   17 18 19 20 21 22 23   21 22 23 24 25 26 27
26 27 28 29 30         24 25 26 27 28 29 30   28 29 30
                       31
         7月                    8月                    9月
日 月 火 水 木 金 土   日 月 火 水 木 金 土   日 月 火 水 木 金 土
          1  2  3  4                      1          1  2  3  4  5
 5  6  7  8  9 10 11    2  3  4  5  6  7  8    6  7  8  9 10 11 12
12 13 14 15 16 17 18    9 10 11 12 13 14 15   13 14 15 16 17 18 19
19 20 21 22 23 24 25   16 17 18 19 20 21 22   20 21 22 23 24 25 26
26 27 28 29 30 31      23 24 25 26 27 28 29   27 28 29 30
                       30 31
        10月                   11月                   12月
日 月 火 水 木 金 土   日 月 火 水 木 金 土   日 月 火 水 木 金 土
             1  2  3    1  2  3  4  5  6  7          1  2  3  4  5
 4  5  6  7  8  9 10    8  9 10 11 12 13 14    6  7  8  9 10 11 12
11 12 13 14 15 16 17   15 16 17 18 19 20 21   13 14 15 16 17 18 19
18 19 20 21 22 23 24   22 23 24 25 26 27 28   20 21 22 23 24 25 26
25 26 27 28 29 30 31   29 30                  27 28 29 30 31
```

出力は整っていて好きだ。
コピペすると日本語がどうしてもずれてしまう。

#### 2020年02月のカレンダーを表示する

一年分のカレンダーは冗長だったので月まで指定する。

```sh
$ cal [表示する月] [表示する年]
```

表示する月は1-12で選択します。
月と年の順序に注意。

```sh
$ cal 2 2020
      2月 2020
日 月 火 水 木 金 土
                   1
 2  3  4  5  6  7  8
 9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
```

2020年は閏年です。
02月29日がちゃんとあります。

### 3ヶ月分表示

元号が話題になっているので、昭和から平成に変わった1989年01月08日前後の３ヶ月を表示します。

```
$ cal 1 1989 -3
      12月 1988             1月 1989              2月 1989
日 月 火 水 木 金 土  日 月 火 水 木 金 土  日 月 火 水 木 金 土
             1  2  3   1  2  3  4  5  6  7            1  2  3  4
 4  5  6  7  8  9 10   8  9 10 11 12 13 14   5  6  7  8  9 10 11
11 12 13 14 15 16 17  15 16 17 18 19 20 21  12 13 14 15 16 17 18
18 19 20 21 22 23 24  22 23 24 25 26 27 28  19 20 21 22 23 24 25
25 26 27 28 29 30 31  29 30 31              26 27 28
```

`cal`は元号まで対応していないので、令和の対応に追われずのんびりカレンダーを表示できます。

ふと日付を確認したいときにはLinuxのカレンダーコマンドcal



[この記事](https://www.suzu6.net/posts/150-calendar-command/)を書いたときCentOSの時刻がかなりずれていることに気づいたため、修正する。

- [CentOS7の時刻（同期）設定 - Qiita](https://qiita.com/Pirlo/items/c4c23cc1ba2b1d3c0673)

上の記事を参考に**chronyd**で修正した。

### 環境

- VirtualBoxに乗せたCentOS7.6
- x86_64

インストール時に`sudo yum clean all && yum -y update`を実行して、yumを最新にしてあります。

## 時刻修正

### 時刻設定を確認

`timedatectl`は現時点の「日付と時刻」「タイムゾーン設定」「NTP同期状態」が解かる。
**NTP**(Network Time Protocol)同期は正確な時刻を刻むタイムサーバーに接続して、時刻を修正すること。
NTPはそのプロトコルです。

```sh
$ timedatectl
      Local time: 水 2019-04-24 20:22:14 JST
  Universal time: 水 2019-04-24 11:22:14 UTC
        RTC time: 水 2019-04-24 08:28:20
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
```

タイムゾーンはAsia/Tokyoですが、時刻が15時間ほどずれていました。

### chronyをインストール

chronyを使って時刻を同期します。

```sh
# chronyがインストールされているか確認
$ yum list installed | grep -i chrony
chrony.x86_64                         3.2-2.el7                        @anaconda
```

chronyがインストールされているか確認したところ、手元の環境はインストール済みでした。

インストールは`yum search chrony`で対応するものを探し、`yum install chrony.[アーキテクチャ]`でインストールします。

```sh
$ yum search chrony
略
====================================== N/S matched: chrony ======================================
chrony.x86_64 : An NTP client/server

$ yum install chrony.x86_64
```

### chronyを再起動

chronyを再起動したら時刻が同期できました。

```sh
$ systemctl restart chronyd
$ systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 木 2019-04-25 16:30:02 JST; 8s ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
  Process: 30335 ExecStartPost=/usr/libexec/chrony-helper update-daemon (code=exited, status=0/SUCCESS)
  Process: 30331 ExecStart=/usr/sbin/chronyd $OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 30333 (chronyd)
   CGroup: /system.slice/chronyd.service
           └─30333 /usr/sbin/chronyd
```

```sh
$ date
2019年  4月 25日 木曜日 16:30:37 JST
```

再起動しただけで、NTP同期も有効になっていました。

```sh
$ timedatectl
      Local time: 木 2019-04-25 16:30:58 JST
  Universal time: 木 2019-04-25 07:30:58 UTC
        RTC time: 水 2019-04-24 08:58:42
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a
```

- [ふと日付を確認したいときにはLinuxのカレンダーコマンドcal](https://www.suzu6.net/posts/150-calendar-command/)

## 参考

- [CentOS7の時刻（同期）設定 - Qiita](https://qiita.com/Pirlo/items/c4c23cc1ba2b1d3c0673)
- [新しいNTPクライアント＆サーバ、chrony - Qiita](https://qiita.com/yunano/items/7883cf295f91f4ef716b)
- [日本標準時グループ](http://jjy.nict.go.jp/tsp/PubNtp/index.html)
- [NTP 同期状態ロギング](http://www.vwnet.jp/Windows/PowerShell/2018071601/NTPSyncLog.htm)

CentOS7での時刻修正chronyd


CentOS7にPHP7.3をインストールしていく手順です。7系は同じ手順で大丈夫です。
デフォルトのyumでは5.4までしかインストールできないため、**EPEL**と**Remi**を追加しています。

2019-01-07 追記  EPELのリポジトリを有効にしてインストールするようにコマンドを修正。

### 環境

- CentOS7.6
- x86_64

目的のPHPは7.3です。

## PHPのインストール前の準備

EPELやRemiが追加済みであれば、飛ばしてください。

### 現在のPHPバージョンを確認

```sh
$ rpm -qa | grep php
$ php -v
-bash: php: コマンドが見つかりません
```
PHPは入っていないようです。

インストール済みのPHPを削除する場合は`yum remove php-*`です。


### EPELリポジトリを追加

CentOS7のExtraパッケージにEPELのrpmがあります。
EPELをインストール後、更新します。

```sh
# EPELをインストール
$ sudo yum install epel-release

# yumを更新
$ sudo yum update
```

### Remiリポジトリを追加

[Remi](http://rpms.remirepo.net/)こちらもEPELと同様に便利なリポジトリです。
Remiをインストール後、更新します。

```sh
# Remiをインストール
$ sudo yum -y install http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

# yumを更新
$ sudo yum update
```

remi-release-8.rpmもありましたが**Enterprise Linux - Development version**だったので、remi-release-7.rpmを使いました。

### リポジトリのリストを確認

現在のリポジトリリストです。

```sh
$ sudo　yum repolist
リポジトリー ID                                  リポジトリー名
base/7/x86_64                                    CentOS-7 - Base
*epel/x86_64                                     Extra Packages for Enterprise Linux 7 - x86_64
remi-safe                                        Safe Remi's RPM repository for Enterprise Linux 7 - x86_64
```

EPELとRemiが入っており、バージョンも大丈夫そうです。

## PHP7.xをインストールする

PHP7.3をインストールします。
他の7.x系をお探しのかたは、数値を読み替えてください。

### yumでPHP7.3をインストールする

remi-php73と依存関係のモジュールをインストールします。

```sh
$ sudo yum -y install --enablerepo=epel,remi,remi-php73 php php-devel php-mbstring php-pdo php-gd php-xml php-mcrypt
インストール:
  php.x86_64 0:7.3.4-1.el7.remi            php-devel.x86_64 0:7.3.4-1.el7.remi
  php-gd.x86_64 0:7.3.4-1.el7.remi         php-mbstring.x86_64 0:7.3.4-1.el7.remi
  php-pdo.x86_64 0:7.3.4-1.el7.remi        php-pecl-mcrypt.x86_64 0:1.0.2-2.el7.remi.7.3
  php-xml.x86_64 0:7.3.4-1.el7.remi

依存性関連をインストールしました:
  apr.x86_64 0:1.4.8-3.el7_4.1                  apr-util.x86_64 0:1.5.2-6.el7
  autoconf.noarch 0:2.69-11.el7                 automake.noarch 0:1.13.4-3.el7
  cpp.x86_64 0:4.8.5-36.el7_6.1                 dejavu-fonts-common.noarch 0:2.33-6.el7
  dejavu-sans-fonts.noarch 0:2.33-6.el7         fontconfig.x86_64 0:2.13.0-4.3.el7
  fontpackages-filesystem.noarch 0:1.44-8.el7   gcc.x86_64 0:4.8.5-36.el7_6.1
  gcc-c++.x86_64 0:4.8.5-36.el7_6.1             gd-last.x86_64 0:2.2.5-8.el7.remi
  glibc-devel.x86_64 0:2.17-260.el7_6.4         glibc-headers.x86_64 0:2.17-260.el7_6.4
  httpd.x86_64 0:2.4.6-88.el7.centos            httpd-tools.x86_64 0:2.4.6-88.el7.centos
```

### 確認する

コマンドでインストールを確認します。

```sh
$ php -v
PHP 7.3.4 (cli) (built: Apr  2 2019 13:48:50) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.3.4, Copyright (c) 1998-2018 Zend Technologies

$ rpm -qa | grep php
php-devel-7.3.4-1.el7.remi.x86_64
php-mbstring-7.3.4-1.el7.remi.x86_64
php-pecl-mcrypt-1.0.2-2.el7.remi.7.3.x86_64
php-pdo-7.3.4-1.el7.remi.x86_64
php-json-7.3.4-1.el7.remi.x86_64
php-cli-7.3.4-1.el7.remi.x86_64
php-gd-7.3.4-1.el7.remi.x86_64
php-common-7.3.4-1.el7.remi.x86_64
php-7.3.4-1.el7.remi.x86_64
php-xml-7.3.4-1.el7.remi.x86_64
```

インストールできているが、php73でコマンドが通っているようです。

## tips

### php-○○ と共通部分を書くのが面倒くさい
モジュールを追加していくとphp-○○と同じ文字が並んで書くのがだるくなります。
そこで`php-{devel,mbstring}`と書くと`php-devel, php-mbstring`をそれぞれインストールしてくれます。

インストールと同様に書くとこんな感じです。
```sh
$ sudo yum -y install --enablerepo=epel,remi,remi-php73 php php-{devel,mbstring,pdo,gd,xml,mcrypt}
```

### リポジトリの有効化
モジュールによっては依存関係を解消できない等でエラーが出ます。
```sh
// 例　
Error: Package: php-cli-7.3.13-1.el7.remi.x86_64 (remi-php73)
           Requires: libargon2.so.0()(64bit)
```
Remiだけでphp-cliをインストールした際に依存関係を解消できずエラーがでました。epelのリポジトリも有効にして`sudo yum -y install --enablerepo=remi,epel`とすると解消します。
その他のモジュールなどで必要なリポジトリがある場合は`--enablerepo`の後に追記してください。

また、`--skip-broken`を付けるとエラーが出た際にインストールを止めずに全て試みることができます。
最後に`Skipped (dependency problems):`とスキップしたものの一覧が出ます。


## 参考

- [CentOS6／CentOS7にPHP5.6／PHP7をyumでインストール](https://qiita.com/ozawan/items/caf6e7ddec7c6b31f01e)
- [[CentOS7]EPELリポジトリの簡単な追加方法](https://zero-config.com/centos/install-epel.html)
- [【Laravel超入門】Laravel5.6 + PHP7.2 + centOS7 + Vagrant 環境構築](https://qiita.com/inexp_eng4432/items/ec818f151b8ad516988b)

## CentOS7の設定についての記事

- [CentOSでユーザがsudoを使えるように設定する方法](https://www.suzu6.net/posts/144-centos-su-user/)
- [CentOSの時刻を手動で変更](https://www.suzu6.net/posts/168-centos-timedatectl/)

CentOS7にPHP7.3をインストールする


CentOSの初期設定の際、ユーザが`sudo`コマンドを打てなかった。

```sh
[user@localhost ~]$ sudo ls
user is not in the sudoers file.  This incident will be reported.
```

`sudo`はセキュリティ上重要なコマンドであるため、管理者権限のないユーザは使用できません。
ユーザにsudoの権限を追加する方法について説明します。

## visudo

`/etc/sudoers`にユーザの権限が指定されています。
こちらを編集してユーザに管理者権限を追加します。

まずはrootユーザに移るります。

```sh
[user@localhost ~]$ su - root
Password: 
[root@localhost ~]# 
```

続いて`visudo`コマンドで`/etc/sudoers`を編集します。

```sh
[root@localhost ~]# visudo
```

下記のように管理者権限を追加するユーザを追加します。

```sh
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
user    ALL=(ALL)       ALL # <- 追加したユーザ
```

操作はviと同じです。
`i`キーで書き込みモードにして、`user    ALL=(ALL)       ALL`を記述したら`Esc`でコマンドモードに戻ります。戻ったら`:wq`で上書き保存できます。

`user    ALL=(ALL)       ALL`はユーザにホストのルート権限を渡してすべてのコマンドが使える状態になります。

以上でユーザに管理者権限が追加されました。

### パスワードなし sudo の実行

userにsudoの実行時にパスワードを聞かないよう権限を与えます。

```sh
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
user    ALL=(ALL)       NOPASSWD: ALL # パスワードなし sudo の実行
```

## 参考

- [さくらVPS+CentOS：自分をsudoユーザに追加してみた - suin.io](https://suin.io/473)
- [sudoの権限を設定するvisudoコマンド【Linuxコマンド集】](https://eng-entrance.com/linux-command-visudo)
- [CentOS 7 の初期設定でやっておくべきこと](https://qiita.com/bezeklik/items/0622fbaf7d33dd95d005)

こちらの記事を忘れていて、もう一つ似た記事を書いていました。
良ければ下記もどうぞ。

- [【Linux】sudo権限を持ったユーザアカウントの追加](https://www.suzu6.net/posts/188-user-add/)

CentOSでユーザがsudoを使えるよう設定する


Linuxの容量が気づかないうちに逼迫していることがあります。
下のようなMySQLのエラーが出て対処しようにも、どのディレクトリに大きなファイルがあるかCUIだと分りませんでした。

- [MySQLのError Number:1030 Got error 28 from storage engine](https://www.suzu6.net/posts/107-mysql-error-number-1030)

勉強も兼ねて、容量などを確認するコマンドを調べました。

## Contents

## 環境

[Paiza cloud](https://paiza.cloud/ja/)でサーバを立てて確認しています。

- Ubuntu
- "18.04.1 LTS

## サーバの容量を確認する df

**df**コマンドでサーバのサイズを確認できます。
**-h**はサイズの単位を表示します。**M**は**MB**(メガバイトの意味)。

```bash
~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
none            976M   73M  837M   8% /
tmpfs            64M     0   64M   0% /dev
tmpfs           997M  108K  997M   1% /run
/dev/vda2        50G   26G   22G  54% /bin/busybox
tmpfs           997M     0  997M   0% /run/lock
shm              64M  8.0K   64M   1% /dev/shm
tmpfs           997M     0  997M   0% /sys/fs/cgroup
tmpfs           997M     0  997M   0% /proc/acpi
tmpfs           997M     0  997M   0% /proc/scsi
tmpfs           997M     0  997M   0% /sys/firmware
```

ディスクの容量が50GBだとわかりました。
そのうち54%が使用済みです。

**tmpfs**は一時ディレクトリです。
物理メモリ上にキャッシュファイルや作業用ファイルを置いている。

## duコマンドでディレクトリの使用量を確認する

使用量は**du**コマンドで確認できます。
`/var/log/`の中のファイルを確認してみます。

```bash
$ sudo du -h /var/log/
8.0K    /var/log/postgresql
8.0K    /var/log/apache2
17M     /var/log/journal/e0a80523b9ab48919913e00e5e2544dc
8.1M    /var/log/journal/fba829e3bd3d41cfa84bc5fa93da9059
25M     /var/log/journal
708K    /var/log/apt
4.0K    /var/log/mongodb
4.0K    /var/log/dbconfig-common
4.0K    /var/log/redis
4.0K    /var/log/sysstat
24K     /var/log/mysql
4.0K    /var/log/apparmor
4.0K    /var/log/unattended-upgrades
4.0K    /var/log/dist-upgrade
27M     /var/log/
```

ディレクトリの使用量を再帰的に読み込みます。
`/var/log/journal`が一番大きいディレクトなので、ここから整理すると良いことがわかりました。

オプション**h**はdfの時と同じく見やすい単位にしてくれます。
単位を揃えたいときは、b,k,m で変えられます。

|オプション|意味|
|---|---|
|-h|サイズに応じて読みやすい単位で表示する|
|-b|サイズを `B` バイト単位で表示|
|-k|サイズを `kB` キロバイト単位で表示|
|-m|サイズを `MB` メガバイト単位で表示|

サイズをメガバイト単位で表示する。

```bash
$ sudo du -m /var/log/
1       /var/log/postgresql
1       /var/log/apache2
17      /var/log/journal/e0a80523b9ab48919913e00e5e2544dc
9       /var/log/journal/fba829e3bd3d41cfa84bc5fa93da9059
25      /var/log/journal
1       /var/log/apt
1       /var/log/mongodb
1       /var/log/dbconfig-common
1       /var/log/redis
1       /var/log/sysstat
1       /var/log/mysql
1       /var/log/apparmor
1       /var/log/unattended-upgrades
1       /var/log/dist-upgrade
27      /var/log/
```

## サイズが大きいディレクトリを探す

どのディレクトリが大きいか目星が無く、全て確認したいときもあるかと思います。
duでは全てのディレクトリを表示してしまうので、見づらくなります。

**大きいサイズから10件取り出すコマンド**の組み合わせが下記になります。

```bash
sudo du -m / | sort -n | tail -10
```

1. `du -m /`: 全ディレクトリをMB単位でサイズを表示。
2. `sort -n`: 昇順に並べる。
3. `tail -10`: 後ろの10行を表示する。

以上をパイプラインで繋いでいます。

```bash
$ sudo du -m / | sort -n | tail -10
507     /var
529     /usr/local/rbenv/versions/2.5.3/lib/ruby/gems
529     /usr/local/rbenv/versions/2.5.3/lib/ruby/gems/2.5.0
544     /usr/lib/ghc
544     /usr/local/rbenv/versions/2.5.3/lib/ruby
561     /usr/local/rbenv/versions/2.5.3/lib
621     /usr/bin
631     /usr/local/rbenv/versions
631     /usr/local/rbenv/versions/2.5.3
636     /usr/local/rbenv
655     /usr/lib/x86_64-linux-gnu
676     /usr/local/swift-4.2-RELEASE-ubuntu18.04
676     /usr/local/swift-4.2-RELEASE-ubuntu18.04/usr
693     /usr/local/lib/node_modules
968     /usr/share
1323    /usr/local/lib
3403    /usr/lib
3978    /usr/local
9077    /usr
10429   /
```

大きいサイズのディレクトリが分りました。
これをもとに整理していきます。

## ディレクトリ毎の使用量を確認する

`$ du -d 1`で一階層だけ表示できる。
階層の深さを数値で指定できます。

```sh
$ sudo du -h -d 1 | sort -h
du: cannot access './proc/3752/task/3752/fd/4': No such file or directory
du: cannot access './proc/3752/task/3752/fdinfo/4': No such file or directory
du: cannot access './proc/3752/fd/3': No such file or directory
du: cannot access './proc/3752/fdinfo/3': No such file or directory
0       ./proc
4.0K    ./boot
4.0K    ./lib64
4.0K    ./media
4.0K    ./mnt
4.0K    ./srv
4.0K    ./sys
8.0K    ./dev
16K     ./lost+found
32K     ./paizacloud
44K     ./tmp
84K     ./home
108K    ./run
5.8M    ./lib32
8.7M    ./etc
8.8M    ./sbin
12M     ./bin
45M     ./lib
257M    ./root
496M    ./opt
529M    ./var
8.9G    ./usr
11G     .
```

## 参考

- [tmpfsってなんですか?](http://mylinux.g.hatena.ne.jp/teraco/20081123/1227369431)
- [sortコマンド、基本と応用とワナ](https://qiita.com/richmikan@github/items/cc4494359b1ac2f72311)
- [【 du 】コマンド――ディスクの使用量を表示する](https://www.atmarkit.co.jp/ait/articles/1610/25/news016.html)
- [du -h -d 1 | sort -h が優勝](https://qiita.com/yugo-yamamoto/items/18939d7cc382b518572b)
