
シェルスクリプトを実行した際に`$'\r': command not found` が出た。

これは Windows の改行コードが原因であり、スクリプトを Linux/unix の改行コードに変換する必要がある。

## dos2unix

https://docs.oracle.com/cd/E19253-01/819-1210/6n3j74jn0/index.html

改行コードを変換するツール dos2unix で変更する。

```bash
$ dos2unix <対象のファイル>
```

インストール方法

```bash
# redhat系
$ yum install dos2unix

# Debian系
$ apt-get install dos2unix

# Mac
$ brew install dos2unix
```

### 他に試したこと

sed での変換はうまくいかず、実行結果は変わらなかった。

```bash
$ sed "s/^M//g" <変換前のファイル> <変換後のファイル>
```


シェルスクリプトの実行で$'\r' command not found が出る場合


CentOS 7にfluentdをインストールしようと公式の手順を実行したらインストールできなかった。

[Install by RPM Package (Red Hat Linux) - docs.fluentd.org](https://docs.fluentd.org/installation/install-by-rpm)

こちらの公式ドキュメントの手順に従ってrpm Repsitoryから**td-agent 4**をインストールしてみる。

途中でシェルスクリプトを取得して実行するコマンドがあり、そこでエラーが出た。

```bash
# td-agent 4
# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent4.sh | sh

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   849  100   849    0     0    904      0 --:--:-- --:--:-- --:--:--   908
==============================
 td-agent Installation Script
==============================
This script requires superuser access to install rpm packages.
You will be prompted for your password by sudo.
sh: line 8: sudo: command not found
sh: line 11: sudo: command not found

Installation completed. Happy Logging!
```

問題だったのはrootユーザで実行したため`sudo`コマンドが見つからないとエラーが出てインストールできなかった。

## 解決方法

rootユーザ以外で実行すればよい。以上。


ただ、rootユーザしかない環境だったのでrootで実行できるようにする。
（ユーザ作るの面倒）

curlで取得している`install-redhat-td-agent4.sh`の`sudo`を取り除けばいい。

`install-redhat-td-agent4.sh`の中身と書き換えた箇所。
```diff:install-redhat-td-agent4.sh
echo "=============================="
echo " td-agent Installation Script "
echo "=============================="
echo "This script requires superuser access to install rpm packages."
echo "You will be prompted for your password by sudo."

# clear any previous sudo permission
-- sudo -k

# run inside sudo
-- sudo sh <<SCRIPT
++ sh <<SCRIPT

  # add GPG key
  rpm --import https://packages.treasuredata.com/GPG-KEY-td-agent

  # add treasure data repository to yum
  cat >/etc/yum.repos.d/td.repo <<'EOF';
[treasuredata]
name=TreasureData
baseurl=http://packages.treasuredata.com/4/redhat/\$releasever/\$basearch
gpgcheck=1
gpgkey=https://packages.treasuredata.com/GPG-KEY-td-agent
EOF

  # update your sources
  yum check-update

  # install the toolbelt
  yes | yum install -y td-agent

SCRIPT

# message
echo ""
echo "Installation completed. Happy Logging!"
echo ""
```
中身はyumにTreasureDataのリポジトリを追加する設定ファイルを作ってyum installを実行している内容。

wgetして上記のように書き換えて実行すると無事インストールできた。


```bash
# 書き換えたスクリプトを実行する
# sh install-redhat-td-agent4.sh
==============================
 td-agent Installation Script
==============================

...

Installed:
  td-agent.x86_64 0:4.2.0-1.el7

Dependency Installed:
  libedit.x86_64 0:3.0-12.20121213cvs.el7                          libyaml.x86_64 0:0.1.4-11.el7_0

Complete!

Installation completed. Happy Logging!
```


fluentdがInstall by RPM Package (Red Hat Linux)の手順でインストールできないとき


DockerでたてたCentos7のコンテナでsystemctlが実行できなかった。
```bash
# systmctl start httpd
Failed to get D-Bus connection: Operation not permitted
```

どうやらsystemctlを実行する権限がないようです。
docker-compose.ymlの設定で解決します。

## 解決方法: privilegedを有効にする、 /sbin/initを起動する

- **privileged**で権限を有効にする
- **/sbin/init**から起動する
以上の二つを行うと`systemctl`が実行できるようになります。

### docker-compose.yml と Dockerfile

```yml:docker-compose.yml
version: "3"

services:
  dcloud:
    build: ./
    ports:
      - "8080:80"
    # 権限の有効化
    privileged: true
```

```conf:Dockerfile
FROM centos:7
ENV container docker
RUN (cd /lib/systemd/system/sysinit.target.wants/; for i in *; do [ $i == \
  systemd-tmpfiles-setup.service ] || rm -f $i; done); \
  rm -f /lib/systemd/system/multi-user.target.wants/*;\
  rm -f /etc/systemd/system/*.wants/*;\
  rm -f /lib/systemd/system/local-fs.target.wants/*; \
  rm -f /lib/systemd/system/sockets.target.wants/*udev*; \
  rm -f /lib/systemd/system/sockets.target.wants/*initctl*; \
  rm -f /lib/systemd/system/basic.target.wants/*;\
  rm -f /lib/systemd/system/anaconda.target.wants/*;
VOLUME [ "/sys/fs/cgroup" ]

# /sbin/initから起動する
CMD ["/usr/sbin/init"]
```

以上の設定で`systemctl`が利用できるcentos7のコンテナが作成できました。

Dockerfileの設定は[DockerhubにあるCentOSのofficial build](https://hub.docker.com/_/centos#:~:text=reinstall%20your%20package.-,Systemd%20integration,-Systemd%20is%20now)と同じです。


**/sbin/init**は`docker-compose.yml`で設定してもよさそう。

```yml:docker-compose.yml
version: "3"

services:
  dcloud:
    build: ./
    ports:
      - "8080:80"
    # 権限の有効化
    privileged: true
    command: /sbin/init ## これ
```

## DockerをVMのように利用する

Dockerコンテナは1コンテナで 1プロセスを起動するような設計方針であるため、httpdプロセスのみを起動する方が一般的です。

今回のようにDockerをVMっぽく利用する際には `/sbin/init`

## 参考

- [『Failed to get D-Bus connection: Operation not permitted』で、CentOS 7のdockerでPostgreSQLの起動が失敗した件 - このすみ技術ろぐ](https://www.konosumi.net/entry/2020/09/13/172637)
- [Docker-composeでCentOS7のコンテナを立ち上げてhttpdサービスを起動してみた](https://aimstogeek.hatenablog.com/entry/2017/03/17/195706)

Centos7のdockerコンテナでsystemctlが「Failed to get D-Bus connection Operation not permitted」となるのを回避するdocker-compose.ymlの設定



PHP5.xをバージョン指定してCentOS7にインストールするコマンドです。
PHP7.xやPHP8.xも同様に可能です。
シェルスクリプトで自動化できるようにしたので、VMやDockerのイメージ作成にも使えます。

この記事にたどり着いた方の大半はレガシーな古いPHPのシステムを刷新しようと頑張る方だと思うので応援したい。
今更感もあるがちゃんと書く。

## Contents

## 環境

```bash
$ sudo cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)
```

このサーバにPHP5.xをインストールします。

ここではPHP-FPMを利用しないApacheの構成を想定してます。

## php56をインストールするコマンド

例としてphp56といくつかのphpモジュールやPEARのパッケージをインストールする例を載せます。
一緒にhttpd24もインストールされます。

```bash
#!/bin/bash
yum update

## remi
yum install -y epel-release
yum install -y http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

# デフォルトだと5.4をインストールしてしまう
# php5.6リポジトリの有効化
yum install -y yum-utils
yum-config-manager --enable remi-php56

# php5.6のインストール
yum -y install php
yum -y install php-mbstring \
    php-xml \
    php-pear

# 設定ファイルのバックアップ
cp /etc/php.ini /etc/php.ini.org
# /etc/php.ini.d/　にPHPモジュールの設定ファイルがある


# pear packages
pear install Mail
pear install Mail_Mime
```

### バージョンの指定について

`yum-config-manager --enable remi-php56`のバージョンを`remi-php54`や`remi-php73`などにしてあげるとPHPのバージョンを指定できる。

デフォルトではphp5.4がインストールされてしまいます。
`yum -y --enablerepo=remi,remi-php56 php`でphp56をphpとしてインストールする方法もありますが、なぜかphp5.4がインストールされてしまう問題が起きたため`yum-utils`をインストールして`yum-config-manager`コマンドで`remi-php56`を有効にしてからインストールする方法に落ち着きました。

`yum-config-manager --enable remi-php56`を実行すると`/etc/yum.repos.d/remi.repo`の設定ファイルを書き換えてremi-php56を有効化します。

バージョン確認。

```bash
# php -v
PHP 5.6.40 (cli) (built: Jun 28 2021 14:40:12)
Copyright (c) 1997-2016 The PHP Group
Zend Engine v2.6.0, Copyright (c) 1998-2016 Zend Technologies
```

### /etc/yum.repos.d/remi.repoについて

`yum-config-manager --enable remi-php56`を実行すると`/etc/yum.repos.d/remi.repo`の設定ファイルの`[remi-php56]`の`enabled=1`と書き換えてremi-php56を有効化します。

設定ファイルの中身はこんな感じです。

```bash
$ sudo cat /etc/yum.repos.d/remi.repo
# Repository: http://rpms.remirepo.net/
# Blog:       http://blog.remirepo.net/
# Forum:      http://forum.remirepo.net/

[remi]
name=Remi\'s RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/remi/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/remi/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/remi/mirror
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

[remi-php55]
name=Remi\'s PHP 5.5 RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/php55/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/php55/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/php55/mirror
# NOTICE: common dependencies are in "remi-safe"
enabled=0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

[remi-php56]
name=Remi\'s PHP 5.6 RPM repository for Enterprise Linux 7 - $basearch
#baseurl=http://rpms.remirepo.net/enterprise/7/php56/$basearch/
#mirrorlist=https://rpms.remirepo.net/enterprise/7/php56/httpsmirror
mirrorlist=http://cdn.remirepo.net/enterprise/7/php56/mirror
# NOTICE: common dependencies are in "remi-safe"
enabled=1 #これが1になった
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi
```

remiリポジトリの設定はいくつかあるのでこれから有効にするPHPのバージョンを選べばよい。

```bash
$ sudo cat /etc/yum.repos.d/remi
remi-glpi91.repo   remi-glpi94.repo   remi-php70.repo    remi-php73.repo    remi.repo
remi-glpi92.repo   remi-modular.repo  remi-php71.repo    remi-php74.repo    remi-safe.repo
remi-glpi93.repo   remi-php54.repo    remi-php72.repo    remi-php80.repo
```

## リンク

この記事に関するリンクを挙げておきます。
疑問に思ったら一読をお勧めします。

- [CentOSなどで使う、Remi Repositoryってなんだ？](https://qiita.com/charon/items/6d34ae798e9b05e8bd0a)

よくわかんないよってなったらTwitterのDMしてくれたら何とかします。
PHPのレガシーシステムの刷新とか仕事につながったら嬉しいです。


PHP5.xをCentOS7にインストールする


自分用のメモ

`yum update`したときにマイナーバージョンがどうなるか確かめました。
結果、CentOS7.1がCentOS7.9へとバージョンが上がってます。
CentOS7のなかでCentOS7.9.2009が現在最新ですので、最新のマイナーバージョンになるようです。

[CentOS 7 ReleaseNotes](https://wiki.centos.org/Manuals/ReleaseNotes/CentOS7)

環境はVagrantで用意しました。

## 初期のバージョン

CentOS7.1
```bash
$ cat /etc/redhat-release
CentOS Linux release 7.1.1503 (Core)

$ cat /etc/os-release 
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

$ uname -a
Linux localhost.localdomain 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 
x86_64 GNU/Linux
```

## yum updateしたあと
CentOS7.9
```bash
$ cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

$ cat /etc/os-release 
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

$ uname -a
Linux localhost.localdomain 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 
x86_64 GNU/Linux
```

やっぱりyum updateするとマイナーバージョンが最新になるね。

以上

CentOS7.1をyum updateすると7.9とかマイナーバージョンが上がることの確認



`yum deplist`でyumパッケージの依存関係を確認することができる。

```
yum deplist [パッケージ名]
```
パッケージが依存しているパッケージのリストを出力できます。

インストールする際に出るリストは足りないから一緒にインストールするパッケージのみです。

▼ **nginx**をインストールするとき一緒にインストールする依存したパッケージの例。
```bash
$ sudo yum install nginx
...
Dependencies Resolved

============================================================================================================= Package                        Arch                 Version                        Repository          Size 
=============================================================================================================Installing:
 nginx                          x86_64               1:1.20.1-2.el7                 epel               586 k 
Installing for dependencies:
 centos-indexhtml               noarch               7-9.el7.centos                 base                92 k 
 gperftools-libs                x86_64               2.6.1-1.el7                    base               272 k 
 nginx-filesystem               noarch               1:1.20.1-2.el7                 epel                23 k 
 openssl11-libs                 x86_64               1:1.1.1g-3.el7                 epel               1.5 M 

Transaction Summary
=============================================================================================================Install  1 Package (+4 Dependent packages)
```

`yum deplist`ではインストール済のパッケージも含めて依存するパッケージのリストがわかる。
対象が未インストールでも確認できます。

▼ nginxが依存するすべてのパッケージ。`openssl`や`zlib`に依存していることがわかる。
```bash
$ sudo yum deplist nginx

Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp-srv2.kddilabs.jp
 * epel: ftp.riken.jp
 * extras: ftp-srv2.kddilabs.jp
 * remi-php56: ftp.riken.jp
 * remi-safe: ftp.riken.jp
 * updates: ftp.riken.jp
package: nginx.x86_64 1:1.20.1-2.el7
  dependency: /bin/sh
   provider: bash.x86_64 4.2.46-34.el7
  dependency: libc.so.6(GLIBC_2.17)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypt.so.1(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libcrypto.so.1.1()(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libcrypto.so.1.1(OPENSSL_1_1_0)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libdl.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libdl.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpcre.so.1()(64bit)
   provider: pcre.x86_64 8.32-17.el7
  dependency: libprofiler.so.0()(64bit)
   provider: gperftools-libs.x86_64 2.6.1-1.el7
  dependency: libpthread.so.0()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpthread.so.0(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libpthread.so.0(GLIBC_2.3.2)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  dependency: libssl.so.1.1()(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libssl.so.1.1(OPENSSL_1_1_0)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libssl.so.1.1(OPENSSL_1_1_1)(64bit)
   provider: openssl11-libs.x86_64 1:1.1.1g-3.el7
  dependency: libz.so.1()(64bit)
   provider: zlib.x86_64 1.2.7-19.el7_9
  dependency: nginx-filesystem
   provider: nginx-filesystem.noarch 1:1.20.1-2.el7
  dependency: nginx-filesystem = 1:1.20.1-2.el7
   provider: nginx-filesystem.noarch 1:1.20.1-2.el7
  dependency: openssl
   provider: openssl.x86_64 1:1.0.2k-21.el7_9
  dependency: pcre
   provider: pcre.x86_64 8.32-17.el7
   provider: pcre.i686 8.32-17.el7
  dependency: redhat-indexhtml
   provider: centos-indexhtml.noarch 7-9.el7.centos
  dependency: rtld(GNU_HASH)
   provider: glibc.x86_64 2.17-324.el7_9
   provider: glibc.i686 2.17-324.el7_9
  dependency: system-logos
   provider: centos-logos.noarch 70.0.6-3.el7.centos
  dependency: systemd
   provider: systemd.x86_64 219-78.el7_9.3
```

### yum deplist php

▼ remi-release-7を使ってインストールしたphp5.6の依存するパッケージの例。
```bash
$ sudo yum deplist php
読み込んだプラグイン:fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp.jaist.ac.jp
 * epel: ftp.jaist.ac.jp
 * extras: ftp.jaist.ac.jp
 * remi-php56: ftp.riken.jp
 * remi-safe: ftp.riken.jp
 * updates: ftp.jaist.ac.jp
パッケージ    : php.x86_64 5.6.40-28.el7.remi
  依存性      : httpd
   provider: httpd.x86_64 2.4.6-97.el7.centos
  依存性      : httpd-mmn = 20120211x8664
   provider: httpd.x86_64 2.4.6-97.el7.centos
  依存性      : ld-linux-x86-64.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : ld-linux-x86-64.so.2(GLIBC_2.3)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libc.so.6(GLIBC_2.15)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libcom_err.so.2()(64bit)
   provider: libcom_err.x86_64 1.42.9-19.el7
  依存性      : libcrypt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libcrypto.so.10()(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(OPENSSL_1.0.1_EC)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(OPENSSL_1.0.2)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libcrypto.so.10(libcrypto.so.10)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libdl.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libdl.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libgssapi_krb5.so.2()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libk5crypto.so.3()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libkrb5.so.3()(64bit)
   provider: krb5-libs.x86_64 1.15.1-50.el7
  依存性      : libm.so.6()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libm.so.6(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libnsl.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libpcre.so.1()(64bit)
   provider: pcre.x86_64 8.32-17.el7
  依存性      : libpthread.so.0()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libpthread.so.0(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libresolv.so.2()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libresolv.so.2(GLIBC_2.2.5)(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : librt.so.1()(64bit)
   provider: glibc.x86_64 2.17-324.el7_9
  依存性      : libssl.so.10()(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libssl.so.10(libssl.so.10)(64bit)
   provider: openssl-libs.x86_64 1:1.0.2k-21.el7_9
  依存性      : libxml2.so.2()(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.4.30)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.5.2)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.6.0)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libxml2.so.2(LIBXML2_2.6.11)(64bit)
   provider: libxml2.x86_64 2.9.1-6.el7.5
  依存性      : libz.so.1()(64bit)
   provider: zlib.x86_64 1.2.7-19.el7_9
  依存性      : php-cli(x86-64) = 5.6.40-28.el7.remi
   provider: php-cli.x86_64 5.6.40-28.el7.remi
  依存性      : php-common(x86-64) = 5.6.40-28.el7.remi
   provider: php-common.x86_64 5.6.40-28.el7.remi
  依存性      : rtld(GNU_HASH)
   provider: glibc.x86_64 2.17-324.el7_9
   provider: glibc.i686 2.17-324.el7_9
```

以上


【CentOS7】yumで依存しているパッケージを確認する


サーバのアップデート兼移行のためインストールしているパッケージやサービスの状態を調べたりしています。

この記事では、systemctlの起動中や自動起動になっているサービス一覧を取得していきます。


## 起動中のサービス一覧を表示するコマンド

ステータスが`active`になっているサービスのリストを表示する。
```
# systemctl list-units --type=service
```

- `list-units`はデフォルトでアクティブなユニットのみを表示します。
- `--type`は表示するタイプを指定します。
  カンマ区切りで複数指定できる`--type=service,socket`。
  `service`の他に`socket`や`mount`や`device`などあり、`--type=service`を取って実行するといっぱい出てきて面白い。


▼ 実行した例 (CentOS 7.9)
```bash
$ sudo systemctl list-units --type=service
[sudo] suzu6 のパスワード:
  UNIT                             LOAD   ACTIVE SUB     DESCRIPTION
  abrt-ccpp.service                loaded active exited  Install ABRT coredump hook
  abrt-oops.service                loaded active running ABRT kernel log watcher
  abrtd.service                    loaded active running ABRT Automated Bug Reporting Tool
  atd.service                      loaded active running Job spooling tools
  auditd.service                   loaded active running Security Auditing Service
  chronyd.service                  loaded active running NTP client/server
  crond.service                    loaded active running Command Scheduler
  dbus.service                     loaded active running D-Bus System Message Bus
  firewalld.service                loaded active running firewalld - dynamic firewall daem
  getty@tty1.service               loaded active running Getty on tty1
...
```

- **UNIT**: systemdユニット名
- **LOAD**: ユニットの構成がsystemdによって解析されたかどうか。ロードされたユニットの設定はメモリに保持されます。
- **ACTIVE**: ユニットがアクティブかどうかに関する状態概要。これは通常、ユニットが正常に起動したかどうかを判断する極めて基本的な方法です。
- **SUB**: 低レベルの状態を表し、ユニットに関するより詳細な情報を示します。多くの場合、ユニットのタイプ、状態、および実際のユニットの実行方法によって異なります。
- **DESCRIPTION**: ユニットの内容/実行内容の短いテキストによる説明。

## 全てのサービスの状態を表示する

`list-units`はデフォルトでアクティブなユニットのみを表示するため、全ての状態を表示したい場合はオプション`--all`を付ける。

```
# systemctl list-units --all  --type=service
```



▼ 実行した例 (CentOS 7.9)
```bash
$ sudo systemctl list-units --all  --type=service
  UNIT                                             LOAD      ACTIVE   SUB     DESCRIPTION
  abrt-ccpp.service                                loaded    active   exited  Install ABRT coredump hook
  abrt-oops.service                                loaded    active   running ABRT kernel log watcher
  abrt-vmcore.service                              loaded    inactive dead    Harvest vmcores for ABRT
  abrt-xorg.service                                loaded    inactive dead    ABRT Xorg log watcher
  abrtd.service                                    loaded    active   running ABRT Automated Bug Reporting Tool
  atd.service                                      loaded    active   running Job spooling tools
  auditd.service                                   loaded    active   running Security Auditing Service
  chronyd.service                                  loaded    active   running NTP client/server
  cpupower.service                                 loaded    inactive dead    Configure CPU power related settings
  crond.service                                    loaded    active   running Command Scheduler
  dbus.service                                     loaded    active   running D-Bus System Message Bus
● display-manager.service                          not-found inactive dead    display-manager.service
  dm-event.service                                 loaded    inactive dead    Device-mapper event daemon
```
**ACTIVE**の状態は`active`, `inactive`, `failed`と3種類ありました。

## すべてのユニットファイルの一覧と自動起動の状態

list-unitsコマンドは、systemdが解析してメモリにロードしようとしたユニットのみを表示します。systemdは必要と判断したユニットしか読み込まないめ、必ずしもシステムで利用可能なユニットすべてが表示されるとは限りません。systemdがロードしないものを含め、systemdパス内の利用可能なユニットファイルをすべて表示するには、 list-unit-filesコマンドを使用します。

ついでに**STATE**のカラムで自動起動の有効無効が確認できる。

```
# systemctl list-unit-files --type=service
```


▼ 実行した例 (CentOS 7.9)

```bash
$ sudo  systemctl list-unit-files --type=service
UNIT FILE                                     STATE   
abrt-ccpp.service                             enabled 
abrt-oops.service                             enabled 
abrt-pstoreoops.service                       disabled
abrt-vmcore.service                           enabled 
abrt-xorg.service                             enabled 
abrtd.service                                 enabled 
arp-ethers.service                            disabled
atd.service                                   enabled 
auditd.service                                enabled 
autovt@.service                               enabled 
blk-availability.service                      disabled
brandbot.service                              static
chrony-dnssrv@.service                        static
chrony-wait.service                           disabled
chronyd.service                               enabled 
console-getty.service                         disabled
console-shell.service                         disabled
lines 1-18
```

- `enabled`: 自動起動有効
- `disabled`: 自動起動無効
- `static`: おそらくプロセスとかがないタイプのサービス、たぶん

個別のサービスの状態は↓で確認できる
```bash
$ systemctl is-enabled chronyd.service
enabled
```


## 参考

- [Systemctlサービスを使用してSystemdサービスとユニットを管理する方法](https://www.digitalocean.com/community/tutorials/how-to-use-systemctl-to-manage-systemd-services-and-units-ja)
- [[CentOS7] サービスの一覧を見たり、起動・停止したい](https://blue21neo.blogspot.com/2015/08/centos7_82.html)

systemctlの起動中のサービス一覧を表示するコマンド


ディレクトリ内のシンボリックリンクを全件削除するコマンドです。

シンボリックリンクを消すコマンドに`unlink`があります。
ただし、このコマンドだと引数にファイルパスを渡さないとダメで、`$ unlink *`とか`unlink -r dir`のような書き方ができない。

そのため、`find`でシンボリックリンクを探して`rm`で消すことになる。

## ディレクトリ内のシンボリックリンクを全件削除する

```bash
$ find -type l | xargs rm -f
```

`-type l`がディレクトリ内のシンボリックを探し、そのリストを`rm`の引数にして削除してます。rmの`-f`は確認無しで削除するオプション。


findのオプションやパイプを工夫すれば、条件を変えたりシンボリックに限らずファイルを操作できる。

以下はシンボリックリンクに関する操作の応用。

## 削除するシンボリックリンクをファイル名で条件付けする

```bash
# 拡張子が.datのファイルのシンボリックリンクを削除
$ find -type l -name "*.log" | xargs rm -f
```

オプションの`-name`が大文字と小文字を区別する検索方法で、`-iname`が大文字と小文字を区別しない検索方法となる。

```bash
# NOT
$ find -type l ! -name "*.log" | xargs rm -f

# OR
$ find -type l -name "*.log" -o -name "*.csv" | xargs rm -f
```

## 検索するディレクトリの深さを指定する

```bash
# 2階層までのディレクトリ内のシンボリックリンクを削除
$ find -type l -maxdepth 2 | xargs rm -f
```

オプション`-maxdepth`の数値がディレクトリの階層の数に当たる。

この他はfindのオプションを調べると、色々とシンボリックリンクをまとめて操作できるようになる。


## 参考
- [linuxでディレクトリ内のシンボリックリンクのみを絞り出して削除した話 - ウェブエンジニア珍道中](https://www.te-nu.com/entry/2015/12/02/113205)
- [findコマンドの使い方 - Qiita](https://qiita.com/hana_shin/items/d1b420568d3c2223bd07#93-or%E6%9D%A1%E4%BB%B6%E3%81%A7%E7%B5%9E%E3%82%8A%E8%BE%BC%E3%82%80%E6%96%B9%E6%B3%95-o)

Linux ディレクトリ内のシンボリックリンクを全件削除するコマンド


Nuxt.jsで静的サイトを作成する処理を実行したら、計算途中でメモリが不足してエラーとなり止まってしまった。
ヒープ領域を確保して処理を通します。

参考： https://qiita.com/nakamto/items/8ed18f9f0d980fd70be1

## 環境

- CentOS Linux 7
- node v14.15.3
- yarn 1.22.10

## エラー

```bash
$ yarn generate

(省略)


<--- JS stacktrace --->

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0xa04200 node::Abort() [/usr/local/bin/node]
 2: 0x94e4e9 node::FatalError(char const*, char const*) [/usr/local/bin/node]
 3: 0xb7860e v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 4: 0xb78987 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 5: 0xd33215  [/usr/local/bin/node]
 6: 0xd33d9f  [/usr/local/bin/node]
 7: 0xd41e2b v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [/usr/local/bin/node]
 8: 0xd459ec v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [/usr/local/bin/node]
 9: 0xd0b2f2 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [/usr/local/bin/node]
10: 0xd05174 v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawWithImmortalMap(int, v8::internal::AllocationType, v8::internal::Map, v8::internal::AllocationAlignment) [/usr/local/bin/node]
11: 0xd074c1 v8::internal::FactoryBase<v8::internal::Factory>::NewRawTwoByteString(int, v8::internal::AllocationType) [/usr/local/bin/node]
12: 0x1097b49 v8::internal::Runtime_StringBuilderConcat(int, unsigned long*, v8::internal::Isolate*) [/usr/local/bin/node]
13: 0x1400039  [/usr/local/bin/node]
error Command failed with signal "SIGABRT".
info Visit https://yarnpkg.com/en/docs/cli/run for documentation about this command.
```

## 解決方法

処理を実行する前に`NODE_OPTIONS`の`max-old-space-size`を設定します。

```bash
$ export NODE_OPTIONS="--max-old-space-size=2048"
```

数値の単位はメガバイトです。
2048MBは2GBです。

V8ヒープの使用量がヒープ制限に近づいたとき、V8ヒープスナップショットをディスクに書き込み領域を確保します。

NODE_OPTIONSについて: 
https://nodejs.org/api/cli.html#cli_max_old_space_size_size_in_megabytes


【Node.js】yarn generateでヒープ領域が不足してエラーになったのでヒープ領域の設定を変更して処理を実行した


ディレクトリの中身のファイルをリスト化して操作できると色々と便利です。
例としてディレクトリ内のファイルの行数をCSV出力してみながら、bashの解説をしていきます。

## Contents

## 目的

Apacheの**ログファイルのファイル名とそのファイルの行数のCSVを出力する**bashを考えてみる。

▼ディレクトリの中身はこんな感じ。
Apacheのログとそのバックアップのディレクトリがあるとする。
ログは１週間ごとに切り分けてあり、古いファイルは圧縮している。

```bash
/var/log/httpd/
├── access_log
├── access_log-20210228.gz
├── access_log-20210307.gz
├── access_log-20210314.gz
├── access_log-20210321.gz
├── error_log
├── error_log-20210228.gz
├── error_log-20210307.gz
├── error_log-20210314.gz
├── error_log-20210314.gz
├── error_log-20210321.gz
└── backup  # ディレクトリ
    ├── 202012
    ├── 202101
    ├── 202102
    └── 202103
```

以降で順に説明しながら目的を実行するスクリプトを書いていく。

## 1. ディレクトリ内のファイルとフォルダを出力する

```bash
#!/bin/bash

DIR=/var/log/httpd

# ディレクトリ内のファイルのリストを操作
for path in $DIR/*; do
  # パスを出力する
  echo $path
done
```

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
/var/log/httpd/backup
```

`for path in /path/to/dir/*; do`と書くとディレクトリ内の一層目のファイルとフォルダの
リストをfor文で扱うことができる。

## 2. ディレクトリとファイルを判定する

`if [ -d "$path" ]; then`でディレクトリか判定できる。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  echo $path
done
```

▼ファイルのみ出力する

```bash:実行結果
/var/log/httpd/access_log
/var/log/httpd/access_log-20210228.gz
/var/log/httpd/access_log-20210307.gz
/var/log/httpd/access_log-20210314.gz
/var/log/httpd/access_log-20210321.gz
/var/log/httpd/error_log
/var/log/httpd/error_log-20210228.gz
/var/log/httpd/error_log-20210307.gz
/var/log/httpd/error_log-20210314.gz
/var/log/httpd/error_log-20210321.gz
```

早めに例外で切り上げるため`-d`でディレクトリか判定しました。
他にもファイルやシンボリックリンクなど判定できます。

> - `-e`: パスが存在するか
> - `-d`: ディレクトリが存在するか
> - `-f`: ファイルが存在するか
> - `-L`: リンクが存在するか
> - `-s`: 空ファイルではないか
> - `-w`: ファイルが書込可能か
> - `-x`: ファイルが実行可能か
> 参考: [bashでファイルやディレクトリの存在確認方法まとめ](https://qiita.com/nii_yan/items/73f4caacdc2ca6f45135)

## 3. パスからファイル名を取得する

`FILE_NAME=${path##*/}`でパスからファイル名を取得出来る。

```bash
#!/bin/bash

DIR=/var/log/httpd

for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}
  echo $FILE_NAME
done
```

```bash:実行結果
access_log
access_log-20210228.gz
access_log-20210307.gz
access_log-20210314.gz
access_log-20210321.gz
error_log
error_log-20210228.gz
error_log-20210307.gz
error_log-20210314.gz
error_log-20210321.gz
```

パターンマッチより`${変数##パターン}`とすると**先頭から最長一致した部分を取り除く**。
つまり、`${path##*/}`ではパスの一番後ろの`/`までが取り除かれるため、ファイル名が残る。

> パターンマッチの仕様
>
> ```bash
> ${変数#パターン}   # 先頭から最短一致した部分を取り除く
> ${変数##パターン}  # 先頭から最長一致した部分を取り除く
> ${変数%パターン}   # 末尾から最短一致した部分を取り除く
> ${変数%%パターン}  # 末尾から最長一致した部分を取り除く
> ```
>
> 参考: [パス文字列からファイル名などを抜き出す](https://qiita.com/ktr_type23/items/94747a4b27e8a630ce48)

## 4. ファイルの行数を変数に代入する

`wc -l`でファイルの行数がわかる。
この結果を変数に代入して扱えるようする。

```bash
#!/bin/bash

file=/var/log/httpd/access_log
LINE=$(wc -l < $file)

echo $LINE
```

```bash:実行結果
173543
```

また、行数を取得する際に条件付けもしてみる。

### 4.1. grepで条件付けした行数を変数に代入する

```bash
#!/bin/bash

# grepで条件付け
file=/var/log/httpd/access_log
LINE=$(cat $file | grep POST | wc -l)

echo "POST:"$LINE
```

```bash:実行結果
POST:26
```

### 4.2. 一時ファイルに保存した行数を変数に代入する

```bash
#!/bin/bash

# 一時ファイルに保存する
# GETを含む and 200を含まない
cat /var/log/httpd/access_log \
      | grep GET \
      | grep -v "200" \
      > tmp.txt
LINE=$(wc -l < "tmp.txt")
echo "GET and not in 200:"$LINE
```

```bash:実行結果
GET and not in 200:76
```

### 4.3. 圧縮ファイルの行数を変数に代入する

```bash
#!/bin/bash

# 圧縮ファイル
file=/var/log/httpd/access_log-20210228.gz
LINE=$(zcat $file | wc -l)

echo $LINE
```

```bash:実行結果
413180
```

## 5. ログファイルのファイル名とそのファイルの行数のCSVを出力する

目的の処理を実装する。

```bash
#!/bin/bash

DIR=/var/log/httpd

echo "filename,line"
for path in $DIR/*; do
  if [ -d "$path" ]; then
    # ディレクトリの場合スキップする
    continue
  fi
  # echo $path
  FILE_NAME=${path##*/}

  # 拡張子
  ext=${FILE_NAME##*.}
  if [ "$ext" == "gz" ]; then
    # 圧縮ファイル
    LINE=$(zcat $path | wc -l)
  else
    LINE=$(cat $path | wc -l)
  fi
  echo $FILE_NAME","$LINE
done
```

```bash:実行結果
filename,line
access_log,178389
access_log-20210228.gz,413180
access_log-20210307.gz,411489
access_log-20210314.gz,413381
access_log-20210321.gz,422814
error_log,16686
error_log-20210228.gz,41686
error_log-20210307.gz,44184
error_log-20210314.gz,44154
error_log-20210321.gz,43002
```

いい感じですね。


【bash】ディレクトリ内のファイルの行数をCSV出力する


Laravelで開発中にDBの時刻にずれがあり、原因を辿ったら開発環境の時刻がずれていた。
そのため、場当たり的だが手動で時刻を修正する。

週末やバッチ処理のテストにも使える。

### 環境

- CentOS 7.4

[CentOS7の時刻（同期）設定](https://qiita.com/Pirlo/items/c4c23cc1ba2b1d3c0673)を参考に時刻を設定していた。
どこかで間違えたか、VMで開発していたことが原因だと思う。

## 手順

timezoneは`Asia/Tokyo`に設定済みだったが、５時間ほどずれていた。
CLIでは以下のコマンドで確認できる。

```sh
$ date
2019年  6月 10日 月曜日 08:39:39 JST

$ timedatectl status
      Local time: 月 2019-06-10 08:39:46 JST
  Universal time: 日 2019-06-09 23:39:46 UTC
        RTC time: 日 2019-06-09 13:41:45
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
```

`timedatectl set-time 日付時刻`でローカルタイムを修正できる。
この時、ntpが有効になっていると下のようなエラーが出る。

```sh
$ timedatectl set-time "2019-06-10 13:00:00"
Failed to set time: Automatic time synchronization is enabled
```

そのため、`timedatectl set-ntp no`でntpを無効にしてから再度時刻を修正する。

```sh
# ntp無効
$ sudo  timedatectl set-ntp no

$ sudo timedatectl set-time "2019-06-10 13:01:00"
$ timedatectl status
      Local time: 月 2019-06-10 13:01:17 JST
  Universal time: 月 2019-06-10 04:01:17 UTC
        RTC time: 月 2019-06-10 04:01:17
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
```

ntpを有効に戻す。
```
$ sudo timedatectl set-ntp yes
```

### 参考

- [haiju's 開発メモ テスト用にCentOS7の日付をずらす](https://haiju.hatenablog.com/entry/2018/04/17/180747)

CentOSの時刻を手動で変更

環境

手順

参考