
tcpdumpを実行すると「パケット出力でNFLOGがサポートされていない」ってエラーが出る。

```bash
$ sudo tcpdump
tcpdump: packet printing is not supported for link type NFLOG: use -w
```

環境はCentOS 7 です。

## ネットワークインターフェースを指定する

tcpdumpはデフォルトでネットワークインターフェースのリストの一番上のインターフェースを利用し、それがnflogになっている状況です。

ifconfigなどで確認したインターフェースを指定して実行するとパケットキャプチャできる。

```bash
# eth2のパケットを出力する
$ sudo tcpdump -i eth2
```

全てのインタフェースを指定する場合は`-i any`です。

```bash
# 全てのインタフェースを指定する
$ sudo tcpdump -i any
```

## ネットワークインターフェースのリスト
tcpdumpはデフォルトでネットワークインターフェースのリストの一番上のインターフェースを利用する。

ネットワークインターフェースのリストはオプション`-D`で確認できます。
```bash
$ sudo tcpdump -D
1.nflog (Linux netfilter log (NFLOG) interface)
2.nfqueue (Linux netfilter queue (NFQUEUE) interface)
3.ens160
4.ens192
5.any (Pseudo-device that captures on all interfaces)
6.lo [Loopback]
```

ネットワークインターフェースのリストはオプション`--list-interfaces`でも出力できる。

別のサーバではeth0が一番上にあった。

```bash
$ sudo tcpdump -D
1.eth0
2.nflog (Linux netfilter log (NFLOG) interface)
3.nfqueue (Linux netfilter queue (NFQUEUE) interface)
4.eth1
5.usbmon1 (USB bus number 1)
6.eth2
7.any (Pseudo-device that captures on all interfaces)
8.lo [Loopback]
```

tcpdumpについては↓が詳しい。
- [memo/tcpdump.md at master - GitHub](https://github.com/tsuyopon/memo/blob/master/tcpdump.md)

## nflogとは？

**linux netfilter log (nflog) interface**のことらしい。

## 参考

- [CentOS7のtcpdumpでインターフェースを指定しないとエラーになる - aoishi.hateblo.jp](https://aoishi.hateblo.jp/entry/2017/12/01/234600)
- [Man page of TCPDUMP](https://www.tcpdump.org/manpages/tcpdump.1.html)

tcpdumpでtcpdump packet printing is not supported for link type NFLOGとなる



tarで一部のファイルを除外するオプションです。

`tar --exclude pattern` でパターンに応じたファイルを除外して固めることができます。

## 使いどころ

バックアップのためディレクトリをtarで固めていた際に、`tar: /path/to/some.sock: socket ignored`との標準エラーが出ていました。
処理中に標準エラーが出たらメールを送るようにしていたのでこれを修正します。

ソケットはバックアップに不要なため無視するオプションを付けました。

```sh
tar --exclude *.sock -Pzcvf /foo/data.tar.gz /backup_dir
```

`--exclude *.sock `でソケットを無視します。


バックアップ処理の流れは２つの記事の通りです。
- [ディレクトリのバックアップスクリプト](https://www.suzu6.net/posts/231-dirctory-backup-script/)
- [Python2.7 smtplibで保守のメールを送る](https://www.suzu6.net/posts/228-python27-mail/)


tarで一部のファイルを除外する


ディレクトリのバックアップスクリプトを作成したのでメモ。

## 環境

- CentOS 6.6

同じ処理をCentOS 7でも実行可能です。

## ディレクトリのバックアップ

要件として以下を想定した
- 対象のディレクトリを圧縮してバックアップを取る
- １週間分のバックアップを保存する（同時に古いものを削除する）
- 毎日実行する

```sh
# バックアップ先のディレクトリ
backupdir='/path/to/backupdir'

# 古いものを削除する
find $backupdir -type f -daystart -mtime +6 |xargs /bin/rm -f

# バックアップするディレクトリ
targetdir='/path/to/target_dir'

# ファイル名を定義
filename='backup.tar.gz'
cDateTime=`date '+%Y%m%d_%H%M%S'`

# backup実行
tar -zcf $backupdir/$filename$cDateTime $targetdir
```

これでバックアップファイル`/path/to/backupdir/backup.tar.gz20200310_121112`が作成できる。

`find`で過去のファイルを検索して`|xargs /bin/rm -f`で削除している。
`-daystart -mtime +6`のオプションが、過去から7日前までのファイルを検索する。
**+nの場合は過去から(n+1)日前**までの期間となるので注意。
0時が基準です。
保存期間の変更する場合は[参考](https://qiita.com/narumi_/items/9ea27362a1eb502e2dbc)が詳しい。

`tar -zcf`でtarで固めてgzipで圧縮している。
テストの際はオプション`v`を付けると処理したファイルが確認できます。

## crontabで定期実行する

先ほど作成したスクリプト`backup.sh`を`crontab`に登録します。
下は毎朝5時に実行する例。

```sh
# crontab -l
0 5 * * *  sh /path/to/backup.sh
```

`crontab -e`で編集して`crontab -l`で確認できる。

## 関連

- [tarコマンドの使い方と圧縮のオプション](https://www.suzu6.net/posts/5)
- [Python2.7 smtplibで保守のメールを送る](https://www.suzu6.net/posts/228-python27-mail/)
  - バックアップに失敗した場合にエラー内容をメールで送る設定です。

## 参考

- [findコマンドのmtimeオプションまとめ](https://qiita.com/narumi_/items/9ea27362a1eb502e2dbc)
  - バックアップファイルの保存期間を変更したい方はこちら

ディレクトリのバックアップスクリプト


treeコマンドで隠しファイル（.ファイル）を表示する方法です。

`-a`オプションを付ける！
```sh
$ tree -a basic/
basic/
├── admin
│   └── .htpasswd
└── yabecchicup_export
    └── .htpasswd
```

treeコマンドで隠しファイルの表示


黒い画面のCUIを操作することにかなり苦労した覚えがあります。
初心者がCUIに慣れるためのLinuxコマンドをまとめました。

コマンドの解説は多くありますが、操作の流れの中での解説はあまりみかけないので書いてみました。

> 途中のこのような部分はコラム的なTipsです。  
> （1度コラムを書いてみたかった）

説明等に間違いや誤字脱字がありましたら、[twitter](https://twitter.com/suzu6_py)か[問い合わせ](https://form.run/@suzu6-blog)からお知らせ下さると大変有難いです。

## この記事の目標

Linuxに慣れていないエンジニアが「コンフィグのあのパラメータ変えといて」や「ログ確認してくれない？」と言った指示を一人で完遂できるところまでです。

具体的には以下のことを目指します。

0. **ルート権限 sudo**
1. **ディレクトリの探索**
2. **ファイルの確認**
3. **ファイルの複製・削除・作成・移動**
4. **ファイルの編集**

そして、具体例として**Apache**のログの確認とコンフィグの変更を行います。

熟練者から見るともっと良い方法があるかもしれません。
しかし、まずは一人で作業がこなせるようになることが大事です。

慣れてきたらもっといい方法を探して覚えれば大丈夫！！

## ルート権限 sudo

**UNIX**（LinuxのOSの総称）では、重要なファイルの閲覧や操作に管理者権限が必要です。

`sudo`はルート権限レベルでプログラムを実行するためのコマンドです。

### 表記の先頭の＄について

```sh
$ [コマンド]　[オプション]
```

先頭の$ `は、画面の入力を受け付ける部分です。
root権限の時は`#`になります。
$ `から先のコマンドから入力してください。

また、コピペの防止だと個人的に解釈しています。
**よくわからないコマンドは入力しない**よう気を付けてください。

## ディレクトリの探索

まずはディレクトリを移動して探索ができるようなコマンドです。

| コマンド | 意味                                                         |
| -------- | ------------------------------------------------------------ |
| pwd      | 現在のディレクトリのフルパスを表示                           |
| cd       | ディレクトリを移動                                           |
| ls       | ディレクトリ内のファイルを表示。よく似た`ll`は情報も表示する |

### 例　「確か"/var/log/"にApacheのアクセスログがあるから探してみて」

ログの確認を頼まれました。
まずは目的の**access.log**を探します。

ここで、**Apache**はWEBサーバーです。サイトにアクセスがあると**access.log**というファイルにログ（アクセス履歴）が残ります。

### 現在地を確認 pwd

迷ったらこれを打ちます。

```sh
$ pwd
/home/ubuntu
```

どうやら`ubuntu`というユーザーの**ホームディレクトリ**からスタートしています。

### "/var/log/"まで移動する cd 

`cd [ディレクトリパス]`で移動します。

```sh
$ cd /var/log/
$ pwd
/var/log/
```

ディレクトリ名やファイル名は**tab**キーを押すと入力を補完してくれます。
例えば`cd /v`まで打ってから**tab**キーを押すと`cd /var/`まで補完します。

ひとつ下のディレクトリへ戻るときは`cd ../`とします。

```sh
$ cd /var/log/
$ cd ../
$ pwd
/var/
```


### ディレクトリ内を確認しながらアクセスログを探す ls

`ls`で現在のディレクトリ内のファイルやディレクトリを表示できます。

```sh
$ ls
alternatives.log  apparmor  auth.log  redis   sysstat   unattended-upgrades
apache2           apt       bootstrap.log  dbconfig-common  postgresql
```

いっぱい出てきました。
`apache`は頭文字**a**なので絞り込んでみます。

```sh
$ ls a*
apparmor  auth.log  apache2  apt 
```

`*`は**ワイルドカード**といって以降の文字を曖昧にして検索できます。

確認すると`apache2`という名前のディレクトリがあり、これの中にありそうです。

`ls [ディレクトリ名]`でそのディレクトリ内を確認できます。

```sh
$ ls apache2/
access.log  error.log  other_vhosts_access.log
$ cd apache2
$ pwd
/var/log/apache2
```

`access.log`を見つけました！

`/var/log/apache2`というパスにあったようです。

## ファイルの確認・表示

目的のファイルを見つけられたら、ファイルの中身を確認します。

| コマンド              | 意味                         |
| --------------------- | ---------------------------- |
| cat                   | ファイルを全て表示           |
| tail                  | ファイルの後方の数行を表示。 |
| `cat | grep [文字列]` | 文字列に一致した行だけ表示   |

### 例　「アクセスログの"POST"でアクセスしてるデータ見せてくれない？」

WEBサイトのアクセスは基本**GET**の通信が多いかと思います。
その中でサーバへのリクエストが**POST**で来ているデータが見たいようです。

[GETとPOSTの違いについて - Qiita](https://qiita.com/kanataxa/items/522efb74421255f0e0a1)

あまり良い例が浮かばなかった。
例としては微妙かもしれない。。。

### ファイルを確認する cat

`cat [ファイル名]`でファイルの中身を確認できます。

```sh
$ cat access.log
64.242.88.10 - - [07/Mar/2004:16:05:49 -0800] "GET /twiki/bin/edit/Main/Double_bounce_sender?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:16:06:51 -0800] "GET /twiki/bin/rdiff/TWiki/NewUserTemplate?rev1=1.3&rev2=1.2 HTTP/1.1" 200 4523
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 200 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore&param1=1.12&param2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732
64.242.88.10 - - [07/Mar/2004:16:32:50 -0800] "GET /twiki/bin/view/Main/WebChanges HTTP/1.1" 200 40520

（省略）

```

どうやら、データが大量にあって追いきれませんでした。

### ファイルの後方の数行を表示 tail

一番新しいログはファイルの末尾にあります。

`tail [ファイル名]`で後方の10行を表示して確認します。

```sh
$ tail access.log
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1week.png HTTP/1.1" 200 1670
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1month.png HTTP/1.1" 200 2651
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1month.png HTTP/1.1" 200 2023
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1month.png HTTP/1.1" 200 1636
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam.1year.png HTTP/1.1" 200 2262
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-spam-ratio.1year.png HTTP/1.1" 200 1906
10.0.0.153 - - [12/Mar/2004:12:23:41 -0800] "GET /dccstats/stats-hashes.1year.png HTTP/1.1" 200 1582
216.139.185.45 - - [12/Mar/2004:13:04:01 -0800] "GET /mailman/listinfo/webber HTTP/1.1" 200 6051
pd95f99f2.dip.t-dialin.net - - [12/Mar/2004:13:18:57 -0800] "GET /razor.html HTTP/1.1" 200 2869
d97082.upc-d.chello.nl - - [12/Mar/2004:13:25:45 -0800] "GET /SpamAssassin.html HTTP/1.1" 200 7368
```

行の中央に`GET`の文字があります。
これが、**GET**でアクセスしているログです。

つまり、ここが`POST`になっている行を探せば良さそうです。


> `tail -f access.log`  
> オプション`-f`を付けると新しく書き込まれた行が逐次表示できる。
> 稼働中のサイトのテストなんかで役立ちます。  
> 文字が流れていくのでハッカー気分も味合えます！
> 
> 見終わったら**Ctrl** + **c**で戻りましょう。

### 特定の文字列を含む行を表示する | grep

POSTの行だけ探さないといけません。
その時は`cat [ファイル名] | grep [文字列]`を入力してください。

```sh
$ cat access.log | grep POST
h24-71-249-14.ca.shawcable.net - - [07/Mar/2004:22:29:41 -0800] "POST /mailman/options/cnc_notice HTTP/1.1" 200 3533
h24-71-249-14.ca.shawcable.net - - [07/Mar/2004:22:30:08 -0800] "POST /mailman/options/cnc_notice HTTP/1.1" 200 13973
h24-71-236-129.ca.shawcable.net - - [09/Mar/2004:15:51:24 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 2182
h24-71-236-129.ca.shawcable.net - - [09/Mar/2004:15:52:09 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 2182
h24-71-236-129.ca.shawcable.net - - [09/Mar/2004:15:52:15 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 19597
h24-71-236-129.ca.shawcable.net - - [10/Mar/2004:11:19:32 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 19597
h24-71-236-129.ca.shawcable.net - - [10/Mar/2004:11:41:52 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 19597
10.0.0.153 - - [10/Mar/2004:12:02:59 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 19597
10.0.0.153 - - [10/Mar/2004:12:05:06 -0800] "POST /mailman/options/ppwc/ppwctwentynine@shaw.com HTTP/1.1" 200 14579
10.0.0.153 - - [10/Mar/2004:12:05:54 -0800] "POST /mailman/admin/ppwc/members?letter=p HTTP/1.1" 200 23169
10.0.0.153 - - [10/Mar/2004:12:07:07 -0800] "POST /mailman/admin/ppwc/members/add HTTP/1.1" 200 6762
10.0.0.153 - - [10/Mar/2004:12:07:25 -0800] "POST /mailman/admin/ppwc/members?letter=p HTTP/1.1" 200 24577
h24-71-236-129.ca.shawcable.net - - [11/Mar/2004:12:29:03 -0800] "POST /mailman/admindb/ppwc HTTP/1.1" 200 3407
h24-71-236-129.ca.shawcable.net - - [11/Mar/2004:12:29:27 -0800] "POST /mailman/admindb/ppwc HTTP/1.1" 200 1134
```

見事、POSTのログだけ抽出できました！

`|`は**パイプライン**といってコマンドを繋ぐ役割をします。
`grep`は文字列を検索するコマンドです。

`cat [ファイル名] | grep [文字列]`の意味は、`cat`で表示するファイルの中から`grep`で一致する行だけに絞り込んでいることになります。

> `grep`は`grep [文字列] [ファイル名]`としても使えますが、**パイプライン**を挟んだほうが使い勝手が良さそうです。  
> 例えば、さらにIPアドレスで絞り込むにはこう書けます。
> 
> ```sh
> $ cat access.log | grep POST | grep 10.0.0.153
> 10.0.0.153 - - [10/Mar/2004:12:02:59 -0800] "POST /mailman/admin/ppwc HTTP/1.1" 200 19597
> 10.0.0.153 - - [10/Mar/2004:12:05:06 -0800] "POST /mailman/options/ppwc/ppwctwentynine@shaw.com HTTP/1.1" 200 14579
> 10.0.0.153 - - [10/Mar/2004:12:05:54 -0800] "POST /mailman/admin/ppwc/members?letter=p HTTP/1.1" 200 23169
> 10.0.0.153 - - [10/Mar/2004:12:07:07 -0800] "POST /mailman/admin/ppwc/members/add HTTP/1.1" 200 6762
> 10.0.0.153 - - [10/Mar/2004:12:07:25 -0800] "POST /mailman/admin/ppwc/members?letter=p HTTP/1.1" 200 24577
> ```
> また、[正規表現](https://qiita.com/jnchito/items/893c887fbf19e17d3ff9)についても覚えるともっと便利に使いこなせます。
> 
> 参考：[grepでこういう時はどうする? - Qiita](https://qiita.com/hirohiro77/items/771ffb64dddceabf69a3)

**access.log**のサンプルは[こちら](http://www.monitorware.com/en/logsamples/apache.php)を借りています。
その為、日付が2004年と古いです。

## ファイルの複製・編集


| コマンド | 意味           |
| -------- | -------------- |
| cp       | ファイルをコピー |
| vi       | ファイルを編集 |

### 例　「 Apacheのポートを80から8080に変更しといて」

> 一般のWEBサーバーはHTTPのリクエストを**80ポート**で受け付けています。
> 開発環境や他のWEBサーバーが同居する場合、被らないように違うポート（8080や8081）などに変えることがあります。

ポートの設定ファイルは"/etc/apache2/ports.conf"にあることを教わったので、まずは確認してみます。

```sh
$ cd /etc/apache2/
$ cat ports.conf
# If you just change the port or add more ports here, you will likely also
# have to change the VirtualHost statement in
# /etc/apache2/sites-enabled/000-default.conf

Listen 80

<IfModule ssl_module>
        Listen 443
</IfModule>

<IfModule mod_gnutls.c>
        Listen 443
</IfModule>

# vim: syntax=apache ts=4 sw=4 sts=4 sr noet

```

`#`はコメントです。

```sh
# Listen 80
Listen 8080
```

このように書き換えれば、8080ポートに変更できます。

### ファイルの複製 cp

ファイルをいきなり書き換えてはダメです。
間違えて消した場合など復元が難しくなります。

**バックアップをとってから編集してください。**
`ports.conf.org`という名前でバックアップを取ります。

`cp [複製元ファイル] [複製先ファイル]`でできます。

```sh
$ cd /etc/apache2/
$ cp ports.conf ports.conf.org
$ ls p*
ports.conf  ports.conf.org
```

これで、間違えてしまっても`ports.conf.org`を戻せば大丈夫です。

### ファイルの編集 vim

ここから編集ですが、`vi`は説明が長くなるので推敲します。

書き途中で読んでくださった方申し訳ない。

```sh
$ sudo vi ports.conf
```

#### 参考

- [Vim初心者に捧ぐ実践的入門](https://qiita.com/okamos/items/c97970ab34ff55ff3167)
- [viコマンド（vimコマンド）リファレンス - Qiita](https://qiita.com/TD3P/items/0510bee10bcfd88afeee)

## ファイルの作成・削除

| コマンド | 意味             |
| -------- | ---------------- |
| cp       | ファイルをコピー |
| rm       | ファイルを削除   |
| touch    | ファイルを作成   |


> **※ 削除については下記のコマンドは実行しないでください。全ディレクトリが消えます。**
> 
> ```sh
> # rm -rf /*
> ```
> OSによっては確認や
> 
> 参考：[rootで rm -rf /* したら - Shin x blog](http://www.1x1.jp/blog/2009/12/rm_rf_by_root.html)


初心者がCUIに慣れるためのLinuxコマンドのまとめ


Linuxの容量が気づかないうちに逼迫していることがあります。
下のようなMySQLのエラーが出て対処しようにも、どのディレクトリに大きなファイルがあるかCUIだと分りませんでした。

- [MySQLのError Number:1030 Got error 28 from storage engine](https://www.suzu6.net/posts/107-mysql-error-number-1030)

勉強も兼ねて、容量などを確認するコマンドを調べました。

## Contents

## 環境

[Paiza cloud](https://paiza.cloud/ja/)でサーバを立てて確認しています。

- Ubuntu
- "18.04.1 LTS

## サーバの容量を確認する df

**df**コマンドでサーバのサイズを確認できます。
**-h**はサイズの単位を表示します。**M**は**MB**(メガバイトの意味)。

```bash
~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
none            976M   73M  837M   8% /
tmpfs            64M     0   64M   0% /dev
tmpfs           997M  108K  997M   1% /run
/dev/vda2        50G   26G   22G  54% /bin/busybox
tmpfs           997M     0  997M   0% /run/lock
shm              64M  8.0K   64M   1% /dev/shm
tmpfs           997M     0  997M   0% /sys/fs/cgroup
tmpfs           997M     0  997M   0% /proc/acpi
tmpfs           997M     0  997M   0% /proc/scsi
tmpfs           997M     0  997M   0% /sys/firmware
```

ディスクの容量が50GBだとわかりました。
そのうち54%が使用済みです。

**tmpfs**は一時ディレクトリです。
物理メモリ上にキャッシュファイルや作業用ファイルを置いている。

## duコマンドでディレクトリの使用量を確認する

使用量は**du**コマンドで確認できます。
`/var/log/`の中のファイルを確認してみます。

```bash
$ sudo du -h /var/log/
8.0K    /var/log/postgresql
8.0K    /var/log/apache2
17M     /var/log/journal/e0a80523b9ab48919913e00e5e2544dc
8.1M    /var/log/journal/fba829e3bd3d41cfa84bc5fa93da9059
25M     /var/log/journal
708K    /var/log/apt
4.0K    /var/log/mongodb
4.0K    /var/log/dbconfig-common
4.0K    /var/log/redis
4.0K    /var/log/sysstat
24K     /var/log/mysql
4.0K    /var/log/apparmor
4.0K    /var/log/unattended-upgrades
4.0K    /var/log/dist-upgrade
27M     /var/log/
```

ディレクトリの使用量を再帰的に読み込みます。
`/var/log/journal`が一番大きいディレクトなので、ここから整理すると良いことがわかりました。

オプション**h**はdfの時と同じく見やすい単位にしてくれます。
単位を揃えたいときは、b,k,m で変えられます。

|オプション|意味|
|---|---|
|-h|サイズに応じて読みやすい単位で表示する|
|-b|サイズを `B` バイト単位で表示|
|-k|サイズを `kB` キロバイト単位で表示|
|-m|サイズを `MB` メガバイト単位で表示|

サイズをメガバイト単位で表示する。

```bash
$ sudo du -m /var/log/
1       /var/log/postgresql
1       /var/log/apache2
17      /var/log/journal/e0a80523b9ab48919913e00e5e2544dc
9       /var/log/journal/fba829e3bd3d41cfa84bc5fa93da9059
25      /var/log/journal
1       /var/log/apt
1       /var/log/mongodb
1       /var/log/dbconfig-common
1       /var/log/redis
1       /var/log/sysstat
1       /var/log/mysql
1       /var/log/apparmor
1       /var/log/unattended-upgrades
1       /var/log/dist-upgrade
27      /var/log/
```

## サイズが大きいディレクトリを探す

どのディレクトリが大きいか目星が無く、全て確認したいときもあるかと思います。
duでは全てのディレクトリを表示してしまうので、見づらくなります。

**大きいサイズから10件取り出すコマンド**の組み合わせが下記になります。

```bash
sudo du -m / | sort -n | tail -10
```

1. `du -m /`: 全ディレクトリをMB単位でサイズを表示。
2. `sort -n`: 昇順に並べる。
3. `tail -10`: 後ろの10行を表示する。

以上をパイプラインで繋いでいます。

```bash
$ sudo du -m / | sort -n | tail -10
507     /var
529     /usr/local/rbenv/versions/2.5.3/lib/ruby/gems
529     /usr/local/rbenv/versions/2.5.3/lib/ruby/gems/2.5.0
544     /usr/lib/ghc
544     /usr/local/rbenv/versions/2.5.3/lib/ruby
561     /usr/local/rbenv/versions/2.5.3/lib
621     /usr/bin
631     /usr/local/rbenv/versions
631     /usr/local/rbenv/versions/2.5.3
636     /usr/local/rbenv
655     /usr/lib/x86_64-linux-gnu
676     /usr/local/swift-4.2-RELEASE-ubuntu18.04
676     /usr/local/swift-4.2-RELEASE-ubuntu18.04/usr
693     /usr/local/lib/node_modules
968     /usr/share
1323    /usr/local/lib
3403    /usr/lib
3978    /usr/local
9077    /usr
10429   /
```

大きいサイズのディレクトリが分りました。
これをもとに整理していきます。

## ディレクトリ毎の使用量を確認する

`$ du -d 1`で一階層だけ表示できる。
階層の深さを数値で指定できます。

```sh
$ sudo du -h -d 1 | sort -h
du: cannot access './proc/3752/task/3752/fd/4': No such file or directory
du: cannot access './proc/3752/task/3752/fdinfo/4': No such file or directory
du: cannot access './proc/3752/fd/3': No such file or directory
du: cannot access './proc/3752/fdinfo/3': No such file or directory
0       ./proc
4.0K    ./boot
4.0K    ./lib64
4.0K    ./media
4.0K    ./mnt
4.0K    ./srv
4.0K    ./sys
8.0K    ./dev
16K     ./lost+found
32K     ./paizacloud
44K     ./tmp
84K     ./home
108K    ./run
5.8M    ./lib32
8.7M    ./etc
8.8M    ./sbin
12M     ./bin
45M     ./lib
257M    ./root
496M    ./opt
529M    ./var
8.9G    ./usr
11G     .
```

## 参考

- [tmpfsってなんですか?](http://mylinux.g.hatena.ne.jp/teraco/20081123/1227369431)
- [sortコマンド、基本と応用とワナ](https://qiita.com/richmikan@github/items/cc4494359b1ac2f72311)
- [【 du 】コマンド――ディスクの使用量を表示する](https://www.atmarkit.co.jp/ait/articles/1610/25/news016.html)
- [du -h -d 1 | sort -h が優勝](https://qiita.com/yugo-yamamoto/items/18939d7cc382b518572b)


Linuxで容量を圧迫しているディレクトリを見つける


基本的に使う文字コードは**UTF-8**ですが、csvをExcelで確認するときなど文字化けしてしまいます。
そこで、文字コードをコマンドでの変換をできる方法をまとめました。

Linux, Macの環境が手元にあるので試してみます。

## nfk (Network Kanji Filter) コマンド

日本語の文字コード変換するためのコマンドツールには**nkf**を使います。

文字コードだけでなく改行コードも変換できます。
ちなみにzipコマンドで圧縮する時も改行コードを変換できます。詳しくは[zipコマンド](https://www.suzu6.net/posts/63-zip-command)にあります。

- 英語版の[wiki nfk](https://en.wikipedia.org/wiki/Network_Kanji_Filter)

### 対応するエンコード

- `JIS`
- `Shift_JIS`
- `EUC-JP`
- `Unicode` (UTF-8, UTF-16..)

参考：[文字コードの考え方から理解するUnicodeとUTF-8の違い](http://equj65.net/tech/charcode/)

## 環境

- CentOS 6.9
- Mac macOS High Sierra

上記の環境でのインストールと動作確認をします。

## インストール

どの環境も初期状態ではコマンドがありませんでした。
それぞれの環境でインストールと使い方をまとめます。

`-h`はヘルプではなくひらがなカタカナ変換オプションです。
ヘルプは`nkf --help`で確認すること。

### Linux (CentOS 6.9)


```sh
$ sudo yum install nkf
```

バージョンを確認。

```sh
$ nkf --version
Network Kanji Filter Version 2.0.8 (2007-07-20) 
Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa),2000 S. Kono, COW
Copyright (C) 2002-2007 Kono, Furukawa, Naruse, mastodon
```

Version 2.1.2は[こちらの方法](https://blog.jicoman.info/2013/08/nkf_install/)でソースからコンパイルできます。
今回はVersion 2.0.8で進める。


### Mac

**homebrew**を使って**nkf**をインストールします。
とりあえずhomebrewをアップデートする。

```sh
$ brew update

$ brew -v
Homebrew 1.9.3
```

nkfのインストールとバージョン確認。
yumでインストールした時よりも新しいVersion 2.1.4でした。

```sh
$ brew install nkf
$ nkf -v
Network Kanji Filter Version 2.1.4 (2015-12-12)
Copyright (C) 1987, FUJITSU LTD. (I.Ichik
```

## 基本的な使い方

viで日本語のテキスト`text.txt`を作成した。

text.txt
```txt
あいうえお
かきくけこ
さしすせそ

```

### 文字コードを確認する

- `-g` 文字コードを確認する

```sh
$ nkf -g text.txt 
UTF-8 (LF)
```

### エンコード 改行文字

- `-s` **Shift-JIS**にエンコード
- `-c` 改行コードを**CRLF**に変更

```sh
$ nkf -sc text.txt > text-jis.txt
$ nkf -g text-jis.txt 
Shift_JIS (CR)
```

- `-w` **UTF-8**にエンコード
- `-d` 改行コードを**LF**に変更

```sh
$ nkf -dw text-jis.txt > text-utf8.txt
$ nkf -g text-utf8.txt 
UTF-8
```

| オプション | 説明                       |
| ---------- | -------------------------- |
| -j         | JIS 7 bit (DEFAULT)        |
| -s         | Shift JIS                  |
| -e         | EUC-JP                     |
| -w         | UTF-8                      |
| -w8        | UTF-8                      |
| -w16       | UTF-16                     |
| -c         | 改行コードを**CRLF**に変更 |
| -d         | 改行コードを**LF**に変更   |

実はこんな書き方もできる。

| オプション | 説明      |
| ---------- | --------- |
| --windows  | Shift JIS |
| --mac      | Shift_JIS |
| --unix     | EUC-JP    |

`--mac`はなぜか**UTF-8**ではない。

### まとめて変換

テキストをまとめて**utf-8（LF）**へ変換する。上書きオプションをつけると可能。

- `--overwrite` 上書きする。


```sh
$ nkf -dw --overwrite *.txt
$ nkf -g *.txt
text-jis.txt:UTF-8 (LF)
text-utf8.txt:UTF-8 (LF)
text.txt:UTF-8 (LF)
```

### ひらがな　<-> カタカナ

なんと、ひらがなとカタカナを変換できる。

```sh
$ cat text.txt
あいうえお
かきくけこ
さしすせそ

```

- `--katakana` ひらがなをカタカナに変換

```sh
$ nkf -w --hiragana text.txt > text-k.txt
$ cat text-k.txt
アイウエオ
カキクケコ
サシスセソ

```

- `--katakana` ひらがなをカタカナに変換

```sh
$ nkf -w --hiragana text-k.txt > text-h.txt
$ cat text-h.txt
あいうえお
かきくけこ
さしすせそ
```

【Linux/Mac】ファイルの文字コードをまとめてnkfコマンドで変換する方法



## tar

アーカイブファイルとしてまとめるコマンド。
単体では圧縮しないため、オプションで`z`や`j`を指定する必要がある。

以下コマンドは**macOS High Sierra**で確認しました。

**zip**コマンドでの圧縮方法は[こちら](https://www.suzu6.net/posts/63-zip-command)

## 書式

`tar [オプション] アーカイブ`

## tar.gzの圧縮と解凍

オプションの**c**と**x**が異なる。

**圧縮**

```sh
$ tar -zcvf output_file.tar.gz ./target_dir
```

`target_dir`をアーカイブとしてまとめ、gzipで圧縮した`output_file.tar.gz`を生成する。


**解凍**

```sh
tar -zxvf xxxx.tar.gz
```

拡張子`.tar.gz`を解凍する。

### オプションの意味

オプション| 説明
--------|----------------------------------
-z      | **gzip形式**にアーカイブを圧縮・展開する。
-c      | 新しくアーカイブを作成する。
-x      | アーカイブを展開する。
-v      | 作成・展開するアーカイブのファイルリストを表示する。
-f      | アーカイブファイルを指定する。

## 他の形式での圧縮／解凍

オプション| 形式
--------|----------------------------------
-j      | tar.bz2
-J      | tar.xz
-z      | tar.gz

### tar.bz2

**圧縮**

```sh
$ tar -jcvf output_file.tar.bz2 ./target_dir
```

**解凍**

```sh
$ tar -jxvf output_file.tar.gz
```

### tar.xz

**圧縮**

```sh
$ tar -Jcvf output_file.tar.xz ./target_dir
```

**解凍**

```sh
$ tar -Jxvf output_file.tar.xz
```

## 解凍せずに中身を確認する tzf

```sh
$ tar -tzf output_file.tar.gz
./target_dir/
./target_dir/bbb.txt
./target_dir/aaa.txt
```

## 上書きせず解凍する k

xで解凍する際、既にあるファイルを上書きせず解凍する。

```sh
$ tar -kzxvf output_file.tar.gz
x ./target_dir/: Already exists
x ./target_dir/ccc.txt
x ./target_dir/bbb.txt: Already exists
x ./target_dir/aaa.txt: Already exists
tar: Error exit delayed from previous errors.
```

存在しなかった`./target_dir/ccc.txt`は解凍されファイルが生成された。
一つでも既存のファイルがある場合、`tar: Error exit delayed from previous errors.`がでるようだ。

## オプション

option  | 説明
--------|----------------------------------
-t      | アーカイブの中身のリストを出力する。
-k      | **x**での解凍時に既にあるファイルを上書きしない。
-A      | アーカイブにファイルを追加する。

## 終わりに

**zip**コマンドでの圧縮方法は[こちら](https://www.suzu6.net/posts/63-zip-command)

## 参考

- [tar - アーカイブの作成・展開 - Linuxコマンド](https://webkaru.net/linux/tar-command/)
- [[Linux]ファイルの圧縮、解凍方法 - Qiita](https://qiita.com/supersaiakujin/items/c6b54e9add21d375161f)

tarコマンドの使い方と圧縮のオプション



## zip

ファイルを**ZIP**形式に圧縮するコマンド。

ZIPはWindowsでよく見られる圧縮形式です。
構造はファイル単位で圧縮して一つのファイルにアーカイブされています。
圧縮のアルゴリズムは**ハフマン法**と**辞書式**の２つが用いてる。
[ここ](https://qiita.com/yuba/items/55226c2de81436746a8c)がわかりやすいです。
Macでも正式にサポートされており圧縮解凍が可能です。

以下コマンドは**macOS High Sierra**で確認しました。

**tar**コマンドの使い方は[こちら](https://www.suzu6.net/posts/5)

### 書式

`zip [オプション] ZIPファイル [対象ファイル]`

## 圧縮する zip

```sh
$ zip  zip_file target_file.txt
```

**zip_file.zip**ができます。

## 解凍する unzip

**unzip**コマンドを使います。

```sh
$ unzip  zip_file.zip
```


### 同じ拡張子をまとめて圧縮

```sh
$ zip  zip_file *.txt
```

これでカレントディレクトリにあるテキストファイル`.txt`をまとめて圧縮できます。

### サブディレクトリごと圧縮する -r

ディレクトリの中身を全て含めて圧縮する場合は`-r`オプションをつけます。

```sh
$ zip -r zip_file target_dir
```

`target_dir`の中身をすべて圧縮して、ZIP形式の`zip_file.zip`を生成する。

## オプション

オプション| 説明
--------|----------------------------------
-r      | ディレクトリ内のファイルを再帰的に扱う
-f      | 変更があったファイルの分だけZIPファイルを更新する
-u      | 変更があったファイルの更新または新規ファイルの追加だけを行う
-d      | 指定したファイルをZIPファイルから削除する

### 改行コードを変換する

オプション| 説明
--------|----------------------------------
-l      | 改行コードを**LF**から**CR LF**に変換する
-ll      | 改行コードを**CR LF**から**LF**に変換する

改行コードはLinux/Macでは**LF**、Windowsでは**CR LF**である。
開いたファイルが１行になった経験は数多くあるはず。
圧縮時にオプションをつけて変換しておこう。

- Linux/Mac から Windows へデータを送る `-l`、
- Windows から Linux/Mac へデータを送る `-ll`、

## パスワード付きのZIPの作成・解凍 -P

```sh
# 圧縮
$ zip -P your_password zip_file target_file.txt

# 解凍
$ zip -P your_password zip_file target_file.txt
```

パスワード付きを普通に解凍してみると、パスワードを尋ねられる。

```sh
$ unzip zip_file.zip
Archive:  zip_file.zip
[zip_file.zip] target_dir/aaa.txt password: # パスワードを入力
password incorrect--reenter: # パスワードを間違えると
password incorrect--reenter: # 3回目まで尋ねる
   skipping: target_dir/aaa.txt      incorrect password
```

## 解凍せずにZIPの中身を確認する

### unzip -l

```sh
$ unzip -l zip_file.zip
Archive:  zip_file.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  01-19-2019 00:29   target_dir/aaa.txt
        0  01-19-2019 00:29   target_dir/bbb.txt
        0  01-19-2019 01:32   target_dir/ccc.txt
---------                     -------
        0                     3 files
```

### **zipinfo**コマンドでも確認できる。

```sh
$ zipinfo zip_file.zip
Archive:  zip_file.zip
Zip file size: 514 bytes, number of entries: 3
-rw-r--r--  3.0 unx        0 bx stor 19-Jan-19 00:29 target_dir/aaa.txt
-rw-r--r--  3.0 unx        0 bx stor 19-Jan-19 00:29 target_dir/bbb.txt
-rw-r--r--  3.0 unx        0 bx stor 19-Jan-19 01:32 target_dir/ccc.txt
3 files, 0 bytes uncompressed, 0 bytes compressed:  0.0%
```

よく使う`ls -l`と似た形式で出力してくれるので見やすい。

## おわりに

**tar**コマンドの使い方は[こちら](https://www.suzu6.net/posts/5)

## 参考

- [【 zip 】コマンド（基礎編）――ファイルをZIP形式で圧縮する](http://www.atmarkit.co.jp/ait/articles/1607/25/news021.html)
- [zip / unzip コマンド](https://hydrocul.github.io/wiki/commands/zip.html)
- [ZIPファイルに含まれるファイル一覧を表示するには](http://www.atmarkit.co.jp/flinux/rensai/linuxtips/586ziplist.html)