
printでずらっと出力していた進捗状況をプログレスバーで表示する方法を知ったのでメモします。

## tqdmで進捗を可視化する

- [tqdm - GitHub](https://github.com/tqdm/tqdm)

このモジュールを使うと▼のようなプログレスバーがforの進捗に応じて表示できます。
利用方法は`tqdm`をインポートして、配列などイテレータを`tqdm(iterable)`とするだけでOKです。
```python
!pip install tqdm

from tqdm import tqdm
for i in tqdm(range(616435)):
    # 処理
```
```txt:出力
76%|████████████████████████        | 7568/10000 [00:33<00:10, 229.00it/s]
```

またコマンドとしても利用出来ます。
▼のようにパイプラインで利用する方法もREADMEに載ってます。
```bash
$ seq 9999999 | tqdm --bytes | wc -l
75.2MB [00:00, 217MB/s]
9999999

$ tar -zcf - docs/ | tqdm --bytes --total `du -sb docs/ | cut -f1` \
    > backup.tgz
 32%|██████████▍                      | 8.89G/27.9G [00:42<01:31, 223MB/s]
 ```

▼アニメーション
![image](https://raw.githubusercontent.com/tqdm/img/master/tqdm.gif)


## 利用例①

インストール
```python
$ pip install tqdm

# Google Colaboratory
!pip install tqdm
```
配列を`tqdm()`に入れるだけでプログレスバーを表示できる。
```python
from tqdm import tqdm
from time import sleep

text = ""
for char in tqdm(["a", "b", "c", "d"]):
    sleep(0.25)
    text = text + char
```
```bash:出力
100%|██████████| 4/4 [00:01<00:00,  3.97it/s]
```

▼インデックスを使いたい時。
```python
array = ["a", "b", "c", "d"]
for i in tqdm(range(len(array))):
  some_function(array[i])
```

## 利用例②

[こちら](https://www.ogis-ri.co.jp/otc/hiroba/technical/similar-document-search/part9.html)の記事の一部の処理の時間が長くて、いつ終わるか不安だったのでtqdmで進捗を確認できるようにした。
`captions`が文字列のリストになっていて順次文章ベクトルに変換している。

インポートとイテレータを`tqdm()`に入れるだけで使える。コメントした箇所が変更した部分。
```python
import numpy as np
import spacy
import pkg_resources, imp
from tqdm import tqdm # 追加

imp.reload(pkg_resources)

nlp = spacy.load("ja_ginza")

vectors = []
# for caption in captions:
for caption in tqdm(captions): # tqdmを使ってループする
  doc = nlp(caption, disable=['ner']) 
  vectors.append(doc.vector)

del nlp
```
```bash:出力
87%|████████▋ | 538893/616435 [56:20<07:39, 168.71it/s]
```

【Python】tqdmでforの進捗状況を表示する


日本語も対応した学習済み単語ベクトルのFastTextをFacebookが公開しています。
これをColabolatoryで使ってみて以下のような、類似単語の分布を描いてみます。

[Colaboratory](https://colab.research.google.com/notebooks/intro.ipynb?hl=ja#recent=true)を使います。
Google Driveにあげたデータを利用することが簡単になってました。
Colabでいっぱい試して、大きな分析はサーバやローカルで分析するのがよさそうですね。

## 単語ベクトルの学習済みモデルを利用する

fastTextの日本語の学習済み単語ベクトルを利用します。
モデルにはいくつか種類がありますが、今回は[こちら](https://fasttext.cc/docs/en/crawl-vectors.html)にあるWEBクローラーとWikipediaの文書から学習したモデルを利用します。

この中の日本語のファイル`cc.ja.300.vec.gz`(1.2GB)をダウンロードして、Google Driveにアップロードしておきます。
新規のColabolatoryを開いてGoogle Driveをマウントします。

![mnt](/images/posts/280/281/mnt.png)

fastTextのライブラリを利用する手もありますが、ここでは自然言語処理に便利なライブラリの[gensim](https://radimrehurek.com/gensim/)に任せてみます。
マウント出来たらドライブを開いて、先ほどアップロードしたモデルのパスをgensimに渡してロードします。
ロードには10分くらいかかるので気長に待ちましょう。

```python
import gensim

# 学習済モデルのパス
model_path = '/content/drive/MyDrive/Colab Notebooks/fasttextmodel/cc.ja.300.vec.gz'
# ロードに10分くらいかかる
model = gensim.models.KeyedVectors.load_word2vec_format(model_path, binary=False)
```

モデルの形式を確認します。
このモデルは長さ5のn-gramからCBOWで学習しています。
ひとつの単語は300次元のベクトルで表される。
```python
# 登録している単語の数
print(len(model.vocab.keys())) # 2000000

# ひとつの単語ベクトルの次元
model['猫'].shape # (300,)
```

Colaboratoryではコードブロックの最後の行のオブジェクトはprintみたいに結果を出力できます。

## 単語ベクトルを試す

単語ベクトルが扱えるようになったので色々と遊んでみる。
読み込んだ単語ベクトルで出来ることはこちらで紹介されています。

[What can I do with word vectors?](https://radimrehurek.com/gensim/models/keyedvectors.html#why-use-keyedvectors-instead-of-a-full-model)

補足ですが、fastTextから読み込んだのは、**full model**ではなく**KeyedVectors**です。主な違いはKeyedVectorsはこれ以上トレーニングできない代わりに、トレーニングに必要な内部データ構造を排除して軽量にしています。
また、fastTextはfull modelとしてロードできないそうです。

[Why use KeyedVectors instead of a full model?](https://radimrehurek.com/gensim/models/keyedvectors.html#why-use-keyedvectors-instead-of-a-full-model)

### 類似する単語を挙げる

指定した単語に類似した単語を挙げてみます。
類似した単語と単語のユークリッド距離が出ます。

```python
from pprint import pprint

pprint(model.most_similar('猫', topn=10))
```
```txt:出力
[('ネコ', 0.8059155941009521),
 ('ねこ', 0.7272598147392273),
 ('子猫', 0.720253586769104),
 ('仔猫', 0.7062687873840332),
 ('ニャンコ', 0.7058036923408508),
 ('野良猫', 0.7030349969863892),
 ('犬', 0.6505385041236877),
 ('ミケ', 0.6356303691864014),
 ('野良ねこ', 0.6340526342391968),
 ('飼猫', 0.6265145540237427)]
```

### 単語の類似度を出す

```python
print(model.similarity('猫', '犬'))
print(model.similarity('猫', '人'))
```
```txt:出力
0.65053856
0.23371725
```
`猫`は`人`より`犬`に近いようですね。

### 王様 - 男 + 女 = ?

```python
# 単語ベクトルの演算
new_vec = model['王様'] - model['男'] + model['女']

# 計算したベクトルに類似した単語
pprint(model.similar_by_vector(new_vec))
```
```txt:出力
[('王様', 0.8916897773742676),
 ('女王', 0.527921199798584),
 ('ラジオキッズ', 0.5255386829376221),
 ('王さま', 0.5226017236709595),
 ('王妃', 0.5000214576721191),
 ('裸', 0.487439900636673),
 ('タプチム', 0.4832267761230469),
 ('アンナ・レオノーウェンズ', 0.4807651937007904),
 ('ゲムケン', 0.48058977723121643),
 ('お姫様', 0.4792743921279907)]
```

よくある単語の関係を計算するやつを試してみます。
単語はベクトルですので計算ができます。
トップが`王様`で、次いで予測していた`女王`が出てきました。

この結果のような`タプチム`や`ゲムケン`など聞きなれない言葉や、中国語も混じっていたりします。
利用しているfastTextのモデルはWikipediaとWEBクローラーで集めたの文書で学習しています。
精度が悪いものは、おそらく、その単語の学習データ少なかったのでしょう。

単語はベクトルの計算は以下のようにも書けます。
こちらの結果は言葉の感覚的にあってました。

```python
model.most_similar(positive=['姪', '男性'], negative=['女性'])
```
```txt:出力
[('甥', 0.8209505081176758),
 ('叔父', 0.6412274837493896),
 ('叔母', 0.6293267011642456),
 ('従姉', 0.6224151849746704),
 ('弟', 0.6069883108139038),
 ('従兄', 0.595562756061554),
 ('従姉妹', 0.594235360622406),
 ('伯父', 0.5939351916313171),
 ('義妹', 0.5894800424575806),
 ('従兄弟', 0.5876302719116211)]
```

### 単語の類似度を出す

```python
print(model.similarity('猫', '犬'))
print(model.similarity('猫', '人'))
```
```txt:出力
0.65053856
0.23371725
```
## 単語の類似度の分布をグラフにする

ここから趣向を変えて、単語の類似度をグラフに表してみます。

いくつかの単語にそれぞれ類似した単語をクラスターとして、どんな分布になっているか散布図にプロットしていみる。

```python
import numpy as np

# 入力した単語に類似した単語とベクトルを返す
def similars(words, model):
    vectors = []
    cluster = []
    label = []
    for i in range(len(words)):
        word = words[i]
        similar = model.similar_by_word(word, topn=10)
        for x in similar:
            cluster.append(i)
            label.append(word)
            vectors.append(model[x[0]])
    return vectors, cluster, label

words = ['猫', '銃', '鉄', '病原菌']
vectors, cluster, label = similars(words, model)

# ベクトルの次元を確認
print(np.array(words).shape)
print(np.array(cluster).shape)
print(np.array(vectors).shape)

# 類似した単語の確認
for word in words:
    similar = model.similar_by_word(word, topn=10)
    print(word, [x[0] for x in similar])
```
`鉄`の単語だけバグってますね。中国語でしょうか？
```txt:出力
(4,)
(40,)
(40, 300)
猫 ['ネコ', 'ねこ', '子猫', '仔猫', 'ニャンコ', '野良猫', '犬', 'ミケ', '野良ねこ', '飼猫']
銃 ['拳銃', '銃器', '短銃', '小銃', 'ダルヌ', '猟銃', 'アサルトライフル', '散弾', 'レムリカ', '蟲砕']
鉄 ['拐仙', '蕉館', '勒諸', 'ワン・アンダードッグ', '拐山', 'ブリキンガー', '珪輝', '拐李', 'ぱいぷ', '鋼鉄']
病原菌 ['病原', '細菌', 'ウイルス', 'ばい菌', 'エボラウィルス', '伝染病', '感染', '菌', 'ウィルス', 'ゾンビウィルス']
```

グラフに日本語描画する際には▼をインストールしておくと勝手に日本語に対応してくれる。これがないと`□□□□□`と豆腐になる。ありがたい！
```python
!pip install japanize-matplotlib
```

▼ベクトルは300次元のままだと表すことができないため、主成分分析（PCA）で２次元まで次元を減らします。
あとは、クラスター毎に色を付けて散布図にプロットしています。

```python
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import japanize_matplotlib 

def draw_scatter_plot(vectors, words, cluster):

    colors = ["b", "g", "r", "c", "m", "y", "k"]

    # Scikit-learnのPCAでn_componentsの数値で次元数を決める
    pca = PCA(n_components=2)
    coords = pca.fit_transform(vectors)

    # matplotlibによる可視化
    fig, ax = plt.subplots()
    x = [v[0] for v in coords]
    y = [v[1] for v in coords]

    for i in range(len(words)):
        xx = []
        yy = []
        for c, a, b in zip(cluster, x, y):
            if i == c:
                xx.append(a)
                yy.append(b)
        ax.scatter(xx, yy, c=colors[i % 7], label=words[i])
    ax.legend(loc='upper right')
    plt.show()

draw_scatter_plot(vectors, words, cluster)
```
出力  
![graph](/images/posts/280/281/graph.png)

視覚的にわかりやすいグラフになりました。
`鉄`と`銃`のクラスターよりも、`鉄`と`猫`のクラスターのほうが近く固まっていたのは、鉄の単語がうまく学習できていなかったからかと思います。

単語を変えて遊べるので試してみてください。

## 参考: 

- [Python: gensim で学習済み単語ベクトル表現を扱ってみる](https://blog.amedama.jp/entry/gensim-fasttext-pre-trained-word-vectors)

【Python】tqdmでforの進捗状況を表示する

学習済みの日本語単語ベクトルをColabolatoryで試してみる