
大きなファイルをダウンロードする際に進行状況を知りたくなります。
この記事では、urllibを使用してファイルをダウンロードする際に進行状況とファイルサイズを表示する方法を紹介します。

## 環境

- Python 3.10

## コード

```python
import urllib.request

def progress_callback(block_num, block_size, total_size):
    """
    ダウンロード進行状況とファイルサイズのコールバック関数

    :param block_num: これまでにダウンロードされたデータブロックの数
    :param block_size: データブロックのサイズ（バイト）
    :param total_size: ダウンロード対象のファイルの合計サイズ（バイト）
    """
    downloaded_size = block_num * block_size  # これまでにダウンロードしたバイト数
    progress = 100.0 * downloaded_size / total_size  # ダウンロード進捗率
    progress = min(100, progress)  # 進捗率が100%を超えないようにする

    # ファイルサイズをMB単位で表示
    downloaded_size_mb = downloaded_size / 1024 / 1024  # MB単位に変換
    total_size_mb = total_size / 1024 / 1024  # MB単位に変換

    print(f"\rダウンロード進捗: {progress:.2f}% [{downloaded_size_mb:.2f}MB/{total_size_mb:.2f}MB]", end=''

url = "ファイルのURL"
local_file = "保存するローカルファイルのパス"

# reporthook にコールバック関数を設定してファイルをダウンロード
urllib.request.urlretrieve(url, local_file, reporthook=progress_callback)
```

`urllib.request.urlretrieve()`の`reporthook`に状況を表示するコールバック関数を渡して表示できます。
この関数の引数に進捗や単位換算の処理を加えて表示しています。

1. :param block_num: これまでにダウンロードされたデータブロックの数
2. :param block_size: データブロックのサイズ（バイト）
3. :param total_size: ダウンロード対象のファイルの合計サイズ（バイト）

さらに、`\r`を使用することで、進行状況が同じ行に上書きされ、コンソールが冗長な情報で溢れることがないようにしています。

### 表示例

```bash
ダウンロード進捗: 3.95% [40.73MB/1032.33MB]
```

### urllib.request.urlretrieve()

ref : [python docs urllib.request](https://docs.python.org/3/library/urllib.request.html#module-urllib.request)

```python
(function) def urlretrieve(
    url: str,
    filename: StrOrBytesPath | None = None,
    reporthook: ((int, int, int) -> object) | None = None,
    data: _DataType = None
) -> tuple[str, HTTPMessage]
```

- 引数
  - url: ダウンロードするリソースのURL。
  - filename: ダウンロードしたファイルを保存するローカルファイルのパス。この引数が None または指定されない場合、urlretrieve は一時的な場所にファイルを保存します。
  - reporthook: ダウンロードの進捗状況を報告するためのコールバック関数。この関数が指定されている場合、ダウンロードの進捗情報を取得するために使用されます。関数は3つの引数 (block_num, block_size, total_size) を取ります。
    - block_num: これまでにダウンロードされたデータブロックの数。
    - block_size: 各データブロックのサイズ（バイト単位）。
    - total_size: ダウンロード対象のファイルの合計サイズ（バイト単位）。合計サイズが不明の場合は -1。
  - data: POSTリクエストに送信するデータ。この引数が指定されている場合、リクエストはPOSTとして扱われます。通常、ファイルをダウンロードする際にはこの引数は使用されません。
- 返り値
  - urlretrieve 関数はタプル (filename, headers) を返します。
    - filename: ダウンロードしたファイルが保存されたローカルファイルのパス。
    - headers: リクエストに対するサーバーの応答ヘッダーを表すオブジェクト。このオブジェクトは、HTTPヘッダー情報へのアクセスを提供します。


Python：ファイルダウンロードの進行状況とファイルサイズを表示する方法。urllib


TypeScriptのプロジェクトにJestを追加してテストを書いていくと、`describe`や`expect`などテスト用の関数が読み込めていなかった。

![picture 1](/images/posts/326-ts-jest-not-find-describe/1633874097427.png)  

以下のコマンドで定義はインストール済だがエラーが出ている。
```bash
yarn add jest @types/jest ts-jest
```

## 解消方法

[こちらのstackoverflow](https://stackoverflow.com/questions/54139158/cannot-find-name-describe-do-you-need-to-install-type-definitions-for-a-test)で解決した。

```diff:tsconfig.json
{
  "compilerOptions": {
--    "types": ["webpack-env"],
++    "types": ["webpack-env", "jest", "node"],
  }
}
```
このようにコンパイルオプションでjestの型の読み込みこみが必要だったようだ。

## 参考
- [Jest - TypeScript Deep Dive 日本語版](https://typescript-jp.gitbook.io/deep-dive/intro-1/jest)

【TypeScript】Jestでdescribeなどの関数がnot findになってるのを解消する


TypeScriptのjestで用意したテストで、自作のモジュールをインポートしようとすると`Cannot find module`となってしまう。

例として次のテストを実行してみる。

```ts:Login.test.ts
import LoginService from "@/app/Services/LoginService";
import auth from "@/Domain/Repositories/AuthRepository";

describe("LoginService", () => {
  it("LoginSuccess", () => {
    // ...
    expect(result).toBe('success');
  });
});
```

`@/`は`tsconfig.json`で定義してある。エディタ（VSCode）のIDEではパスが通っているようでエラーは出ない。


実行した結果がこちら。
テストを実行したときだけパスが通らない。

```bash
  ● Test suite failed to run

    Cannot find module '@/app/Services/LoginService' from 'tests/app/Services/Login.spec.ts'

    > 1 | import LoginService from "@/app/Services/LoginService";
        | ^
      2 | import auth from "@/Domain/Repositories/AuthRepository";
      3 |
      4 | describe("LoginService", () => {

      at Resolver.resolveModule (node_modules/jest-resolve/build/resolver.js:322:11)
      at Object.<anonymous> (tests/app/Services/Login.spec.ts:1:1)

Test Suites: 1 failed, 1 passed, 2 total
Tests:       1 passed, 1 total
Snapshots:   0 total
Time:        17.456 s
Ran all test suites.
```

## 解決方法

テストは`jest.config.js`で`@/`の定義が必要。

`@/`など`tsconfig.json`で定義してあるとVSCodeのIDEとアプリのコンパイルには成功する。

▼ `tsconfig.json`のパスの定義
```json:tsconfig.json
{
  "compilerOptions": {
    "baseUrl": ".",
    "paths": {
      "@/*": ["src/*"]
    },
  },
}
```

テストでは`tsconfig.json`とは別に`jest.config.js`で`@/`などのマッパーを定義する必要がある。


混乱しないよう`tsconfig.json`と同じパスの定義をするといい。

```js:jest.config.js
module.exports = {
  preset: "ts-jest",
  globals: {
    "ts-jest": {
      tsConfig: "tsconfig.json",
    },
  },
  roots: ["<rootDir>/"],
  testMatch: ["**/?(*.)+(spec|test).+(ts|tsx|js)"],
  transform: {
    "^.+\\.(ts|tsx)$": "ts-jest",
  },
  moduleNameMapper: {
    "^@/(.*)$": "<rootDir>/src/$1", // 追加
  },
};
```

以上でテストの実行時にパスが通った。

【TypeScript】JestでインポートしたモジュールがCannot find moduleとなるエラー


Nuxt.jsで静的サイトを作成する処理を実行したら、計算途中でメモリが不足してエラーとなり止まってしまった。
ヒープ領域を確保して処理を通します。

参考： https://qiita.com/nakamto/items/8ed18f9f0d980fd70be1

## 環境

- CentOS Linux 7
- node v14.15.3
- yarn 1.22.10

## エラー

```bash
$ yarn generate

(省略)


<--- JS stacktrace --->

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0xa04200 node::Abort() [/usr/local/bin/node]
 2: 0x94e4e9 node::FatalError(char const*, char const*) [/usr/local/bin/node]
 3: 0xb7860e v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 4: 0xb78987 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [/usr/local/bin/node]
 5: 0xd33215  [/usr/local/bin/node]
 6: 0xd33d9f  [/usr/local/bin/node]
 7: 0xd41e2b v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [/usr/local/bin/node]
 8: 0xd459ec v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [/usr/local/bin/node]
 9: 0xd0b2f2 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [/usr/local/bin/node]
10: 0xd05174 v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawWithImmortalMap(int, v8::internal::AllocationType, v8::internal::Map, v8::internal::AllocationAlignment) [/usr/local/bin/node]
11: 0xd074c1 v8::internal::FactoryBase<v8::internal::Factory>::NewRawTwoByteString(int, v8::internal::AllocationType) [/usr/local/bin/node]
12: 0x1097b49 v8::internal::Runtime_StringBuilderConcat(int, unsigned long*, v8::internal::Isolate*) [/usr/local/bin/node]
13: 0x1400039  [/usr/local/bin/node]
error Command failed with signal "SIGABRT".
info Visit https://yarnpkg.com/en/docs/cli/run for documentation about this command.
```

## 解決方法

処理を実行する前に`NODE_OPTIONS`の`max-old-space-size`を設定します。

```bash
$ export NODE_OPTIONS="--max-old-space-size=2048"
```

数値の単位はメガバイトです。
2048MBは2GBです。

V8ヒープの使用量がヒープ制限に近づいたとき、V8ヒープスナップショットをディスクに書き込み領域を確保します。

NODE_OPTIONSについて: 
https://nodejs.org/api/cli.html#cli_max_old_space_size_size_in_megabytes


【Node.js】yarn generateでヒープ領域が不足してエラーになったのでヒープ領域の設定を変更して処理を実行した


printでずらっと出力していた進捗状況をプログレスバーで表示する方法を知ったのでメモします。

## tqdmで進捗を可視化する

- [tqdm - GitHub](https://github.com/tqdm/tqdm)

このモジュールを使うと▼のようなプログレスバーがforの進捗に応じて表示できます。
利用方法は`tqdm`をインポートして、配列などイテレータを`tqdm(iterable)`とするだけでOKです。
```python
!pip install tqdm

from tqdm import tqdm
for i in tqdm(range(616435)):
    # 処理
```
```txt:出力
76%|████████████████████████        | 7568/10000 [00:33<00:10, 229.00it/s]
```

またコマンドとしても利用出来ます。
▼のようにパイプラインで利用する方法もREADMEに載ってます。
```bash
$ seq 9999999 | tqdm --bytes | wc -l
75.2MB [00:00, 217MB/s]
9999999

$ tar -zcf - docs/ | tqdm --bytes --total `du -sb docs/ | cut -f1` \
    > backup.tgz
 32%|██████████▍                      | 8.89G/27.9G [00:42<01:31, 223MB/s]
 ```

▼アニメーション
![image](https://raw.githubusercontent.com/tqdm/img/master/tqdm.gif)


## 利用例①

インストール
```python
$ pip install tqdm

# Google Colaboratory
!pip install tqdm
```
配列を`tqdm()`に入れるだけでプログレスバーを表示できる。
```python
from tqdm import tqdm
from time import sleep

text = ""
for char in tqdm(["a", "b", "c", "d"]):
    sleep(0.25)
    text = text + char
```
```bash:出力
100%|██████████| 4/4 [00:01<00:00,  3.97it/s]
```

▼インデックスを使いたい時。
```python
array = ["a", "b", "c", "d"]
for i in tqdm(range(len(array))):
  some_function(array[i])
```

## 利用例②

[こちら](https://www.ogis-ri.co.jp/otc/hiroba/technical/similar-document-search/part9.html)の記事の一部の処理の時間が長くて、いつ終わるか不安だったのでtqdmで進捗を確認できるようにした。
`captions`が文字列のリストになっていて順次文章ベクトルに変換している。

インポートとイテレータを`tqdm()`に入れるだけで使える。コメントした箇所が変更した部分。
```python
import numpy as np
import spacy
import pkg_resources, imp
from tqdm import tqdm # 追加

imp.reload(pkg_resources)

nlp = spacy.load("ja_ginza")

vectors = []
# for caption in captions:
for caption in tqdm(captions): # tqdmを使ってループする
  doc = nlp(caption, disable=['ner']) 
  vectors.append(doc.vector)

del nlp
```
```bash:出力
87%|████████▋ | 538893/616435 [56:20<07:39, 168.71it/s]
```

【Python】tqdmでforの進捗状況を表示する


日本語も対応した学習済み単語ベクトルのFastTextをFacebookが公開しています。
これをColabolatoryで使ってみて以下のような、類似単語の分布を描いてみます。

[Colaboratory](https://colab.research.google.com/notebooks/intro.ipynb?hl=ja#recent=true)を使います。
Google Driveにあげたデータを利用することが簡単になってました。
Colabでいっぱい試して、大きな分析はサーバやローカルで分析するのがよさそうですね。

## 単語ベクトルの学習済みモデルを利用する

fastTextの日本語の学習済み単語ベクトルを利用します。
モデルにはいくつか種類がありますが、今回は[こちら](https://fasttext.cc/docs/en/crawl-vectors.html)にあるWEBクローラーとWikipediaの文書から学習したモデルを利用します。

この中の日本語のファイル`cc.ja.300.vec.gz`(1.2GB)をダウンロードして、Google Driveにアップロードしておきます。
新規のColabolatoryを開いてGoogle Driveをマウントします。

![mnt](/images/posts/280/281/mnt.png)

fastTextのライブラリを利用する手もありますが、ここでは自然言語処理に便利なライブラリの[gensim](https://radimrehurek.com/gensim/)に任せてみます。
マウント出来たらドライブを開いて、先ほどアップロードしたモデルのパスをgensimに渡してロードします。
ロードには10分くらいかかるので気長に待ちましょう。

```python
import gensim

# 学習済モデルのパス
model_path = '/content/drive/MyDrive/Colab Notebooks/fasttextmodel/cc.ja.300.vec.gz'
# ロードに10分くらいかかる
model = gensim.models.KeyedVectors.load_word2vec_format(model_path, binary=False)
```

モデルの形式を確認します。
このモデルは長さ5のn-gramからCBOWで学習しています。
ひとつの単語は300次元のベクトルで表される。
```python
# 登録している単語の数
print(len(model.vocab.keys())) # 2000000

# ひとつの単語ベクトルの次元
model['猫'].shape # (300,)
```

Colaboratoryではコードブロックの最後の行のオブジェクトはprintみたいに結果を出力できます。

## 単語ベクトルを試す

単語ベクトルが扱えるようになったので色々と遊んでみる。
読み込んだ単語ベクトルで出来ることはこちらで紹介されています。

[What can I do with word vectors?](https://radimrehurek.com/gensim/models/keyedvectors.html#why-use-keyedvectors-instead-of-a-full-model)

補足ですが、fastTextから読み込んだのは、**full model**ではなく**KeyedVectors**です。主な違いはKeyedVectorsはこれ以上トレーニングできない代わりに、トレーニングに必要な内部データ構造を排除して軽量にしています。
また、fastTextはfull modelとしてロードできないそうです。

[Why use KeyedVectors instead of a full model?](https://radimrehurek.com/gensim/models/keyedvectors.html#why-use-keyedvectors-instead-of-a-full-model)

### 類似する単語を挙げる

指定した単語に類似した単語を挙げてみます。
類似した単語と単語のユークリッド距離が出ます。

```python
from pprint import pprint

pprint(model.most_similar('猫', topn=10))
```
```txt:出力
[('ネコ', 0.8059155941009521),
 ('ねこ', 0.7272598147392273),
 ('子猫', 0.720253586769104),
 ('仔猫', 0.7062687873840332),
 ('ニャンコ', 0.7058036923408508),
 ('野良猫', 0.7030349969863892),
 ('犬', 0.6505385041236877),
 ('ミケ', 0.6356303691864014),
 ('野良ねこ', 0.6340526342391968),
 ('飼猫', 0.6265145540237427)]
```

### 単語の類似度を出す

```python
print(model.similarity('猫', '犬'))
print(model.similarity('猫', '人'))
```
```txt:出力
0.65053856
0.23371725
```
`猫`は`人`より`犬`に近いようですね。

### 王様 - 男 + 女 = ?

```python
# 単語ベクトルの演算
new_vec = model['王様'] - model['男'] + model['女']

# 計算したベクトルに類似した単語
pprint(model.similar_by_vector(new_vec))
```
```txt:出力
[('王様', 0.8916897773742676),
 ('女王', 0.527921199798584),
 ('ラジオキッズ', 0.5255386829376221),
 ('王さま', 0.5226017236709595),
 ('王妃', 0.5000214576721191),
 ('裸', 0.487439900636673),
 ('タプチム', 0.4832267761230469),
 ('アンナ・レオノーウェンズ', 0.4807651937007904),
 ('ゲムケン', 0.48058977723121643),
 ('お姫様', 0.4792743921279907)]
```

よくある単語の関係を計算するやつを試してみます。
単語はベクトルですので計算ができます。
トップが`王様`で、次いで予測していた`女王`が出てきました。

この結果のような`タプチム`や`ゲムケン`など聞きなれない言葉や、中国語も混じっていたりします。
利用しているfastTextのモデルはWikipediaとWEBクローラーで集めたの文書で学習しています。
精度が悪いものは、おそらく、その単語の学習データ少なかったのでしょう。

単語はベクトルの計算は以下のようにも書けます。
こちらの結果は言葉の感覚的にあってました。

```python
model.most_similar(positive=['姪', '男性'], negative=['女性'])
```
```txt:出力
[('甥', 0.8209505081176758),
 ('叔父', 0.6412274837493896),
 ('叔母', 0.6293267011642456),
 ('従姉', 0.6224151849746704),
 ('弟', 0.6069883108139038),
 ('従兄', 0.595562756061554),
 ('従姉妹', 0.594235360622406),
 ('伯父', 0.5939351916313171),
 ('義妹', 0.5894800424575806),
 ('従兄弟', 0.5876302719116211)]
```

### 単語の類似度を出す

```python
print(model.similarity('猫', '犬'))
print(model.similarity('猫', '人'))
```
```txt:出力
0.65053856
0.23371725
```
## 単語の類似度の分布をグラフにする

ここから趣向を変えて、単語の類似度をグラフに表してみます。

いくつかの単語にそれぞれ類似した単語をクラスターとして、どんな分布になっているか散布図にプロットしていみる。

```python
import numpy as np

# 入力した単語に類似した単語とベクトルを返す
def similars(words, model):
    vectors = []
    cluster = []
    label = []
    for i in range(len(words)):
        word = words[i]
        similar = model.similar_by_word(word, topn=10)
        for x in similar:
            cluster.append(i)
            label.append(word)
            vectors.append(model[x[0]])
    return vectors, cluster, label

words = ['猫', '銃', '鉄', '病原菌']
vectors, cluster, label = similars(words, model)

# ベクトルの次元を確認
print(np.array(words).shape)
print(np.array(cluster).shape)
print(np.array(vectors).shape)

# 類似した単語の確認
for word in words:
    similar = model.similar_by_word(word, topn=10)
    print(word, [x[0] for x in similar])
```
`鉄`の単語だけバグってますね。中国語でしょうか？
```txt:出力
(4,)
(40,)
(40, 300)
猫 ['ネコ', 'ねこ', '子猫', '仔猫', 'ニャンコ', '野良猫', '犬', 'ミケ', '野良ねこ', '飼猫']
銃 ['拳銃', '銃器', '短銃', '小銃', 'ダルヌ', '猟銃', 'アサルトライフル', '散弾', 'レムリカ', '蟲砕']
鉄 ['拐仙', '蕉館', '勒諸', 'ワン・アンダードッグ', '拐山', 'ブリキンガー', '珪輝', '拐李', 'ぱいぷ', '鋼鉄']
病原菌 ['病原', '細菌', 'ウイルス', 'ばい菌', 'エボラウィルス', '伝染病', '感染', '菌', 'ウィルス', 'ゾンビウィルス']
```

グラフに日本語描画する際には▼をインストールしておくと勝手に日本語に対応してくれる。これがないと`□□□□□`と豆腐になる。ありがたい！
```python
!pip install japanize-matplotlib
```

▼ベクトルは300次元のままだと表すことができないため、主成分分析（PCA）で２次元まで次元を減らします。
あとは、クラスター毎に色を付けて散布図にプロットしています。

```python
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import japanize_matplotlib 

def draw_scatter_plot(vectors, words, cluster):

    colors = ["b", "g", "r", "c", "m", "y", "k"]

    # Scikit-learnのPCAでn_componentsの数値で次元数を決める
    pca = PCA(n_components=2)
    coords = pca.fit_transform(vectors)

    # matplotlibによる可視化
    fig, ax = plt.subplots()
    x = [v[0] for v in coords]
    y = [v[1] for v in coords]

    for i in range(len(words)):
        xx = []
        yy = []
        for c, a, b in zip(cluster, x, y):
            if i == c:
                xx.append(a)
                yy.append(b)
        ax.scatter(xx, yy, c=colors[i % 7], label=words[i])
    ax.legend(loc='upper right')
    plt.show()

draw_scatter_plot(vectors, words, cluster)
```
出力  
![graph](/images/posts/280/281/graph.png)

視覚的にわかりやすいグラフになりました。
`鉄`と`銃`のクラスターよりも、`鉄`と`猫`のクラスターのほうが近く固まっていたのは、鉄の単語がうまく学習できていなかったからかと思います。

単語を変えて遊べるので試してみてください。

## 参考: 

- [Python: gensim で学習済み単語ベクトル表現を扱ってみる](https://blog.amedama.jp/entry/gensim-fasttext-pre-trained-word-vectors)

学習済みの日本語単語ベクトルをColabolatoryで試してみる

Unity ML-Agentsで新しく学習環境を作る


UnityもML-Agentsもわからなかったので参考書を買いました。

![mlagents-book](/images/posts/270/273/mlagents-book.jpg)

[Unityではじめる機械学習・強化学習 Unity ML-Agents実践ゲームプログラミング](https://amzn.to/365Q94z)


## この本の良い点

- 日本語の情報が少ないML-Agentsについてまとめてある
- ハイパーパラメータの典型的な範囲と説明がある！！
- Unityのパラメータの画像が豊富にありわかりやすい

### 日本語の情報が少ないML-Agentsについてまとめてある

ML-Agentsについてググって出る日本語の情報は多くない。
あってもサンプルを動かすところまでがほとんどで、UnityもML-Agentsもわからないのでナンモワカラン状態だった。

[公式のドキュメント](https://github.com/Unity-Technologies/ml-agents/blob/release_12_docs/docs/Readme.md)はかなり詳しいが、英語を読むにも手がかりが欲しい。

書籍でML-Agentsを体系的に学んだことで、公式のドキュメントも読んでなんとなくわかるくらいまでになりました。

### ハイパーパラメータの典型的な範囲と説明がある！！

個人的に一番おすすめのポイントはこれ！
これだけで今後も長く見返すことが決まったぐらいありがたい。

ハイパーパラメータはニューラルネットワークの層の数や報酬にかかる係数など、推論や予測の枠組みの中で決定されないパラメータで人が任意に決める数値です。
このパラメータは学習する速度や精度に大きく影響していて、的外れなパラメータだと学習できないこともあります。
そのため、あらかじめ良さげなパラメータで学習を始めて徐々に調整していく必要があります。
この調整がチューニングです。
また、ML-AgentsではPPOやSACといった強化学習のモデルを利用しますが、モデルによってもハイパーパラメータが異なります。

はい。
このハイパーパラメータが何を意味するのか？
そして、どの範囲で調整したら良いか？大きくしたら学習にどんな影響があるのか？が初心者にとってさっぱりで悩んだら嵌ります。
それゆえ、ハイパーパラメータの典型的な範囲と説明があるのはありがたいなと思いました。

著者の布留川英一さんは「[AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門](https://amzn.to/363EWl4)」なども書いていらっしゃるので信頼感があります。




## 前提

- Unityに初めて触った。
- DeepLeaningは[ゼロから作るDeep Learning](https://amzn.to/3qJFYuw)のシリーズといくつかの本で学んだ。
- 10年くらい前に研究でSVMを使ってた。
- C#とPythonは業務で利用した

【技術書】Unityではじめる機械学習・強化学習 Unity ML-Agents実践ゲームプログラミング

Unity ML-Agentsのインストールから学習まで


青空文庫のデータを使った分かち書きと頻出単語の算出をしてみました。

以下の流れで、テキストを取得するところから頻出単語を求めるところまでのコードになっています。

1. 青空文庫からテキストのzipをダウンロードしてzipを展開する。
2. ファイルを読み込む。
3. テキストを前処理する。
4. janomeで分かち書きをして頻出単語を求める。

将来的に小説から言語モデルを作りたいのでわりとしっかりと作りました（大言）。

## 環境

- Python 3.9

[リポジトリ](https://github.com/suzu6/nlp_samples)ではDockerでPython環境を作ってます。
その構成も参考になればどうぞ。

## [Janome](https://mocobeta.github.io/janome/)

分かち書きには形態素解析で有名な[Mecab](https://taku910.github.io/mecab/)ではなくJanomeを利用しました。

Mecabと比べると、Janomeはインストールが簡単で精度が同等ですが、速度はMecabのほうが10倍程度早いです。
MeCabの辞書と言語モデルと同等のものをPythonで実装しているため、そのような特徴を持ちます。

`pip install janome`でインストールできます。

[janome - github](https://github.com/mocobeta/janome)

## コード

関数ごとに区切って紹介します。

全体のコードは[こちら](https://github.com/suzu6/nlp_samples/blob/master/opt/dogura_magura.py)。

### 1. 青空文庫からテキストのzipをダウンロードしてzipを展開する。

```python
import glob
import os.path
import requests
import zipfile
from typing import Union


def downloadFile(url: str, target_dir='./') -> Union[str, bool]:
    """URL を指定してカレントディレクトリにファイルをダウンロードする
    """
    filename = target_dir + url.split('/')[-1]
    if os.path.exists(filename):
        # サイトに負荷をかけないため
        print(filename, 'is downloaded already.')
        return filename
    r = requests.get(url, stream=True)
    with open(filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
                f.flush()
        print('{} is downloaded.'.format(filename))
        return filename

    # ファイルが開けなかった場合は False を返す
    return False


def unzip(filename: str, target_dir='./') -> list:
    """ファイル名を指定して zip ファイルを展開する
    """
    if not zipfile.is_zipfile(filename):
        print(filename, 'is not zipfile.')
        return -1
    zfile = zipfile.ZipFile(filename)
    zfile.extractall(target_dir)
    zfile.close()

    # 展開したテキストのリストを取得する
    dst_filenames = glob.glob(target_dir + '*.txt')
    print(dst_filenames)
    return dst_filenames

def if __name__ == "__main__":
    # ドグラ・マグラのリンク先
    URL = 'https://www.aozora.gr.jp/cards/000096/files/2093_ruby_28087.zip'
    tmp_dir = 'tmp/'

    zip_file = downloadFile(URL, tmp_dir)
    filenames = unzip(zip_file, tmp_dir)
    ...
```

テンプディレクトリにzipと解凍したファイルを展開しています。
zipが既にローカルにある場合は、サイトに負荷をかけないよう手元のファイルを使うようにしました。

unzip()の返り値はリストになってます。

青空文庫のテキスト版アクセスランキングで8位にあって思わずドグラ・マグラを選でます。
読み進めるのがツラい小説ですね。
１ヵ月かけて読んで結局よくわからなかったので、この機にパソコンに何度も読ませたろうかと。。。

### 2. ファイルを読み込む。

```python
def readSjis(path: str) -> str:
    """ShiftJISのテキストを読み込む
    """
    with open(path, mode="r", encoding='shift_jis') as f:
        text = f.read()
    return text


def if __name__ == "__main__":
    ...

    filenames = unzip(zip_file, tmp_dir)
    # 展開した１つのファイル名を渡す
    text = readSjis(filenames[0])
    
    ...
```

いくつかの小説をあたってみましたが、青空文庫のテキストファイルは**ShiftJIS**のようです。
`encoding='shift_jis'`で読み込めます。

### 3. テキストを前処理する。

テキストの冒頭にはタイトル、著者に加えてテキストの記号についての記述があります。

```txt
ドグラ・マグラ
夢野久作

-------------------------------------------------------
【テキスト中に現れる記号について】

《》：ルビ
（例）蜜蜂《みつばち》

｜：ルビの付く文字列の始まりを特定する記号
（例）大の字｜型《なり》に

［＃］：入力者注　主に外字の説明や、傍点の位置の指定
　　　（数字は、JIS X 0213の面区点番号またはUnicode、底本のページと行数）
（例）※［＃ローマ数字1、1-13-21］

　［＃…］：返り点
　（例）五｜月《がつ》於《おいて》［＃二］

／＼：二倍の踊り字（「く」を縦に長くしたような形の繰り返し記号）
（例）やう／＼にして語り出づるやう
＊濁点付きの二倍の踊り字は「／″＼」
-------------------------------------------------------

［＃ページの左右中央］


［＃ここから５字下げ］
　巻頭歌


胎児よ

何故躍る

母親の心がわかって

おそろしいのか
```

テキストビューアーのためのものですが、今回は不要なためルビや注釈を除去していきます。

```python
import re

def preproccessing(text):
    """テキストの前処理をする
    """
    lines = text.split('\n')
    print('処理前 文字数:', len(text), ', 行数:', len(lines))
    # 作品情報
    title = lines[0].strip()
    author = lines[1].strip()
    print(title, author)

    # ルビ、注釈などの除去
    text = re.split(r'\-{5,}', text)[2]
    text = re.split(r'底本：', text)[0]
    text = re.sub(r'《.+?》', '', text)
    text = re.sub(r'［＃.+?］', '', text)
    # 全角スペース
    text = re.sub(r'\u3000', '', text)
    # 複数の改行
    text = re.sub(r'\n+', '\n', text)
    text = text.strip()

    lines = text.split('\n')
    print('処理後 文字数:', len(text), ', 行数:', len(lines))
    return text


def if __name__ == "__main__":
    ...

    text = readSjis(filenames[0])
    text = preproccessing(text)

    ...


"""    
処理前 文字数: 468996 , 行数: 3417
ドグラ・マグラ 夢野久作
処理後 文字数: 425638 , 行数: 2959
"""
```

### 4. janomeで分かち書きをして頻出単語を求める。

```python

from janome.tokenizer import Tokenizer
import collections

def wakati(text: str):
    """テキストを分かち書きにして頻出単語を求める
    """
    t = Tokenizer()
    # 単語頻度
    c = collections.Counter(t.tokenize(text, wakati=True))
    print(c.most_common()[:15])

    # 特定の品詞のみ
    c = collections.Counter(token.base_form for token in t.tokenize(text)
                            if token.part_of_speech.startswith('名詞,固有名詞'))
    print(c.most_common()[:15])


def if __name__ == "__main__":
    ...

    wakati(text)

"""
# 単語頻度　降順
('の', 16011)
('、', 15485)
('…', 10802)
('に', 10112)
('て', 8831)
('。', 7791)
('を', 7770)
('た', 6648)
('が', 5530)
('と', 5522)
('は', 5029)
('で', 4168)
('し', 3307)
('\n', 2958)
('も', 2542)

# 特定の品詞（名詞,固有名詞）のみ
('呉', 481)
('若林', 346)
('一郎', 340)
('正木', 250)
('青', 86)
('秀', 86)
('斎藤', 68)
('福岡', 58)
('モヨ', 53)
('卓子', 42)
('九大', 35)
('大正', 34)
('姪の浜', 34)
('行衛', 33)
('九州', 32)
"""
```


`t.tokenize(text)`で分かち書きしたものの単語とその情報が取り扱えるようになります。

品詞で絞りたい場合は`token.part_of_speech.startswith('名詞,固有名詞')`とするとよい。
品詞はMecabの[品詞IDの定義](https://taku910.github.io/mecab/posid.html)に一覧がある。

頻出単語は`collections.Counter`でカウントして、`c.most_common()`降順に並び替えている。

## 参考

- [Janomeを使ってPythonで形態素解析](https://qiita.com/charon/items/661d9a25b2233a9f8da4)
- [【Python】MeCabを使って青空文庫を簡単に分かち書きする方法](https://sleepless-se.net/2018/08/28/mecat-wakatigaki/)
  - [Mecab](https://taku910.github.io/mecab/)と[Google Colaboratory](https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja)を使われている。
- [青空文庫からPythonで本文を取得したい](https://newtechnologylifestyle.net/711-2/)

【Python】青空文庫の小説を分かち書きして頻出単語を取得する


`TypeError:'float' object cannot be interpreted as an integer`について。

”型のエラー：'float'オブジェクトは整数として受け取れません”

整数型しか受け取らない関数にそれ以外の型（小数、文字列etc）を渡すとこのエラーが返ってきます。

- 浮動小数：`'float'`
- 文字列：`'str'`

など。

### 解消法

整数を渡してください。

## せっかくなので似たエラーを出してみる

### range()に小数を渡す。

```py
>>> range(0, 30, 0.1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'float' object cannot be interpreted as an integer
```

### range()に文字列を渡す。

```py
>>> range(0, 'hello', 1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'str' object cannot be interpreted as an integer
```

### range()に宣言されていない変数を渡す。

```py
>>> range(0, a, 1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'a' is not defined
```

### listのインデックスに小数を渡してみる

```py
>>> l = [1, 2, 3]
>>> l[0.1]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: list indices must be integers or slices, not float
```

こちらも型違いが指摘されるが、文言が違った。



Pythonでのエラー：TypeError:'float' object cannot be interpreted as an integer

解消法

せっかくなので似たエラーを出してみる

range()に小数を渡す。

range()に文字列を渡す。

range()に宣言されていない変数を渡す。

listのインデックスに小数を渡してみる