dwangoのlisで遊んでみる

ディープラーニングと強化学習を組み合わせたプロジェクトということで、以前から興味を持っていたのですが、Unity を使うということで心理的な壁がありなかなか手をつけられずにいました。年末年始のお休み中ということでやってみようと思います。

準備

README にある通り。Mac なので、リポジトリをクローンして、

$ git clone git@github.com:wbap/lis.git

必要なものをインストールして、

$ pip install -r python-agent/requirements.txt

データを持ってきます。これ 40 分くらいかかりました。

$ ./fetch.sh

サーバーを動かします。

$ cd python-agent
$ python server.py

Unity を起動して、 unity-sample-environment を Open しました。おそらく、プロジェクトファイルがないというようなアラートが出ましたが、そのまま、進んだらプロジェクトが起動しました（Unity 初心者）。

この状態で、数分待ちました。

動き出す

なんか、変な視点で動き出しました！

なにやら、緑の箱にぶつかると報酬を得られる様子。そして、最初は避けていたのに、どんどん自分から当たっていく？

視点変えられた。こんなんなったー。なんか可愛い。

報酬履歴を見る

$ cd python-agent
$ python plot\_reward\_log.py

これで見れると思ったら、下記のエラーが出ました。

$ python plot\_reward\_log.py
Traceback (most recent call last):
  File "plot\_reward\_log.py", line 1, in import matplotlib.pyplot as plt
ImportError: No module named matplotlib.pyplot

エラーで検索して、matplotlib をインストール。

$ pip install matplotlib

次はこれ。

Traceback (most recent call last):
  File "plot\_reward\_log.py", line 2, in import pandas as pd
ImportError: No module named pandas

$ pip install pandas

再度、実行してみました。

でました〜。やった。まだ回数が少ないながらも、少しずつ reward が獲得できるようになっている？

ということで、lis 動かせて楽しかった 😁

その後…

数時間起動して、LIS の動きを見て見たら、ちゃんと緑のブロックにあたりに行ってる！

うれしかった…。

参考

• wbap/lis