dwangoのlisで遊んでみる

December 28, 2016

ディープラーニングと強化学習を組み合わせたプロジェクトということで、以前から興味を持っていたのですが、Unity を使うということで心理的な壁がありなかなか手をつけられずにいました。年末年始のお休み中ということでやってみようと思います。

準備

README にある通り。Mac なので、リポジトリをクローンして、

$ git clone git@github.com:wbap/lis.git

必要なものをインストールして、

$ pip install -r python-agent/requirements.txt

データを持ってきます。これ 40 分くらいかかりました。

$ ./fetch.sh

サーバーを動かします。

$ cd python-agent
$ python server.py

Unity を起動して、 unity-sample-environment を Open しました。おそらく、プロジェクトファイルがないというようなアラートが出ましたが、そのまま、進んだらプロジェクトが起動しました(Unity 初心者)。

Unity 5 5 0f3 Personal 64bit sample unity unity sample environment PC Mac Linux Standalone Personal OpenGL 4 1

この状態で、数分待ちました。

動き出す

なんか、変な視点で動き出しました!

Dec 29 2016 01 54 52

なにやら、緑の箱にぶつかると報酬を得られる様子。そして、最初は避けていたのに、どんどん自分から当たっていく?

視点変えられた。こんなんなったー。なんか可愛い。

Dec 29 2016 02 01 19

報酬履歴を見る

$ cd python-agent
$ python plot\_reward\_log.py

これで見れると思ったら、下記のエラーが出ました。

$ python plot\_reward\_log.py
Traceback (most recent call last):
  File "plot\_reward\_log.py", line 1, in import matplotlib.pyplot as plt
ImportError: No module named matplotlib.pyplot

エラーで検索して、matplotlib をインストール。

$ pip install matplotlib

次はこれ。

Traceback (most recent call last):
  File "plot\_reward\_log.py", line 2, in import pandas as pd
ImportError: No module named pandas
$ pip install pandas

再度、実行してみました。

Figure 1 and python agent Python plot reward log py 134×54 and dwangoのlisで遊んでみる and MarsEdit and Pythonで機械学習するための環境を構築してみた MacOS X Qiita

でました〜。やった。まだ回数が少ないながらも、少しずつ reward が獲得できるようになっている?

ということで、lis 動かせて楽しかった 😁

その後…

数時間起動して、LIS の動きを見て見たら、ちゃんと緑のブロックにあたりに行ってる!

Figure 1 and python agent Python plot reward log py 134×54 and イーロン マスク氏が関わるOpenAIの人工知能プラットフォーム Universe を動かしてみる

うれしかった…。

参考


Profile picture

Written by morizotter who lives and works in Tokyo building useful things. You should follow them on Twitter