まずはインストール (installation on ubuntu)
$ sudo apt install pari-gp
ラズパイ上のmathematicaからあるプログラムを移植してみたが、さすがにマシンパワー
の差で10倍弱速くなった。
移植先は、Core i7-7700, 32GB
但し、1コア上でしか動いていないので、それほど速いわけではない
谷本の備忘録・雑記帳・work
CATEGORY ARCHIVE
まずはインストール (installation on ubuntu)
$ sudo apt install pari-gp
ラズパイ上のmathematicaからあるプログラムを移植してみたが、さすがにマシンパワー
の差で10倍弱速くなった。
移植先は、Core i7-7700, 32GB
但し、1コア上でしか動いていないので、それほど速いわけではない
安い(容量少ない)SSDを購入して、増設、それをbootにしてubuntuを入れなおした。 partitionのところで、てこずったが、
'https://kledgeb.blogspot.jp/2014/04/ubuntu-1404-uefi-2-uefipcubuntu-1404.htmlを
参考にしたところ出来たので、メモとして残しておく
使用環境: Ubuntu 16.10 Tensorflow-gpu (ppi install)
またもや、tensorflow/modelsが見当たらない。
そこで、旧い版数のところからソースを持ってきた。
しかし、旧い版数ではエラーになったので、いくつかのpythonコードを引っ張ってきたら、なんとか動いた。(どうも、pipからではなく、ソースからした方が良かったのかも)
'https://github.com/tensorflow/models/blob/master/tutorials/rnn/translate/translate.py
( dtype=dtypeの部分をコメント化もした)
'https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/rnn/python/ops/rnn_cell.py
'https://github.com/petewarden/tensorflow_ios/blob/master/tensorflow/python/ops/seq2seq.py
'https://github.com/tensorflow/models/blob/master/tutorials/rnn/translate/seq2seq_model.py
'https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py
'https://www.codatlas.com/github.com/tensorflow/tensorflow/master/tensorflow/con
trib/legacy_seq2seq/python/ops/seq2seq.py
'https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/platform
/app.py
'https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/client/s
ession.py
また、ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[2048,2048] translate.pyというエラーになったので、translate.py中のサイズを変更。
tf.app.flags.DEFINE_integer(“from_vocab_size”, 40000, “English vocabulary size.”)
tf.app.flags.DEFINE_integer(“to_vocab_size”, 40000, “French vocabulary size. ”)
この辺は20000に変更
tf.app.flags.DEFINE_integer(“size”, 1024, “Size of each model layer.”)
上記の1024を512にしたところ動いた
GPUメモリー使用量は、5.8GB
(当方のGPUは、GTX-1060(6GB)なので、originalではだめだったみたい)
サイズやlayer数を変えればよいみたい。
約34万stepはしないといけないみたい。私のマシンでは1時間に1万stepぐらいしか進まな
い。step time=0.27なので26時間ぐらいかかりそう。
'http://qiita.com/KojiOhki/items/45df6a18b08dfb63d4f9
2017/2/23追記
36万stepまで進んだところで、止めて、翻訳の実験。
エラー発生。 translate.pyで下記を変更
' Load vocabularies.
en_vocab_path = os.path.join(FLAGS.data_dir,“vocab%d.from” % FLAGS.from_vocab_size)
fr_vocab_path = os.path.join(FLAGS.data_dir,“vocab%d.to” % FLAGS.to_vocab_size)
en_vocab, _ = data_utils.initialize_vocabulary(en_vocab_path)
_, rev_fr_vocab = data_utils.initialize_vocabulary(fr_vocab_path)
vocab%d.from をvocab%d.enに
vocab%d.toをvocab%d.frに 変更したところ動いた。
翻訳は、雑誌に載っている例の様にはならず、_unkが多い。
回数が少ないせいなのか、vocabularyのサイズを減らしたせいなのかは不明。
雑誌や書籍に載っているclassify.pyを試そうとしたところ、tensorflowをinstallしても
、tensorflow/modelsが見当たらない。
環境:ubuntu 16.10 で、pip経由でtensorflow-gpuをinstall
確か、下記あたりから持ってきて試すとできた。
'https://github.com/petewarden/tensorflow_makefile/blob/master/tensorflow/models/image/imagenet/classify_image.py
なお、WEB版もある様だが・・・
Ubuntu 16.10 GeForce GTX-1xxxでの温度表示コマンド
'CPUとGPUの温度表示
'GPU
$ nvidia-smi
'CPU
$ sudo apt install lm-sensors
$ sensors
Tensor Flowのinstall (Ubuntu 16.10)
' CPU version
$ sudo pip install tensorflow
GPU version
$ sudo apt-get install libcupti-dev
$ sudo pip install tensorflow-gpu
' Pre-requisition cuda & cudnn