【AWS・EMR】Hadoopコマンド(lsなど)実行時、タイムスタンプがUTCな件

サーバのタイムゾーンがJSTで設定されていてもhadoop fs -lsを実行すると、
hdfs上のファイルのタイムスタンプがUTCになっている。

hadoop-envを設定することで対処可能

どうやらこいつは仕様のようですが、

AWSに問い合わせてみたところ、
hadoop-env にて HADOOP_CLIENT_OPTS に -Duser.timezone=JST
を設定してあげることで問題なくJSTのタイムゾーンで処理をしてくれる。

というわけでEMR起動時に上記が設定されるようにした。

ただし、EMRクラスタ全体のhadoopコマンドに影響があるのでそこらへんの確認はしたほうが良い。

そんな感じです。

今日の一言

世の中知らないことがたくさんある。

技術系

Posted by chat