技術系

【AWS・EMR】Hadoopコマンド(lsなど)実行時、タイムスタンプがUTCな件

投稿日:

サーバのタイムゾーンがJSTで設定されていてもhadoop fs -lsを実行すると、
hdfs上のファイルのタイムスタンプがUTCになっている。

hadoop-envを設定することで対処可能

どうやらこいつは仕様のようですが、

AWSに問い合わせてみたところ、
hadoop-env にて HADOOP_CLIENT_OPTS に -Duser.timezone=JST
を設定してあげることで問題なくJSTのタイムゾーンで処理をしてくれる。

というわけでEMR起動時に上記が設定されるようにした。

ただし、EMRクラスタ全体のhadoopコマンドに影響があるのでそこらへんの確認はしたほうが良い。

そんな感じです。

今日の一言

世の中知らないことがたくさんある。

スポンサードリンク

スポンサードリンク

-技術系

Copyright© chat-blog , 2020 All Rights Reserved.