diary.sorah.jp

ろくがつじゅうににち

hubot デプロイして油断してたら、よくわからない内に記憶を落としてた。

みなさまにおかれましては、 redis-cli --raw get hubot:storage > /tmp/backup-$(date +%s).json とかをデプロイ時・定期的に実行することをおすすめします。

後、hubot で hubot deploy できるようにすると、hubot が壊れた時にロールバックできなくなって詰むので、気をつけた方がいいという知見も別件で得た。ruboty から hubot デプロイできるようにするとよさそう。

たぶんプラグインの読み込み順序がかわって、brain の読み込みがおそくなってスクリプトのバグを踏み抜いたとかそういうのだと思う。復旧は、まだhubotがいろいろ使われるようになって少ししかたっていなかったので、チャットログを人間が追って、同じ内容を保存しなおすという復旧をした。

hipchat はオペレーションログだし、これが chatops ですよ、chatops!

Backfilled at , Published at