hubot が記憶消失して一週間フレンズ。みたいになってる
— そらは (@sora_h) June 12, 2014
hubot デプロイして油断してたら、よくわからない内に記憶を落としてた。
みなさまにおかれましては、 redis-cli --raw get hubot:storage > /tmp/backup-$(date +%s).json
とかをデプロイ時・定期的に実行することをおすすめします。
後、hubot で hubot deploy できるようにすると、hubot が壊れた時にロールバックできなくなって詰むので、気をつけた方がいいという知見も別件で得た。ruboty から hubot デプロイできるようにするとよさそう。
たぶんプラグインの読み込み順序がかわって、brain の読み込みがおそくなってスクリプトのバグを踏み抜いたとかそういうのだと思う。復旧は、まだhubotがいろいろ使われるようになって少ししかたっていなかったので、チャットログを人間が追って、同じ内容を保存しなおすという復旧をした。
hipchat はオペレーションログだし、これが chatops ですよ、chatops!