slashdot.jp ダウン (2004-09-07 18:20-18:35 JST)

タイトルの通り，15分あまりにわたって slashdot.jp の Web がダウンした． いや，正確にはダウンさせてしまったというのが正しいのだが．

メンテナンスの際に，別の db ユーザのパスワードを設定するところを 誤って slashdot.jp の db ユーザのパスワードを変更してしまい，db に接続できないようにしてしまった．そのため，Web サーバのキャッシュに 残っているもの以外を見ることができなくなってしまっていた． 幸いメンテナンス中だったので，割と早くミスに気づくことができたのは よかった．

今後はミスのないように，きちんと確認しながら作業します． すみませんでした．

こーゆー人為的ミスは

[Anonymous Coward]

他人事ではなかったりしますが、皆様どのよーな対策立てていますか?

# テスト系にアクセスしてるつもりが本番系だったとか、
# 一般ユーザのつもりがrootだった、とか、肝が冷える
# 事態にあったり、実際にやっちゃったケースを耳に
# したりしてますが……。

ある基幹システムでの例

[Anonymous Coward]

顧客実運用システムを直接触る場合は、事前に手順書をレビューしてもらわないと触れることさえできません。想定されるメッセージも附記し、それと異なるメッセージが出力された場合は、以後の作業が中止されます。"ls -la"程度でさえ、勝手に入力することは許されません。コマンド入力後、エンターを押す前にお客様の確認が要求されます。それでも業者(当方)にやらせるということは…ミスがあった場合の責任はすべてかぶせられてしまうのです。

Re:ある基幹システムでの例

[Elbereth (17793)]

これに付け加えるべきことがあるとすると、各コマンドの実行の際には
-i オプションをつけて逐一指差し確認をするようにするといいかも
知れません。

「ls -l、ヨシ!」(爆)

まぁ実際のところは、毎回 -i をつけるのもかったるいので、
あらかじめエイリアスの設定をしておくといいでしょうね。

#しかし昔の職場(勘定系の監視)ではエイリアスの設定すらご法度で
#素のシェルだったんですよね

Re:ある基幹システムでの例

[G7 (3009)]

>「ls -l、ヨシ!」(爆)

ところが間違えてslを入力してしまい…

Re:ある基幹システムでの例

[Anonymous Coward]

分からない方のために解説。

SL(1): 究極の冗談コマンド [u-tokyo.ac.jp]

またはタイピング矯正ソフトとも言うようです。

# 不粋なのでAC

Re: SL

[Anonymous Coward]

　SL制作者のT氏の下で研究してたのでAC。

Re:ある基幹システムでの例

[Anonymous Coward]

ハードリンク作る場面なんてないから、inode番号見ても役に立つケースは少ないなぁ、うん。
というボケはおいといて、alias作成するのは好きじゃないです。
元のコマンドと同名でalias設定する場合だと、alias効かない環境(/bin/sh使う時とか)でポカやると怖いんで。
かといって、同名じゃないとワザワザ覚えてらんない。

でも、高機能シェ

Re:ある基幹システムでの例

[Anonymous Coward]

> 事前に手順書をレビューしてもらわないと触れることさえできませ
> ん。想定されるメッセージも附記し、それと異なるメッセージが出
> 力された場合は、以後の作業が中止されます。

うちもそうです。おかげで顧客提出前レビューを3～4回通す羽目になってます。
手順書の中身もmvの実行すら、
1) ls -l piyo
2) mv -i piyo piyo.old
3) ls -l piyo*
piyoファイルがないことを確認する。[OK / NG]
piyo.oldファイルがあることを確認する。[OK / NG]
piyo.oldファイルの日付、サイズ、パーミッションが

Re:こーゆー人為的ミスは

[AliceYou (2190)]

一度自分でやってしまうことで、対策の重要性を思い知るのが
究極の対策ではないかと。

そういう私も、rm -rでいちど/からシステムをふっとばして以来、
パスには気をつけ省略しないくせがつきました…

Re:こーゆー人為的ミスは

[Anonymous Coward]

> 一度自分でやってしまうことで、対策の重要性を思い知るのが
> 究極の対策ではないかと。

でもそれでお客さんの業務を止めてしまったりするとまぢでシャレにならないわけで……。

# という事例を最近立て続けに見聞きしたのでAC。

とりあえず思い付く対策とゆーと、

• プロンプトにカラーのエスケープシーケンスを仕込んどいて、rootだったら毒々しい赤にする(テスト環境と本番環境でも同様)とか、
  
• sudoで可能な限りrootになる時間を短かくする&&可能ならば細かく権限設定を行うとか(後者はやってない^^:)、
  
• 破壊的な操作を伴なうシェルスクリプトでは、いきなり処理を実行するのではなくて、一連の処理を展開したシェルスクリプトを生成するよう作成する(例えば「for f *.hoge; mv $f $f.bak; done ではなく for f *.hoge; echo mv $f $f.bak; done」展開結果を見て実行の可否を判断する)とか、
  
• ソースだけでなくありとあらゆるリソースをバージョン管理システムの管理下に置くとか、
  
• どんな操作でも可能な限りスクリプト化しておいて途中の手順を間違えないようにする&&再実行を容易にするとか、
  
• とにかく手順を逐一メモる、ひたすらメモる、忘れたらやり直してでもメモるとか、
  

……ん～、今んとこ出てくるのはこれくらい。

Re:こーゆー人為的ミスは

[heavensgate (21016)]

>どんな操作でも可能な限りスクリプト化しておいて途中の手順を間違えないようにする&&再実行を容易にするとか、

これをさらに発展させて、スクリプト内で hostname 見て自分が開発環境なのか本番環境なのか、どっちの環境で動こうとしてるか判断させる、なんてのをやってたりしますが。

ああ、あとスクリプトのミス実行を防ぐ為に、実行時に -exec オプションが指定されてないと、ファイル操作系が全部 echo ** になるように仕組んだりとか。

--
-- To be sincere...

Re:こーゆー人為的ミスは

[haruto (1216)]

私も開発機上ですがrootで
chown hogehoge　-R ../
とかやっちゃったこと有ります。
なんか時間かかるなー何が悪いことしたかな？と思ったけど、
よくよく考えてみると・・・
すぐにctrl+Cしたけど時すでに遅し
OS再インストールと復旧に結構時間かかりました

メンテ中の人為的なミスなら、対処しやすくて良いけど

[kachou (4553)]

ここ最近、午前7時ぐらいにアクセスできない事が２，３度あったんですけど、そこら辺の原因追及もお願いします。

--

/* Kachou Utumi
I'm Not Rich... */

ストーリ検索してみたら

[Anonymous Coward]

14 公取委がMS社「非係争条項」契約の審判開始 by yoosee with
0 comments on 2004年09月04日 23時31分
^
ＤＢ壊れた？

Re:ストーリ検索してみたら

[Anonymous Coward]

過去記事で時々ありますね。
スクラップしてると、コメント0がたまに出ます。
実コメントは影響されてないからいいけど。

トップページの記事 と古いストーリの記事

[shado2001 (6090)]

トップページに載っておらず
古いストーリ－にある記事　が存在するようになったみたいです。

じつはこのストーリも　古いストーリーにのみ表示されています
このストーリのＭ２が来て初めて気がつきました。

これから仕事に戻るので書き逃げ失礼

Re:トップページの記事 と古いストーリの記事

[yourCat (4820)]

トップページには掲載されない記事を扱うためにセクションが設けられています。この記事はトップページに掲載されないよう設定されているので、正しい挙動ですよ。
参考: FAQの「インデックスには表示されるのにホームページに表示されないストーリーがあるのはなぜ? [srad.jp]」

お疲れ様でした。

[Anonymous Coward]

偶然ダウン中にアクセスしました。

なにはともあれ、お疲れ様でした。