NHNグループ合同勉強会ライブドア片野

livedoorを支えるインフラ

株式会社ライブドア
株式会社ライブドア
片野　
片野　秀人

Copyright(C) 2008, livedoor Co., Ltd. All rights reserved.

自己紹介

■ 片野秀人 (Katano Hideto)
■ 株式会社ライブドア
　　開発部システム管理グループ
■ 主な担当
　　　livedoor各サービスのサーバ選定とか、トラフィック
　　　対策とか、インフラ全般をあれこれと。

■ Twitter： @kmt_web

Copyright(C) 2010, livedoor Co., Ltd. All rights reserved. 1

アジェンダ

・livedoorの運用体制
　　　 →自社データセンタがあると良いよね

・サーバ調達
　 →より安く、より早くサーバを投入するために

・仮想サーバ/自作サーバ
　　　 →どんな感じで使ってるの？おいしいの？

・まとめ

－運用体制－


運用体制

ネットワーク事業部データセンタの運営
　　・ネットワークエンジニア　　・ネットワーク構築
　　　・オペレータ　　・一次障害対応

　　　　開発部
　・プログラマ
　　・デザイナ/マークアップサービス企画開発
　　・サーバエンジニア　　・企画/ユーザサポート
　　・二次障害対応
メディア事業部
ネットサービス事業部
・ディレクタ

運用体制

ネットワーク事業部
　　・ネットワークエンジニア
　障害発生
　　　・オペレータ ※対応できる場合は
オペレータ側で対応
　　　　開発部ディレクタ、プログラマ
　・プログラマへ連絡
　　・デザイナ/マークアップ
　　・サーバエンジニア
メディア事業部ユーザ告知や障害復旧
ネットサービス事業部を行なう
・ディレクタ

自社データセンタの良さ

・なんとなく復旧してくれる
　（オペレータが優秀！）

　　→apache再起動、サーバ再起動、
　　　ログ削除、レプリケーション復旧、etc..



・融通が利く
　　→手順書がなくても、口頭でお願い
　　　すれば対応してくれることも多い



だけど・・・

あまり無理を言うと

　　　　怒られます。
　　　　　　　　　　　　注意しましょう。


livedoorを支えるサーバ

・約2,700台のサーバが稼働中
　（IBM/TOSHIBA/SUNがメイン）

・毎月のセットアップ数は20～50台

・古いサーバを順次リプレース中

・最近はCentOSでセットアップ。
　（古いのはFreeBSDとか、TurboLinuxとか）

－サーバ調達－


サーバ調達って？

急激なアクセス増加
↓

サーバ発注
ここ⇒ ↓

セットアップ
↓
テスト
↓
サービスへ投入

重視するポイント


重視するポイント

・安い
・早い
・うまい

安くするために

・エントリークラスの
　　サーバを並べて使う。

・同じサーバを大量に買う。



つまり・・・



元々安いサーバを

さらに安く買い叩く


投入を
投入を早くするために

・まとめ買いして在庫しておく

・事前にOSはインストールしておく

・仮想サーバでセットアップを
高速化 (後述)

どれぐらい早投入できるの？
どれぐらい早く投入できるの？
できるの

（条件次第では）
数時間でサービス投入可能。

１～２時間でサービス投入した
こともあります。


できるの

でも急に言われると・・・


できるの

色々大変です。


というわけで・・・

サーバのご利用は
　　　計画的に。


－仮想サーバ－


どんな感じで使ってるの？
どんな感じで使ってるの？

・Xenを採用(2009年1月～)

・主にフロントエンドで利用

・約250台を仮想化して運用中


メリットは？
メリットは？

・セットアップが早い
　　→標準的なRPMやセットアップをした初期
　　　イメージファイルを準備。IPやホスト名を
　　　変更すれば、基本的な用途ならすぐ使　
　
　　　える。


メリットは？

・リソースを効率良く使い
　切れる
　　→複数の小規模なサービスでサーバを
　　　　共用する、など


メリットは？

・ハードウェアが変わっても
　そのまま動く
　　→イメージファイルをコピーするだけで
　　　ハードウェアのリプレースが完了できる。


デメリットは？

・運用や管理が煩雑になる
→物理的な位置が分かりにくくなる
→IPアドレスの管理が煩雑になる



・運用や管理が煩雑になる
→物理的な位置が分かりにくくなる
→IPアドレスの管理が煩雑になる

　　 ⇒工夫すれば何とかなる。
割と慣れるので大丈夫。


・物理利用と比べて性能が
　下がる
→特にディスクI/Oの性能劣化は顕著



・物理利用と比べて性能が
　下がる
→特にディスクI/Oの性能劣化は顕著
⇒ディスクI/0が発生するような用途
では物理で使う。ディスクアクセスし
たら負け。


・ハードウェア障害の影響範囲
　が大きくなる
→サーバ1台の障害が複数サービスに
　　　　　影響を及ぼす可能性も。



・ハードウェア障害の影響範囲
　が大きくなる
→サーバ1台の障害が複数サービスに
　　　　　影響を及ぼす可能性も。
⇒冗長化して、1台落ちてもサービ
スに影響が出ない構成にしておく。
また、RAID1にしておくと安心

結論


結論

適材適所
で使いましょう。


結論

・小規模サービスには利用価値が
高い
・サーバ追加が頻繁にあるサービス
は仮想化しておくと楽

・逆にフル稼働でサーバを使うなら
物理の方が良い

－自作サーバ－


作った経緯

・最近のサーバは消費電力が高い。
　ラックにあまり詰め込めない

・ストレージも台数増えてきたし、
　ラックに一杯入るサーバが欲しい

・世間的にも流行ってるよね


作った経緯

・「うちも作りました」って

　　　　　言いたい


どんなサーバなの？

・省電力でそれなりに速いサーバ
　　　→フロントエンド用
　　　（Athlon II X4 605e 、mem16GB）
mem16GB

・超省電力で低速なサーバ
　　　→ストレージ用
　　　　　（Atom D410 、mem4GB）
mem4GB

　　　　　　　　の２パターン構成


・筐体は2Uハーフ
　（1ラックに36台入る）



・電力的に40台以上は厳しいの
で、2Uハーフでも十分。
　　→2Uハーフだと、汎用性が高い
　　　　（1Uハーフは制限がきつい）
　　　　　　・PCIが使える
　　　　　　・3.5HDDが使える
　　　　　　・電源やファンも制約が緩い

メリットは？

・消費電力に対しての性能比が優秀
なCPUを選べる
サーバ処理リクエスト数負荷時処理リクエスト数
消費電力 /Watt
IBM X3250 355 req/s 110 W 3.23 req/W
　　(Core2Duo x1)
SUN X4150 962 req/s 230 W 4.18 req/W
　　(Core2Quad x2)
自作サーバ 495 req/s 91 W 5.44 req/W
　　(AthlonII 605e x1)



・少ロット数での外注なので、割高＆
納期が遅い

・ベンダ製より安っぽいので若干壊れ
やすいかも

・パーツ違いの在庫が増えて管理が
煩雑になる


結論

色々問題はありますが・・・


結論

テックブログで

一杯釣れたから作って良かった


結論

まあ、外注なので

自作してないんですけどね。


結論

その他にも・・・

・サーバ用途ではないパーツが使える

・パーツ交換でスケールアップできる

　　　　　　　　　　というメリットがあります。
　　　　　　　　　　　　（こっちが本来のメリット）

結論

・Athlon/Phenomは電力的に
かなり優秀。(TDP45W～95W)
　 →2.8GHz/6Core/95W版も出た
　　→Xeon L3426も良いですね。
　　　(TDP45W)
　　　⇒パーツを変更しつつ、
　　　　今後も使う予定。

－まとめ－


まとめ

より良い運用体制を作るために・・・

データセンタ側との
　　　　　　　　　連携が大事

　　　→安眠確保！


まとめ

サーバのご利用は計画的に。

　　→計画的に買えば安くなるし、
　　　投入も早くなる


まとめ

仮想サーバの利用は適材適所
で。

　　→うまく使えば便利。無闇に
仮想化してもメリットなし


まとめ

自作サーバはまだ釣れる

　　→話題になることで、エンジニア
　　　の応募も増えた・・・かも。


ご静聴ありがとうございました


NHNグループ合同勉強会ライブドア片野

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to NHNグループ合同勉強会ライブドア片野

Similar to NHNグループ合同勉強会ライブドア片野 (20)

Recently uploaded

Recently uploaded (9)