Netflixのオープンソースのまとめ

http://www.lauradhamilton.com/system-administration-at-netflix

1 comment | 0 points | by WazanovaNews 約3年前 edited


Jshiike 約3年前 edited | ▲upvoteする | link

メディカル分野のアナリティクスサービスを提供しているAdditiveAnalyticsのFounderのLaura Diane Hamiltonが、先日のNetflixのJeremy Edbergのプレゼン(110枚のスライド)をまとめてくれています。かなりの数になったNetflixのオープンソースのプロジェクトの全容がわかるので助かります。

Application Availability

  • Hystrix: サーキットブレーカーのような役割を果たすことで、障害の雪崩現象を食い止め、分散システムの障害耐性を担保。
  • The Simian Army: AWSクラスタを監視 & 障害耐性を確認。
    • Chaos Monkey: AWSインスタンスをランダムに停止
    • Chaos Gorilla: AWSゾーンをランダムに停止
    • Chaos Kong: AWSリージョンをランダムに停止
    • Latency Monkey: ランダムにネットワークを劣化させ、障害をおこす。
    • Conformity Monkey: 異常値の監視
    • Circus Monkey: インスタンスの停止/起動でゾーンのバランスを確認
    • Doctor Monkey: 万全でないリソースの修繕
    • Janitor Monkey: 未使用のリソースを掃除
    • Howler Monkey: SSL証明書の期限切れのアラート
    • Security Monkey: 設定変更履歴とAWSセキュリティポリシーの照合
  • Turbine: Hystrixが適用された数千台のサーバからリアルタイムストリームを遅延なく高スループットでアグリゲートする。

Cloud Management

  • Ice: AWSの利用状況 & コストのモニタリング
  • Asgard: アプリのデプロイとクラウド管理のウェブインターフェイス
  • Frigga: Asgardが利用する、AWSオブジェクト名を生成 & パースするロジック
  • Glisten: Amazon Simple Workflow Service (SWF)でJVMアプリを構築するためのGroovyライブラリ

Infrastructure Services

  • Edda: クラウドインフラの変更をモニタリング
  • Suro: 大量のログデータやアプリのイベントデータを収集してアグリゲートするデータパイプラインサービス
  • Eureka: 中間レイヤのサーバのロードバランスと障害復旧
  • Zuul: 動的なルーティング、モニタリング、障害耐性、セキュリティなどの役割をもつ、ネットワークのエッジサービス

Platform Libraries

  • Kayon: Netflixのオープンソースライブラリの情報をまとめた設計図
  • Archaius: 設定管理のAPI
  • Denominator: DNSクラウドを操作するJavaライブラリ
  • Feign: Denominatorを安定してHTTPにバインドする際の面倒を減らすためのJava to HTTP クライアントバインダー
  • Ribbon: AWSゾーンをソフトウェアでロードバランス
  • Servo: アプリ監視のライブラリ
  • Blitz4j: log4j上に構築された、高パフォーマンスで非同期のログフレームワーク
  • Governator: Google Guiceを拡張し、クラスパスのスキャン、ライフサイクル管理、インジェクターの立上げ、フィールドマッピングの設定などを提供するライブラリ

Deployment

  • animator: カスタマイズしたEBSイメージを作ってデプロイするためのライブラリ

Database

Netflixは全てのデータを9回(3重の冗長性 x 3回)保存する。

  • Astyanax: マルチリージョンをサポートする、Cassandraに対するオブジェクト指向の抽象化Javaクライアント
  • CassJMeter: Cassandraのクラスタを監視するJMeterプラグイン
  • Curator: Apache ZooKeeperを使うためのJavaライブラリ群
  • EVCache: AWS向けのmemcached & spymemcachedベースのキャッシュソリューション
  • Exhibitor: インスタンスのモニタリング、バックアップ、データ復旧、クリーンアップ、バーチャライズ化をしてくれるZooKeeper向け監視システム
  • Priam: Cassandra向けに、自動設定、ステート管理、トークンの適用、ノードの交換、S3のバックアップとデータ復旧を提供
  • Staash: 共通のデータアクセスパターンを自動化し、データベースの複雑さを抽象化してくれる、RESTベースのウェブインターフェイス

#netflix #オープンソース

Back