Mesosの共同制作者:クラスタマネージャがどこから来たのか、どこに向かうのか

Benjamin Hindman:YARNとは異なり、Mesosはすべてを実行したい、Mesosphere、Cluster Manager Apache Mesosは、すでにTwitter、Airbnb、HubSpot、Groupon、eBay、OpenTableなどのハイプロファイルユーザーに深刻な役割を担っています。さらに、今月のスタートアップメゾスフィアは、このソフトウェアに基づいた野心的なデータセンターオペレーティングシステムを発表した。

シスコはArista Networksに特許侵害訴訟を提起した; DockerのCEO:Multi-Containerアプリケーションを実行するのがなぜ簡単なのか、インダストリーは環境投資を止める富士通、Linux FoundationはエンタープライズLinuxをWindowsの費用で、CoreOSはDocker、Amazon Web Servicesリザーブドインスタンス割引を変更する

しかし、Mesosがインフラストラクチャに適している場所や、YARNなどのリソース管理者、設定管理、PuppetやChefのようなオーケストレーションツールとのどこにいるのかは不明です。

MesosphereはMesosオープンソースプロジェクトの主な貢献者であり、ユーザーが仮想化されたデータセンターと仮想化されていないデータセンターを、あたかも1つの大きなマシンであるかのように管理することを可能にすると説明しています。

メゾスフィアのチーフアーキテクトになるために9月にTwitterを辞めたベンジャミン・ヒンドマンは、メゾスの共同創作者です。クラスターマネージャーはUCバークレーのAMPLabの同僚とのコラボレーションから、並列コンピューティングに取り組んでいた時代から登場しました。

「私たちがやろうとしたことは、Hadoopのようなものをクラスタ上で実行するためのよりよい方法を見つけることです。複数の具体的な目標がありました:複数のHadoopを同時に実行したいと考えていました。 MPI [Message Passing Interface]など、すべてが同じクラスタリソース上に存在しています。

クラスターマネージャーはしばらく存在していました。ポータブルバッチシステムであるPBSは1991年のもので、広く使われていました。

MicrosoftがDockerのコンテナに背を向けていることを受けて、Docker CTOのSolomon Hykes氏はプロジェクトを開始した人物がWindowsの動きのメッセージを綴っている。

「私たちが本当に望んでいたのは、「ここに行かれて仕事をする」というAPIではなく、「仕事をするためのリソースを手に入れてもらえますか?ジョブが完了したら、ジョブが失敗したときに教えてください。そうすれば、プログラムによってクラスタに対して何かを構築することができます。

プログラマブルなインターフェイスは、既存のクラスタマネージャと、Hindmanとその同僚が構築しようとしていた主な違いでした。

エンタープライズソフトウェア、?TechnologyOneは、農業、共同作業、現在のデジタルワークプレイスの構成原理とは何か、企業ソフトウェア、Sweet SUSE! HPEは、Linuxディストリビューション、Enterpriseソフトウェア、Appleが9月13日にiOS 10をリリース、macOS Sierraを9月20日にリリース

「Hadoopのようなものを取ることができ、Mesosに対してそれをプログラムすることができ、次に他の分散システムや他のアプリケーションを直接Mesosに組み込むことができるということです。つまり、[サービススケジューラ] Marathon、Chronos [distributed cron] 、スパークと他の人々も集まっている “と彼は言った。

Apache MesosとMesosphereの関係は、Hindman氏によると、AppleのOS XとOS Xの基礎をなすUnixライクなオープンソースのDarwinオペレーティングシステムのようなものです。

「分散オペレーティングシステムは、オープンソースのカーネルに加えて、エンタープライズ顧客のために次のレベルに向かわせたいものだと想像することができます。

MesosとYARNのリソース管理レイヤーは、Yahooのスポンサーを務める同じバークレー研究所で共通の起源を持つため、同様のアイデアを共有しています。

「HadoopがHadoop MapReduceからMapReduceを構成要素とするYARNへの少しの繰り返しを開始したとき、彼らはMesosから多くのアイデアを借りて実現しましたが、それらはまだ非常に異なっています」とHindman氏は述べています。

データアーキテクチャーに関しては、通常の企業が豊富なリソースを持つWebジャイアントをエミュレートできるようになることはまずありません。 Neo TechnologyのEmil Eifrem最高経営責任者(CEO)は、このような可能性は、あなたが思っている以上に近い可能性があると述べている。

データパイプラインやデータ分析などのTwitterサービスでは、階層ゼロではなく階層1として分類される傾向があります。

「もし彼らが失敗すれば、少なくとも人々はつぶやくことができます。バックグラウンドでこれらの分析を実行していないので、あなたのツイートが好きな人の数がわからないかもしれません。

「YARNとMesosは似ていますが、Mesosはより一般的な、「私たちは分析だけでなくWebサービスもすべて実行したい」としています。あなたのステートフルなサービスも、あなたのデータベース、あなたのキーバリューストア、最終的には分散したファイルシステムのように。

Hindmanは、Mesosと人気のPuppetとChefツールの主な違いは、彼らがより宣言的であるということです。

“あなたは、PuppetやChefのようなものを使って、このボックスで実行したいことは、このようなものだと言う傾向があります。中央サーバーに保存します。ボックスが表示されたら、集中サーバーに接続し、それが走っているはずのもの、それはそのものを走らせる」と彼は言った。

メゾスの抽象化はそうではありません。リソースは抽象化されたものであり、マシンではなくリソースが使用できるかもしれないアプリケーション固有のトップダウンです。

したがって、PuppetやChefなどのツールを使用したマルチテナントでは、HadoopとHadoop分散ファイルシステム(HDFS)とRedis [データ構造サーバー]を実行するマシンを指定する手動の設定が必要です。

「Mesosの上にはRedisアプリケーションが接続され、Hadoopアプリケーションは接続され、HDFSアプリケーションは接続され、割り当てられたリソースが得られ、まったく同じボックスから来ることができます。ヒンドマンは言った。

PerconaのCEOであるPeter Zaitsev氏によると、MySQLのデータベースでは、Oracleのスチュワードシップがうまくいっています。

しかし、利用は明らかに非常に重要ですが、Mesosを使用するより重要な理由は、障害を処理するために提供される容易さです。

「このノード特有のことを行い、そのマシンが実際に死ぬと、誰かがページングされ、次に別のマシンの設定を書き換えて、他のマシンがそのようなことをして起動するようにしなければならない」Hindman前記。

「あなたがMesosのようなものを作って、そのマシンが死んだら、MarathonフレームワークやHadoopのようなアプリケーションは、そのリソースがなくなったことを知ることができ、他の場所のアプリケーションを再スケジュールすることができます。オペレーションの観点。

Mesosは、マシンがダウンするとイベントを生成します。 HindmanがTwitterで働いていた時、マシンが失われるたびにアラートが設定され、一連のしきい値とともに設定されました。

「100台のマシンが紛失した場合、おそらく誰かをページングする必要があります.10台のマシンが失われた場合、すべてのスケジュールが変更されます。問題はありませんが、可視性は必要ですが、しきい値を設定する傾向があります。パペットとシェフの世界では、1台のマシンがダウンした場合、警告される可能性がはるかに高い」と語った。

「人形やシェフのようなものを複数のマシンで実行するときには、おそらく何らかの冗長性を設定するだろうが、メゾスの世界ではすべてが自動化され、負荷がかなり軽減される」

ちょうど1週間ほど前に、Mesosphereは自動化をさらに進化させる計画を発表しました。同社は来年初めに、おそらく第1四半期に、メゾスフィアのデータセンター・オペレーティング・システム(DCOS)と呼ぶものを使って、一般的なアベイラビリティーを目指す予定です。

「DCOSで行ったことは、データセンターとクラウドでソフトウェア、分散アプリケーションを実行する方法です。オペレーティングシステムが提供するプリミティブや抽象と同じ種類のテクノロジに基づいていますすべてのマシンとデータセンター内のすべてのリソースを除いて、単一のマシンで動作します」とHindman氏は述べています。

マシンをリソースに実際に抽象化しているので、Mesosは本当に興味深いものになっています。これらのリソースを実際に分類し、「これらのリソースは安全ではなく、遠く離れているため待ち時間が長く、SLAは非常に低くなっています。

「このタイプのリソースを導入することができ、アプリケーションはそれらを活用し始めることができます。これは、関心のある方向性を示すものであり、効果的にリソースの市場経済を作り出しています。

データセンター技術の詳細

?TechnologyOneは農業に6.2百万豪ドルを調印

今日のデジタルワークプレイスの構成原理は何ですか?

甘いSUSE! HPEがLinuxディストリビューションに突入

Appleは9月13日にiOS 10を、MacOS Sierraは9月20日にAppleをリリースする