Hortonworksはスタックを改良し、さらにApache Sparkを採用

昨日の公開Webセミナーで、Hadoopの流通業者Hortonworksは数多くの発表を行いました。ローレンス・ディグナン氏は、ウェブセミナーが始まった直後に、ニュースを提供するためのニュース項目を準備しました。その間、私はウェブセミナーに参加し、ホートンワークスとの会合後1時間ほどでブリーフィングを行い、発表された内容とその意味を詳細に理解しました。

今回発表する発表は、3つの分野に分かれています

Apache Spark(Hewlett Packard Enterpriseとのパートナーシップを含む); Hewlett Packard Enterprise(HPE)Labsの技術者は、Apache Sparkの「Shuffle Engine」をC ++で書き直して最適化しました。彼らは、これらの最適化が特定のワークロードで最大15倍のパフォーマンス改善をもたらしたと主張しています。 HPEは、このコードのソースをオープンしたいと考えています(標準のSparkコードベースの一部としてそれをチェックすることを表面上認識しています)。そして、Hortonworksと協力して動作します。さらに、HortonworksはHortonworks Data Platform(HDP)HadoopディストリビューションにSpark 1.6を含め、Hadoopの最初のベンダーであると主張しています。

Hortonworks DataFlow; Hortonworks DataFlow(HDF)は、Apache NiFiをベースとするHortonworksの動作データ(ストリーミングデータ)パッケージにApache StormとApache Kafkaが含まれています。以前は、HDTVからこれらの2つのコンポーネントを入手する必要があったため、StormやKafkaでNiFiを使用する場合、Hortonworksのサポートを得るためにHDPとHDFの両方の購読が必要でした。現在、HDFを他のベンダーのHadoopディストリビューションと併用することは可能ですが、HortonworksのHDF側でサポートを受けています。

また、Hortonworks社がImpetus Technologiesとの提携を発表し、同社のStreamAnalytix製品(これについては最近書きました)をHDFとスムーズに統合できるようにしました。

Hortonworksは、Hortonworks Data Platformの新しいパッケージングおよびリリーススケジュール/ケイデンスを提供しています.Hortonworksは、HDPとHadoopコアを連携させ、Open Data Platformイニシアチブ(ODPi)によって定義された拡張された記述を提供しています。同社は、コアコンポーネントのリリースケイデンスを毎年1回削減する予定です。コアコンポーネントには、YARN、HDFS、MapReduce、Zookeeperなどがあります。 Hive、Pig、Sparkなどの他のコンポーネントは、より頻繁にリリースされます。

拡張された面でHortonworksはSmartSenseと共にApache Ambariの新しいリリースを推進しています。これはHadoopをより管理し、操作上の問題解決をより自動化するのに役立ちます。 Hortonworksは、AmbariがHadoopの管理を簡素化する方法を記述するために、用語「単一のペイント・ガラス」を使用しました。以前にHortonworksのエンタープライズの野心を疑っていたのであれば、そのEnterprise-y用語を使用すると混乱がなくなります。

それはすべて意味します;発表された詳細については、それらの共通点を見つけて、Hortonworksが株価の下落を促し、市場アプローチを改革/再起動する必要性と関連付ける必要があります。

これらの中で最も重要な共通点は、エンタープライズの対応です。少ない頻度でリリースすることは、企業のIT部門の管理が容易で、コストもかかりません。 Hadoopはまだ実験室のツールであったが、「最新かつ最高の」ビットを維持することは、顧客が望むものだった。しかし、Hadoopクラスタが組織全体に立ち上がったり、集中化され、多数の企業の支持者によって運用に依存したりすると、安定性が重要になり、アップグレードのボラティリティは高価で危険になります。したがって、コアプラットフォームの年間リリースに移行することは非常に意味があります。他の大きなHadoopベンダー、ClouderaとMapRがODPiと何の関係もなくても、ODPiのカバーの下でそれを行うことは、業界標準のように感じます。

Apache Sparkに関して、Hortonworksは現在、業界標準であると認識しています。その一方で、メモリ指向の技術として、MapReduceやTezと同じデータ量に拡張することはできません。それは、Hortonworksに2つの要件を残します:Sparkを心から抱きしめて、スケールを良くするために努力します。それはHPEのパートナーシップの背後にある話であり、エンタープライズのソフトウェアとサーバー会社と連携することで傷つくことはありません。

DataFlowの最後には、ストリーミングデータが暑く、カフカもそうです。 NiFiはクールな技術でもありますが、カフカのないストリーミングデータパッケージを出荷すると、顧客に異常が出てきて、NiFiとKafkaを一緒にHDPで購読する必要があり、顧客を間違った方法で擦ってしまいます。 HDFにKafka(とStorm)を置くことで、この反対はなくなり、HortonworksがApache Hadoop(CDH)を含むClouderaのディストリビューションで標準化されているアカウントにHDFを売却するという追加の余地があります。

Carpe diem;これらのアナウンスをまとめておけば、管理可能なリリース・ケイデンス、優れた企業データ・センター管理性の話、拡張された単純化されたデータ・アクセスのストリーミング、Apache Sparkの強化により、エンタープライズビッグデータワークロード用。

現在、HDPとHDFの組み合わせは真のエンタープライズIT販売となり、HDF自体は競争の激しいアカウントになります。 Hortonworksの株価はIPO水準の半分以下ですが、これは奇跡を起こすことはありませんが、それは正しい方向への慎重な考え方です。業界。

LinkedInが新しいブログプラットフォームを発表

これはBig OLAPの時代ですか?

Star Trek:50年にわたる積極的な未来主義と大胆な社会的解説、MicrosoftのSurfaceオールインワンPCが10月のハードウェアの発売を見出し、iPhone 7、新しいApple Watch、AirPodを手がけ、GoogleはApigeeを6億2,500万ドルで買収

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO

DataRobotは、データサイエンスの果実の低さを自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任