Datadogは6月25日、「Data Jobs Monitoring」の一般提供を発表した。これにより、データプラットフォームチームやデータエンジニアは、データパイプラインのあらゆる場所で問題のあるOSS(オープンソースソフトウェア)の分散処理フレームワーク「Apache Spark」やDatabricksのジョブを検出し、失敗したジョブや長時間稼働しているジョブを迅速に修正することで、過剰にプロビジョニングされたコンピューティングリソースを最適化して、コストが削減できるという。
Datadog、問題のあるSparkなどのジョブを検出・修正する「Data Jobs Monitoring」
