自動診断システムでビデオ品質を改善する方法

自動診断システムでビデオ品質を改善する方法

【目次】

1. イントロダクション
2. プロジェクトの概要
3. インターネットビデオストリーミングの課題
4. 問題の特定と原因の追跡
5. オートテックノロジーズアラートの機能
6. 異常検出のアルゴリズム
7. ルートコーズの診断
8. スパークフレームワークを使用した分散アルゴリズム
9. プロダクション環境での効果とフィードバック
10. 今後の展望

【イントロダクション】 こんにちは、私たちはケーナイバのエンジニアリングチームから参りました。私はYenと申します。そして、今日は私たちのプロジェクト、オートテックノロジーズアラートについてお話しいたします。このプロジェクトは、インターネットビデオストリーミングパイプライン上の異常をキャッチし、自動的に原因を診断して即座の対策を講じるシステムです。

【プロジェクトの概要】 オートテックノロジーズアラートは、インターネットビデオストリーミングにおける品質問題を取り扱うためのベータプラットフォームです。ビデオエコロジーのモニタリングやKPIの定義・計算、ビデオ品質の最適化などを行い、視聴者エンゲージメントの最大化を目指しています。近年、オンラインビデオストリーミングの需要が急増しており、課題解決のためのシステムがますます重要となっています。

【インターネットビデオストリーミングの課題】 インターネットビデオストリーミングには、エンティティが多く存在し、異常が随時発生する可能性があります。各エンティティの故障はビデオエコロジーに悪影響を及ぼし、ストリーミング品質の低下を引き起こすことがあります。一つのエンティティの問題が他のエンティティに連鎖的な影響を及ぼすこともあります。さらに、ビデオパブリッシャーは問題の原因特定や修正方法に悩むことがあります。

【問題の特定と原因の追跡】 オートテックノロジーズアラートでは、異常を検出し、その原因を特定する仕組みを提供しています。ビデオセッションをグループに分類し、各グループごとに品質メトリクスを計算し、異常を検出します。また、構築されたグラフに基づいて、親子関係を辿ることで異常のルートコーズを特定します。

【オートテックノロジーズアラートの機能】 オートテックノロジーズアラートは、異常検出アルゴリズムやルートコーズ診断アルゴリズムを活用し、ビデオパイプライン上の品質問題を自動的に診断します。異常検出アルゴリズムでは、過去のデータをもとに異常のベースラインを推定し、トレランス閾値を計算します。異常として検出された場合、ルートコーズ診断アルゴリズムにより、問題の原因を特定します。

【異常検出のアルゴリズム】 異常検出アルゴリズムは、品質メトリクスの時系列データを分析し、異常を検出します。これにより、ビデオエコロジーの品質低下を早期に把握し、対策を講じることが可能です。異常の検出は、ベースラインとトレランス閾値を比較することで行われます。異常部分の面積を算出し、エラーコードや指標の時系列などの情報から原因を特定します。

【ルートコーズの診断】 ルートコーズの診断では、異常のルートコーズを特定するためにグラフ構造を利用します。親子関係を示すリンクを辿りながら、異常のルートコーズを特定します。例えば、iPhoneがルートコーズである場合、それに影響を受けるサブグループを特定します。ルートコーズの特定により、問題解決の効率化が図られます。

【スパークフレームワークを使用した分散アルゴリズム】 オートテックノロジーズアラートでは、スパークフレームワークを使用して分散アルゴリズムを実現しています。ビデオセッションのデータをスパーククラスタにロードし、異常検出や診断アルゴリズムを実行します。分散処理により、大量のデータを効率的に処理することができます。

【プロダクション環境での効果とフィードバック】 オートテックノロジーズアラートは、現在プロダクション環境で運用され、多くのお客様から好評を得ています。25以上のビデオパブリッシャーに対応し、多数のセッションやメトリクスをリアルタイムに処理することができます。お客様のフィードバックをもとに、システムの精度向上や処理性能の改善に取り組んでいます。

【今後の展望】 今後は、異常検出の精度評価やシステムのチューニングに取り組んでいきます。お客様の要件に合わせた検出アルゴリズムや診断アルゴリズムの開発を進め、より高度な品質管理とトラブルシューティングの実現を目指します。

【ハイライト】

• オートテックノロジーズアラートは、インターネットビデオストリーミングの品質問題を自動的に診断するシステムです。
• 異常検出アルゴリズムとルートコーズ診断アルゴリズムを利用して、問題の特定と原因追跡を行います。
• ビデオセッションのデータをスパークフレームワークを使用して分散処理し、リアルタイムに異常を検出します。
• 精度向上と処理性能の改善に取り組みながら、お客様の要件に合わせたカスタマイズを行います。

【FAQ】 Q: オートテックノロジーズアラートはどのようなメトリクスを計算しますか？ A: オートテックノロジーズアラートは、遅延時間やバッファリングの発生頻度などのメトリクスを計算します。

Q: システムの精度はどの程度ですか？ A: システムの精度は、お客様の要件に応じて調整可能です。お客様のフィードバックをもとに、より正確な診断結果を提供できるよう改善を進めています。

Q: オートテックノロジーズアラートはエンドツーエンドの品質管理をサポートしていますか？ A: はい、オートテックノロジーズアラートはエンドツーエンドの品質管理をサポートしています。ビデオストリーミングパイプライン全体の品質問題を特定し、対策を講じることができます。

【リソース】

• スパークフレームワーク公式サイト: https://spark.apache.org/