用語解説

Amplitude Experimentとは、AmplitudeのA/Bテスト・フィーチャーフラグ管理プラットフォームで、Amplitudeのユーザー行動データと直接統合されたステータス管理と実験分析を提供します。

フィーチャーフラグでユーザーセグメントに段階的に機能をロールアウトしながら、Amplitudeのイベントデータと自動リンクされることで、A/Bテストのコンバージョン・リテンション・収益への影響をリアルタイムに計測できます。統計的有意性の自動判定・外れ値の除外・Sequential Testing対応など科学的な実験設計をサポートします。

どんな場面で活用するか

• 新しいオンボーディングフローがアクティベーション率に与える影響をA/Bテストで検証したいPMチーム
• 新機能を一部ユーザーにだけ公開してフィードバックを収集し安全に本番展開したい開発組織
• 価格変更・プランページのUIテストをAmplitudeの既存分析データと統合して評価したい場合

よくある誤解

「A/Bテストは早く終わらせて勝者を決めればよい」は誤りです。正しくは、統計的有意性に達するまで十分なサンプルサイズを確保せずに実験を打ち切ると、ランダムなノイズを実際の効果と誤認する「ピーキング問題」が発生するため、Amplitude Experimentの統計的有意性ガイドラインに従った期間設計が必要です。

判断のヒント

実験設計の基本：テスト開始前に「一次メトリクス」（直接改善を目指す指標）と「ガードレールメトリクス」（悪化させてはいけない指標）を定義しておくことで、勝者判定の基準を明確にして意思決定の品質を高められます。