A/Bテストとは何か、似た名前の手法とどう見分けるか
ITパスポート試験 令和4年度 問34 ／ 企業活動 › 業務分析・データ利活用
過去問にチャレンジ
あるオンラインサービスでは，新たに作成したデザインと従来のデザインのWebサイトを実験的に並行稼働し，どちらのWebサイトの利用者がより有料サービスの申込みに至りやすいかを比較，検証した。このとき用いた手法として，最も適切なものはどれか。
- ア
A/Bテスト
- イ
ABC分析
- ウ
クラスタ分析
- エ
リグレッションテスト
会話形式の解説
講師この問題で見てほしいのは2点です。2つの案を同時に稼働させていること、そして申込みという成果で比べていることです。この2つに合う手法を探しましょう。
受験者2つを比べるので、名前に「A」と「B」が入っているA/Bテストかと思いました。でも、ABC分析も名前が似ていて迷います。
講師その直感は合っています。A/Bテストは、異なる2つのパターン、たとえばページを用意して利用者に見せ、どちらの成果が高いかを確かめる手法です。成果を測る指標には、クリック率や申込率などを使います。
受験者新しいデザインと従来のデザインを並べて、申込みのしやすさを比べる今回の状況そのままですね。どちらを見せるかは、どうやって決めるのですか。
講師利用者ごとにランダムに振り分けます。では、名前の似ているABC分析は何をする手法だと思いますか。
受験者A・B・Cの3つを比べる手法でしょうか。
講師そこが引っかけです。ABC分析は、在庫や商品などの項目を重要度の高い順に並べ、A・B・Cの3グループに分ける手法です。重点的に管理すべき対象を見つけるために使います。比べるのではなく、分けるための手法です。
受験者なるほど、分類なのですね。そうすると、クラスタ分析もグループに分ける手法ですか。
講師そのとおりです。クラスタ分析は、データどうしの似ている度合いをもとに、対象をいくつかのグループに分ける分析手法です。たとえば顧客を購買の傾向で分ける場面で使います。2つのWebサイトの成果を直接比べる手法ではありません。
受験者リグレッションテストは、統計の回帰分析と関係がありそうに見えます。データから申込みのしやすさを分析する、という意味ではないのですか。
講師そう連想しやすいのですが、別のものです。リグレッションテストは、プログラムを変更したあとで、もともとあった機能に悪い影響が出ていないかを確かめるテストです。回帰テストや退行テストとも呼ばれます。品質を確かめるためのテストなので、利用者の反応を比べることが目的ではありません。
受験者整理すると、2案を見せて成果で比べるのがA/Bテスト、重要度で3つに分けるのがABC分析、似たもの同士をまとめるのがクラスタ分析、変更後に既存機能を確かめるのがリグレッションテスト、ということですね。
講師よく整理できています。補足すると、Webマーケティングでは申込みや購入といった成果をコンバージョンと呼びます。「A/B」と「ABC」の名前の近さに惑わされず、比べるのか分けるのかという目的で見分けるのがコツです。
まとめ
新旧2つのWebデザインを並行稼働させ、どちらが有料サービスの申込みにつながりやすいかを比べる手法はA/Bテストです。A/Bテストは2つのパターンを利用者にランダムに振り分けて見せ、申込率などの成果指標で比べます。ABC分析は重要度順にA・B・Cの3グループに分ける手法で、クラスタ分析は似ているもの同士をまとめる分類の手法です。リグレッションテストはプログラム変更後に既存機能へ悪影響がないかを確かめるテストで、統計の回帰分析とは別のものです。
解答・解説
正解はアです
この問題のテーマ
新旧2つのWebデザインを並行して公開し、どちらが有料サービスの申込みにつながりやすいかを比べる手法の名前を問う問題です。
解き方の考え方
問題文の要点は「2つの案を同時に稼働させる」ことと「申込みという成果で比べる」ことの2つです。2つの案を利用者に見せて成果指標を比べる手法なので、A/Bテストを選びます。ほかの選択肢は、データを分類する手法やシステム変更後の確認テストです。どれも2案の成果を比べる手法ではないため、外せます。
選択肢ごとの解説
- ○ア A/BテストA/Bテストは、異なる2つのパターン（ページなど）を用意して利用者に見せ、どちらの成果が高いかを確かめる手法です。成果を測る指標には、クリック率や申込率などを使います。新旧デザインを並行稼働させて申込みのしやすさを比べる本問の状況は、まさにA/Bテストにあたります。
- ×イ ABC分析ABC分析は、在庫や商品などの項目を重要度の高い順に並べ、A・B・Cの3グループに分ける手法です。重点的に管理すべき対象を見つけるために使います。2つのデザインの成果を比べる手法ではありません。
- ×ウ クラスタ分析クラスタ分析は、データどうしの似ている度合いをもとに、対象をいくつかのグループに分ける分析手法です。たとえば顧客を購買の傾向で分ける場面で使われます。2つのWebサイトの成果を直接比べる手法ではありません。
- ×エ リグレッションテストリグレッションテストは、プログラムを変更したあとで、もともとあった機能に悪い影響が出ていないかを確かめるテストです。回帰テストや退行テストとも呼ばれます。品質を確かめるためのテストなので、利用者の反応を比べる目的には使いません。
補足
「リグレッション」という語から統計の回帰分析を連想しがちですが、変数どうしの関係を調べる回帰分析とリグレッションテストは別のものです。また、「A/B」と「ABC」は名前が似ているので混同しやすい点に注意してください。Webマーケティングでは、申込みや購入といった成果をコンバージョンと呼びます。
POINT
- A/Bテストは、2つの案を利用者に見せて、申込率などの成果指標で比べる手法です。
- A/Bテストでは、どちらの案を見せるかを利用者ごとにランダムに振り分けます。
- ABC分析は、重要度の順にA・B・Cに分けて、重点的に管理する対象を決める手法です。
- クラスタ分析は、似ているもの同士をグループにまとめる分類の手法です。
- リグレッションテストは、変更によって既存の機能が壊れていないかを確かめるテストです。