こんにちは。atama plusというAI×EdTechのスタートアップでUXリサーチャー/UXデザイナーをしている野澤です。
最近UXリサーチに関して定性調査と定量分析を組み合わせるお話が増えているかと思います。
定性調査と定量調査にはそれぞれ得手・不得手があり、この２つを組み合わせることで片方だけで分かること以上のことを知ることができます。
atama plusでも普段から定性と定量のリサーチを組み合わせてプロダクト開発をしています。定性と定量には様々な組み合わせ方がありますが、この記事では、私たちが定性調査につきまとうバイアスに囚われた失敗談と、そこに定量分析を組み合わせて仮説のボリュームを確認したことでバイアスに気づけた話を事例を交えてご紹介します。
事例の背景
私が関わっていた事例の話です。atama plusでは全メンバーが生徒の成績向上のために日々探求を重ねた結果、成績向上には大きく３つの要素が大切であるということがわかってきました。それが「適切な目標設定×学習時間の確保×講師からの学習支援」です。
私たちのチームは「講師からの学習支援」のテーマに取り組むことになりました。
解像度が低いとき、まずは現場に飛び込む
案件がスタートしたとき、講師の学習支援について現場からは「解けなかった問題の解説を生徒がきちんと読めるようになることが大事なのではないか」「ノートがとれるように指導することが大事なのではないか」など様々な情報は上がってきていました。ですが、どの課題に取り組むべきかの解像度は正直とても低い状態でした。
こういう解像度で定量のデータ分析をすると確度の低い切り口がありすぎて、分析が沼にハマります。そこでこの案件では、塾でプロダクトを使っている現場を訪問するところから始めました。３教室にお邪魔させていただき、１教室につき３時間ほど授業を見学させていただくということを行いました。
さらに生の行動ログからデータエスノグラフィをする
さらに講師用のアプリでは生徒の学習履歴をデータでみることができます。そこで訪問した現場の生徒の学習履歴データを大きなディスプレイに投影しながら深堀りして、仮説を作っていきました。（私はこういう調査の仕方を「データエスノグラフィ」と呼んでいます）
現場観察とデータエスノグラフィにより、私達は生徒の講師の学習支援が必要な課題について３つの仮説を立てることができました。
このような生徒は現場ではよく出会うので、私たちは全体で見てもきっとたくさんいるのだろうと考え、データベースを使った定量調査でそういう生徒がどのくらいいるのかを調べることにしました。
定性調査で「たくさんいそう！」に感じた生徒が定量調査でほとんどいなかった事実とその考察
私たちは３つの仮説それぞれについて、データサイエンティストと協働して該当する生徒がどのくらい存在するのかのボリュームを調査しました。
具体的には、「適当に問題を解いている生徒を定量的に表現するとどういう生徒か？」などを一緒に定義したり、データのアウトプットイメージを揉んだりしました。
この協働の結果分かったのは、仮説１と仮説２の生徒はあまり存在しないということでした。
とても不思議なことに、定性調査では仮説１と仮説２の生徒がよく目につきました。なので私たちはデータ抽出の条件を再度検討するために自分たちでも問題を解いてみたり、何度か条件を変えて定量的に調べました。しかし、やはり「そういう生徒はほとんどいない」という結論は変わりませんでした。
結果として、仮説３の生徒は取り組むに値する数の生徒がいることが分かったため、私たちは仮説３に取り組むことになったのですが、この事例からの学びは定性調査には、バイアスがつきものだということです。
UXリサーチについて学ぶとバイアスに向き合うことの大切さについてよく触れられると思います。
これは仮説ですが、宿題を適当に解いてしまっている生徒は、定性調査で強く印象に残ります。そしてそういう生徒に複数出会うと「あ〜、まただ」のようにこの結果が強く印象に残り、実際の人数よりもたくさんいるように思ってしまったのではないかと思うのです。
定性調査の専門書でも人が調査する以上、どれだけ気をつけてもバイアスから完全に自由になることは難しいと書かれています。
定性調査に定量調査を組み合わせることで自分たちが持っているバイアスに気づくことができるので、atama plusでは手法の組み合わせはごくナチュラルに行われています。
定性調査は人が中心になって行う調査です。だからこそ定量分析でわからないことを調査することもできますが、それ故に生まれるバイアスへの対策として今回紹介した手法が参考になれば幸いです。
このUXリサーチの取り組みで、私たちは「仮説③：同じ単元につまずいている生徒が多いのではないか？」が優先度高く取り組むべき課題であると把握することができました。
この結果をプロダクトの機能開発につなげた話もnoteにまとめていく予定です。atama plusのnoteのマガジンで公開予定です。よろしければマガジンのフォローをお願いします！
今回紹介したように定性調査と定量調査を組み合わせる手法は、Mixed Methosという名前で型化されており、海外では、UXリサーチャーにこのスキルを求め始めています。個人の活動ですが、Mixed Methodsについての書籍のサマリをnoteにまとめています。興味のある方はご覧いただければ幸いです。
