ユーザーテストの見学会に参加して知った、テストの一連の流れ・コツをまとめました
先日、友人に誘われてこのイベントに行ってきました。
【5席増席】ユーザーテストLive! 2周年記念「UTライブの『舞台裏』ライブ見学会」 | Peatix
イベントの趣旨はこういったものになります。(イベントページから引用)
ユーザーテストLive! 見学会』は、仕事帰りに・手軽に・気軽にユーザーテストを体験できる機会を提供して、製品／サービス開発の現場にもっとテストを普及させることを目的にしています。そのため、専用の施設と特殊な機材を使った立派なテストではなく、普通のオフィス環境と身近にある機材を活用したDIY方式のテストをお見せしています。
では、どのようにして、普通の会議室をUXラボに仕立て上げ、身近な機材を使ってユーザーテストを実施しているのか？－－－2周年記念の今回は、普段の見学会の会場では目にすることがない、「控室」や「テスト室」で行われている『舞台裏』の活動を実際にお見せしようと思います。
要するに、実際に存在するアプリのユーザーテストを第三者視点で見学してみようという会です。場所はmixi社でした。
ユーザーテスト自体に凄く興味がある！というわけではないのですが、人にインタビューするとき(「こういうサービス考えてるんだけどどう思う？」みたいなやつ)のテンションやら質問内容がいつも定まらないので、何かしら參考になるかなーと思い参加してみました。
ユーザーテストの一連の流れを第三者視点で見学できる機会はなかなかないですし、気づきも多かったので、その内容をブログに残しておきます。 (有料イベントですが、主催者の方からOKはいただいています)
恐らくユーザーテストにも色々なやり方があると思うので、他のやり方も調べてみたほうが良いとは思いますが、実際にやったことがないと気付けないようなノウハウ(机にガムテでスマホ操作位置をマーキングしたほうが良い・画面ロックは解除したほうがいい等々)も結構あったので、これからユーザーテストをされる方の參考になればと思います。
※ ちなみに今回の話に出てくる"ユーザーテスト"はコンセプト検証のためのテストではなく、UI/UXの検証のためのテストです
最初の30分くらいはこのイベント立ち上げの経緯等や、これまでのイベント内容のご紹介をされていましたが、そのへんはメモってなかったので、実際にユーザーテストの流れについての部分のみ書きます。
それではどうぞ。
ユーザーテスト環境の準備
控室・テスト室(被験者にアプリを触ってもらう部屋)・観察室(被験者の様子を観察する部屋)の3つが必要なようですが、今回はデモ用に仕切りを設けず以下のようなレイアウトで行っていました。(超ざっくりですが)
ユーザーテストのためには主に以下の準備が必要です。
- 手元を写すWEBカメラ&スタンドを用意する
- 別室でやるので、観察室とテスト室でSkypeをつないだりしている。
- 部屋が近ければSkype等を使わず有線でOK
観察室側のPCは基本マイクとカメラをオフにしておく。 (観察者のリアクションが被験者に伝わると、自然な動きがだしづらくなる。同様の理由で被験者と観察者があまり会わないないようにする)
テストをしていると被験者が使っているスマホとカメラの位置関係がずれてしまうので、ガムテープをテーブルに貼り付けたりして、操作位置をマーキングする
- 被験者が他の被験者の様子・リアクションを見なくて済むよう導線を考える
- 控室にお茶とかお菓子とかも置いておくと良い
- (当たり前ですが) ユーザーテスト時のシチュエーションとタスクの準備
- 例えばECアプリの場合だと「夏で暑くなったのでハーフパンツがほしくなりました - このアプリでハーフパンツを探してください」というようなもの。
- 口頭で被験者に伝えてもテスト中に忘れてしまうので、紙に印刷しておく。
今回のテスト室はこんな感じになっていました。
(写真もっ撮っとけばよかった…)
Skypeを活用するのは面白いなーと思いました。部屋が離れていても見学ができるので便利ですね。
カメラを固定するスタンドは、
こういうアームクリップを使うと良いとのことです。
被験者のリクルーティング条件
今回は
シュフーチラシアプリでお買い物 お得で便利を App Store で
こちらのシュフーというアプリのテストを観察したのですが、デモなので被験者を参加者の中から募っていました。 その際の募集条件として挙げていたのがこちらです。 * iPhoneもしくはAndroidを今日もっている * 普段スーパーやドラッグストアで自分で食料品等を購入している人 * 新聞の折込チラシを利用している・利用していた * シュフーというアプリ(今回のテスト対象のアプリ)を使ったことがない
ちなみに、ユーザーテストにおいてある程度重要な項目を判定するには被験者が5人は必要だそうです。 (主催者の経験則ではそれより多いと項目が被ってくるとのこと)
ここから実際のユーザーテストの流れに入っていきます。
控室にて
リクルーティングした被験者に会場に来てもらったら、まず控室に入ってもらい以下のことをします。
- 簡単なアイスブレイクを行う — 被験者は慣れていないのでいきなり思考を口に出すことがが難しい。なので口ならしが必要。
- (必要があれば)NDA署名してもらう
アプリのインストールをしてもらう — 端末の設定のところで、自動ロックがかかってしまうことが多いので、ユーザーテスト中にロックがかかると面倒なので、自動ロックの解除をしてもらっている。 — 被験者端末が通信制限かかってることがあるからW-iFiをつなげるようにしておいたほうが良い。
ユーザーテストの説明 — ユーザーテスト被験者の経験はありますか？ — 何のためにするかしってますか？ — 一般ユーザーに使ってもらって改善をするために行う(= 変な用途に使うものではない)ということを理解してもらう
テスト中は5~10秒以上沈黙が続かないように、考えていることを声に出すようにして欲しいと伝える
- イメージがわきづいらい人もいるので、お手本の動画(他のアプリver.)があると良い — シチュエーション・タスクの読み上げ(ECアプリの場合「夏で暑くなったのでハーフパンツがほしくなりました - アプリ上でハーフパンツ探してください」)の正しい例や、思ったことを口に出しながらタスクを実行する様子を見せてあげる
よくあるNGも見せてあげると良い
他のアプリでその場でちょっと発話デモとかもしてもらう。 (「いつも使っているブラウザで明日の天気をしらべてください」みたいな感じで) → 発話が足りなかったり違ってたりしたら本番テストに入る前に指摘する。
LINEとかSlackの通知がテスト中に表示されると気になるので、通知をオフにしてもらう。
- テストの流れでカメラロールを開く必要がある場合は事前に伝えて、プライベートな写真がみえないようにする(被験者が気にしてしまう)
- 始める前に、不明点がないか聞く。不明点があれば解消する。
以上が完了したら、テストルームに入ってもらいます。 (テストルームのセッティングはここまでに完了させておく) ケースにもよりますが、控室での談話はだいたい10-15分とのとです。
テストルームにて
テストルームに入ったら、被験者に椅子に座ってもらいます。 ※ タスク(テスト時にやってもらう内容)は口頭での説明だけだと忘れてしまうので、紙に印刷して被験者の手元においておきます
被験者に質問
タスク実施に入る前にデモではこんな質問を最初にしていました。
- どんな時買い物しますか?
- どれくらいの頻度でいきますか?
- 普段からつかっていると。
- 新聞の折込とかご覧になりますか
- どれくらいの頻度で
- どういったチラシを読みますか
- だいたい毎回みるチラシは同じですか？
- チラシを見たあとはどういう風にしていますか？
この辺の質問も事前に用意しておいたほうがよさそうです。
被験者にタスクを実施してもらう
ここからタスク実施に入っていきます。 被験者にシチュエーションとタスクを書いた紙を渡し、声にだして読んでもらいます。 不明点ないか確認し、実際にタスクを開始します。 (ここで被験者がスマホ上で行っている動作を、カメラ越しに別室で観察するイメージです) タスクの回数分だけ、 タスク読み上げ→タスク実行 を繰り返し、テストを終了します。
事後インタビュー
これも内容についてはケースによると思いますが、今回はテスト後にこのようなことを被験者に質問していました。
- 率直なアプリの感想を教えてください
- 今日アプリを利用して、このアプリに対しての評価はApp Store or Google Play Storeの5段階評価だといくつですか？
- このテストが終わってからアプリをどうしようと思ういますか？(プッシュ通知設定を切る・アプリ削除するかetc.)
- その理由は？
- 例えば新聞がこなくなって、チラシがこなくなったらこれを使いますか？
- 本日のテストとインタビューは以上です。ありがとうございました。
という形でユーザーテストは終了。 その後被験者に謝礼を渡しますが、相場は1時間で交通費込で4000円とかが多いようです。
Q&A
ユーザーテストの後に、主催者と参加者間のQ＆Aがあったので、そちらのメモも書いておきます。
タスクの設定の仕方はどうしてるか？ →内部でパイロットテストをして精査する。
アプリを使うのを放棄する(離脱)という選択肢を許すかどうか？ → タスクの完遂を目標におく。普段だったらやめるというタイミングで言ってもらうようにするのもあり。
ユーザーが迷ってどうしようもなくなったらどうするか？ → 制限時間をもうけて、終わらなかったらヒントをあげて次に進んでもらう
ラポール(相互信頼)形成・アイスブレイクのこつは？ → 被験者は意外と頑張ってくれるから(謝礼もあるし)、あまり気にしなくても大抵問題ない。 ビジネスの関係であることはお互い分かっているので、仲良くならなくても大丈夫。(大人の場合はまず大丈夫だが、子供の場合は大変)
テスト時のスマホの持ち方は考える必要があるか？ → 電車内で使うもの(つり革を掴んでいて片手しか使えない)等、特定の利用シチュエーションを想定していた片手制約を設けたりするが、だいたいは机に固定でOK
被験者が緊張しそうな気がするが、どうなのか？ → 意外とみんなフランク。観察されていることを忘れて素直にアプリをdisる人もいる。
プロトタイピング段階のテストでもいいか → プロトタイピングとしての評価はできるので、コンセプトの検証としては良い。ただ、非アクティブな導線(押せないボタンがあったり等)が多くなるので、モデレータが逐一説明する必要がでてきてしまう。 — ただ、サンプル数を増やしたほうがいい。5人だと少ない。 — 一般的に質的な調査は10~15人。そのくらいになると飽和してくる。(統計学的な話ではなく、経験則) — 10-15人にきいて、1人くらいしか良いといってなければ多分それはうまくいかないプロダクト — 謝礼を払うのはある意味リスク、ネガティブな意見が出づらい。 本当にコンセプトを検証したければ、対象となる人をみつけて、お金を払わず検証。(ただ、人が集まらずそうはいってられないことも多いのでその場合は仕方ない) — コンセプト検証ではなく、ユーザーテストに関しては謝礼を払って全然構わない。お金を払ったからといって上手く操作できるわけではない。 — ユーザーテストで評価するのは離脱とかではなく、インタラクション（ユーザーとコンピュータの対話）なので、そこを見誤らないように。統計的な信頼性はないが、質的なものとして大事。離脱についてはは計測でわかる。
最後に
全部がっつりメモをとったわけではないので抜け漏れもあるかもしれませんが、内容としては大体こんな感じでした。 ユーザーテストの流れやインタビュー方法は本やWEBにも載っているとは思いますが、「じゃあどんなテンションで話しかければいいの？」という点は結構気になっていたので、今回第三者の視点で生のユーザーテストを観ることができて良かったです。 また、第三者の視点で見ていると、質問が誘導的だなーと感じてしまうところも所々あったので、その辺も気をつける必要がありそうです。
イベントの最後に主催者の方が告知をしていたのですが、、見学会でアプリのテストをしてほしい企業(無料。4週間くらいで実施までもっていけるそうです)・また会場提供スポンサーは随時募集しているとのことなので、興味がある方はこちらから主催者の方にご連絡してみてはいかがでしょうか。
【5席増席】ユーザーテストLive! 2周年記念「UTライブの『舞台裏』ライブ見学会」 | Peatix
また、今回の内容に興味をお持ちでしたら、主催者の方が執筆された本を読むと理解が進むと思いますので、ご紹介しておきます。
単行本版
それでは。
