プロダクトリアクションカードで定性的な評価をしよう

プロダクトリアクションカードで定性的な評価をしよう

ユーザビリティテストの評価方法の1つに、複数のキーワードを被験者に見せてインタビューを行うものがある。

プロダクトリアクションカード

実際に現場で試したこともあり、なかなか良いソリューションだと思ったので、あれこれ書いてみようと思う。

なにそれ

いろんな種類のキーワードが並んだ紙をみせ、その中から該当するものを選んでもらう、というすごくシンプルなもの。製品を一通り触ってもらったあとの被験者にこれを見せることで、直感的なフィードバックを得ることができる。キーワードにはポジティブなものとネガティブなもの以外にも性質や動きを示すものも書かれていて、単純に良し悪しを決めるというよりかは、もうちょっと踏み込んだ意識を引き出すことができる。もちろんそのためにはインタビューが必要で、なんで?を可能な限り掘り下げていくことで、被験者自身も意識していない部分までみえるようになる。

受け取り方をみる

インタラクションでもっとも大事なのは、対象の見た目や振る舞いそれ自体ではなく、その対象への感じ方のはず。例えばバリデーションがしっかりしているアプリがあったとして、ユーザーの間違った行為に対して逐一エラーを発してくれるとする。それ自体はもちろん必要なことだけど、程度や発し方はかなり気にしないといけない。対象が同じでも「厳格な」とか「信頼できる」とポジティブに感じる人もいれば、「威嚇的」や「押し付けがましい」などネガティブに感じる人もいるから。ここで間違ってはいけないのは、どっちの意見が多いか、は全然重要じゃないということ(数百人規模とかの調査ではないかぎり)。大事なのは、なんでそう感じたのかを1つ1つ掘り下げること。その感じ方が論理的で一貫性があるものなら、たとえそのユーザーが少数派だったとしても、本質的な問題である可能性が高い。

ありきたりな VS なじみのある

社内での検証時に、ほとんどの被験者が「ありきたりな」を選んだことがあった。近くに「なじみのある」があるにも関わらず。ほとんど似た意味だが、前者はネガティブなニュアンスが強い。当然、しつこいくらい掘り下げて聞いてみた。結果的に分かったことは、レガシーであること。見た目や振る舞いになじみがあるし、次のなにが起こるかも直感的に理解できる。やりたいことに対しても問題なくゴールにたどりつける。でも、最近使ったアプリではこういう表現あまりみないのよねー、だった。2つのキーワードの分岐点は、最近でもみるかみないかそれだけ。しかもその乖離具合がある意味絶妙で、近くにあった「時代遅れ」は全く選ばれていないからなおさら面白い。作り手の思惑や想定のズレを、インタビューの中で発見することができた良い例だと思う。

3つのポイント

運用するにあたって工夫しないといけないポイントがいくつかある。

まずキーワード自体の選定。最大118個が用意されているが、さすがにこれは多い。母数が多いほど結果がぶれやすくなるので、テストの目的ごとに限定するべき。そのテストで測りたいモノ・コト次第でキーワードは変わっていい。

次に見せ方。A4用紙1枚にキーワードをすべて並べる場合は配置をランダムを変える必要がある。視界に入る順番や場所によって見つけづらいなどの要因はできるだけ排除しておいたほうがいい。全部を一気にみせず、キーワードを順番に1つずつ見せる場合も同様。ただこの場合は、(キーワードごとに)都度インタビューを行わないとあとから振り返るのが難しくなる。

最後にモデレータ(インタビュアー)のマインド。しつこいくらいなぜなぜしないといけない。被験者の頭の中の流れを短文に分解できる状態にする。ネガティブなキーワードを選んだ場合はある意味すごいチャンスで、原因になった場所を特定したらその場所に関連するタスクを再度やってもらい、どのステップでそう感じたかを明確にしていく。といっても、被験者の心理を誘導するような核心をつくような言葉はNGで、あくまできっかけを与えてそこからの返りを見る感じ。これが結構難しい。(言葉でこれを表現するのはもっと難しい。。。)

プロダクトリアクションカードは、定性的な評価(開発プロセスの初期段階では特に有意義)を行うにはもってこいなソリューションだと思うので、ぜひぜひ使ってみてほしいと思う。