利用者テストで5人を見た後、次は誰に何を試してもらうか
5人ずつ試して改修を繰り返す提案がある一方、5人の組では発見できる問題が大きく違った研究もある。これは矛盾なのでしょうか。会議室の予約画面を仮に考え、既知の障害を直す、原因を調べる、まだ見ていない操作へ広げるという次の選択を、二つの資料の違いから見ていきます。
ここでは、画面を実際に操作してもらい、使いにくさの原因を見つけるテストを考える。利用者全体の失敗率を推定する調査や、二つの製品の優劣を確定する試験とは分ける。既に見つかった障害を直して先を観察するのか、同じ版で原因を調べるのか、それとも未試験の利用者や経路へ広げるのか。この三つの使い分けが、5人の後に残る仕事である。
この記事の目次
五人で改修を繰り返す提案と、発見のばらつきを比べる
Nielsenが2000年に示したのは、限られた予算を一度の大きなテストに使うより、小さなテストと改修を繰り返す提案だった。15人を募れるなら、5人ずつの3回に分け、間に設計の修正を入れる。修正版が本当に問題を解いたか、新しい迷いを生んでいないかも試すという考えである。Nielsen本人の解説
これは「5人を観察した版は合格」という基準ではない。同じ版で人数を増やすと既知の問題を再び見る割合が高まりやすい。一方、問題を直せば、それまで進めなかった画面や判断を観察できる。Nielsenの提案は、その違いを調査の配分へ反映している。ただし、どんな業務でも5人ずつの反復が最も安い、という保証にはならない。
固定した版と、改修した版では問いが違う
Faulknerの2003年の研究は、Web勤怠入力アプリを60人に試してもらった。課題は指定データによる週次入力の一つで、場所とPCは共通だった。PCとアプリの経験が異なる3群から各20人を集め、60人で判明した45問題を基準に、保存済みデータから人数別に100組ずつ抽出した。5人組で見つかった割合の最小値は55％だった。掲載論文の方法と表2
この55％は、そのアプリに存在する全問題の発見率ではない。60人で既知となった問題を分母とする値で、追加テストを100回実施した結果でもない。論文は2003年公表だが、実施年月と参加者の国は本文に明記されていない。日本の現在の予約システムで同じ割合になるとも言えない。
この研究は、少人数で役立つ発見ができることを否定していない。見つかった問題は改修に使えるが、見つからなかった問題まで少ないと認定する根拠には弱い。固定した版での発見のばらつきを調べるFaulknerと、改修を挟む配分を勧めるNielsenは、比べている条件が異なる。前者だけで後者の反復案を否定するのも逆方向の飛躍になる。
予約の入口を直すか、原因をもう少し調べるか
予約画面の仮想例を続ける。参加者が部屋を選んでも、確定操作を見つけられずに止まったとする。必要な権限とデータは正しく、観察から表示の問題を具体的に説明できた。予約後の変更や取消しには、自力で到達していない。
この状態で同じ使い方の参加者を増やすと、入口の障害を確認する材料は増える。しかし、後続の変更や取消しを使える証拠は増えにくい。編集上の提案としては、まず入口を改修し、修正版を試す枠を確保する。直したつもりの箇所を再確認し、その先まで進む操作を観察する。後工程が見えていないことを、問題がないことに置き換えない。
原因がまだ特定できていない場合は順番が変わる。表示を変えるべきか、利用者が持つ権限や予約ルールを変えるべきか分からないなら、先に原因を分ける観察をする。同じ版で対象を追加する意味があるのは、追加の人や条件によって原因の説明を変えられるときだ。同じつまずきの映像を増やすだけでは、設計案を選べない。
見えていない経路には、同じ属性の増員で届かない
別の条件を置く。常勤社員はPCで通常予約を完了でき、改修すべき明確な障害もまだ見つかっていない。ところが、対象にはスマートフォンで使う外勤者や、予約を変更する代理担当者がいる。その操作は一度も試していない。
この場合、常勤社員のPC予約をさらに観察するより、未試験の役割・端末・操作へ予算を移す理由がある。属性の一覧を埋めるためではなく、仕事の経路が異なるためだ。「5人中、外勤者が何人いたか」だけでなく、その人が現場で使う条件と必要な仕事を実際に通したかを確かめる。同じ人でも通常予約と代理変更では、発見できる問題が違う。
W3Cは、障害のある人による評価とWCAGへの適合評価を組み合わせるよう勧める。少数の参加者の結果を、同じ障害のある全員や別の障害のある人へ一般化しないよう注意している。W3Cの利用者評価の指針
キーボード操作だけで予約する人を含めても、その人の経験だけで全経路のアクセシビリティを認定できない。人を追加する観察と、仕様・コードを含む適合確認は、補う対象が違う。テストの人数へ一本化せず、残る未確認事項に対応する確認方法を選ぶ。
問題を探す観察と、成功率を測る調査を分ける
もう一つの分岐は、発注側が「大半の社員が自力で使えるのか」と問うときだ。問題を探すために募集した少人数の観察だけでは、その割合を精度付きで示せない。利用頻度、経験、支援の有無が異なる集団を、都合よく集めた人で代表させないことが必要になる。
ここで5人を10人にするだけでは、答えを切り替えたことにならない。対象集団、課題、何を成功と数えるか、募集方法、許容する推定の幅を先に定める。観察しながら助言を受けて完了した人まで、自力で成功した人数へ含めれば、人数を増やしても意味が変わる。自力完了率を測るときも、助言を要した試行を対象人数から都合よく除かない。具体的な必要人数は、その測定計画に基づいて決める。本記事の問題探索から一律の数を約束しない。
英国GOV.UKのサービスマニュアルも、利用者テストなどでは一回4〜8人を通常の目安とし、各回の後に調整できるよう複数回に分ける。一方、アンケートや比較実験などの人数は別に扱う。調査計画の公的指針。これは英国のサービス開発の実務指針で、日本企業での最適人数を実証した研究ではない。5という数字を別の固定数へ取り替えるより、探索と測定の目的を分ける根拠として読む。
また、改修前後で参加者の経験や課題を変えたら、完了の違いを改修だけの効果にできない。修正版で新しい問題を見つけるための観察と、改善幅を比較するための測定を分ける。探索で役立つ柔軟さを、効果の推定で必要な比較条件へそのまま持ち込まない。
追加募集、改修、対象の拡張を選び直す
次のテストを依頼するときは、今回変え得る設計の判断と、まだ観察できていない仕事を並べる。入口の障害を直さなければ後ろが見えないなら、改修と再テストへ進む。原因を説明できず、対象や条件を足すことで案を区別できるなら、同じ版の観察を続ける。通常経路は見たが別の役割や操作を見ていないなら、その範囲へ広げる。これが本記事の編集上の提案であり、論文が示した万能の停止規則ではない。
予算の終わりも、合格とは分けて報告する。観察した版、役割、端末、課題、受けた支援と、未試験の経路を残す。重大な完了阻害が未解決なら、人数を満たしていても対応を終えたとはしない。一方、全ての問題の発見を証明できるまで同じ版を観察し続ける、という約束もできない。必要な仕事の未確認を明示し、残るリスクを誰がどう扱うかを次の判断へ渡す。
試作品を作る段階の選び方は仕様を決める前の検証、候補製品の採否は実際の業務試行による比較で扱っている。本記事で選ぶのはその後の観察の配分だ。5人を終点にせず、既知の障害、未試験の経路、測りたい結果のどれが次の判断を止めているかから、誰に何を試してもらうかを決める。