社員アンケートの評価が下がった。職場の悪化と決める前に、回答者の変化をたどる

社員アンケートの回答率は、前回の50％から80％へ上がった。ところが「仕事量を無理なく処理できる」に肯定した人の割合は、68％から50％へ下がった。経営会議へ出す資料に、職場の状態が悪化したと書いてよいでしょうか。

これは、数字の読み方を考えるための仮想例です。社員の評価が実際に下がった可能性はあります。ただ、全体の割合には、何を答えたかだけでなく、誰が答えたかも入っています。前回と今回の集計表を、部署別の人数へ戻してみます。

部署内の回答者の肯定率が同じでも、全体は18ポイント下がる

対象は、A部署とB部署に各100人、合計200人いる会社です。2回の間に社員の入れ替わりはなく、設問と回答方法も変わらないとします。回答した人は、この設問にも全員答えています。

A部署の回答者に占める肯定率は、両回とも80％です。B部署も、両回とも20％で変わっていません。それでも全体では、前回は68÷100で68％、今回は80÷160で50％になります。肯定した人数は増えたのに、肯定率は18ポイント下がりました。

前回の回答者は、肯定率の高いA部署が8割を占めていました。今回はA、Bが半分ずつです。この例の全体の低下は、部署別の肯定率が下がらなくても、回答者の構成が変わるだけで起きます。 B部署の参加が増えたことで、それまで全体へ反映されにくかった評価が多く入ったのです。

だから今回の50％を消し、前回の68％を正しい値として残すのも違います。前回はB部署の回答が少なかったという別の弱点があります。B部署で肯定しない人が多いという今回の回答も、構成差の説明によって無効にはなりません。

部署の比率をそろえると、何を比較できるか

社員全体の部署比率は、両回とも半分ずつでした。そこで、各部署の回答者の肯定率を50％ずつの重みで合わせると、80％×0.5＋20％×0.5＝50％です。前回も今回も、同じ構成で計算した参考値は50％になります。

これは「職場は悪化していない」と証明する操作ではありません。部署の構成を同じにして比べたとき、回答者の評価にどんな差が残るかを見る計算です。今回の例では、その差はありません。A部署の回答者の肯定率が80％のままで、B部署の肯定率が下がっていれば、同じ構成にしても低下は残ります。

実際の社員調査にも、回答者の構成を調整する仕組みがあります。米国人事管理庁の2024年Federal Employee Viewpoint Surveyは、対象となる連邦職員へ広く回答を求める全数調査でした。2024年5〜7月にウェブで職場の認識を尋ね、行政記録の属性を使って非回答への調整などを行っています。全数を対象にしても、全員が回答するとは限らないためです。OPM技術報告・33〜34頁

これは米国の公務員調査の実施方法で、日本企業で調整の効果を検証した実験ではありません。単純な部署2区分の計算も、実際の複数属性を使う調整を再現したものではありません。共通するのは、回答者の単純集計と、対象集団の構成を考慮した推定を区別する点です。

また、実際には社員全体の構成も変わります。事業の拡大でB部署の社員が増えたなら、全体の低下の一部は、今いる社員の構成を正しく反映した変化かもしれません。現在の社員全体を知りたいのか、同じ構成で前回と比較したいのかで、使う比率は違います。前回の比率へそろえた値だけを出すと、現在の社員構成を反映した評価の変化を見えにくくすることもあります。

重みを付けても、答えていない人の評価は分からない

ここで、まだ見えていない人がいます。今回、A、B各20人、合計40人は回答していません。同じ部署でも、忙しい人ほど答えにくく、その人たちの肯定率も回答者と異なるなら、部署比率をそろえても偏りが残ります。反対に、強い不満を持つ人ほど回答したなら、ずれの向きは逆かもしれません。回答率だけから、そのどちらかは決まりません。

Grovesの2006年の論文は、米国・西欧を主な範囲とする個人への単発調査の研究を整理し、回答のしやすさと、測りたい値の関係から非回答の偏りを説明しています。集団の属性をそろえても、その区分内で回答者と非回答者が測りたい値について違えば、偏りが残ります。調査全体の回答率を、一つ一つの設問の正しさの採点に使うのは難しいのです。Grovesの論文

仮想の会社で、今回の160人の回答を固定し、未回答40人が同じ設問へどう答えるかを全く仮定しないなら、全200人が答えた場合の肯定率は40％から60％まであり得ます。既に肯定した80人だけなら80÷200で40％、未回答の全員が肯定するなら120÷200で60％です。これは統計的な信頼区間ではなく、未回答者について追加情報を置かない場合の算術的な範囲です。調整後の50％が、この範囲のどこかを確定してくれるわけではありません。 前回も同じ置き方なら34〜84％の範囲が残るため、この2回の数字から全社員の悪化を確定できません。

低い回答率でも、全ての値が大きくずれるとは限りません。Pew Research Centerの2017年報告では、米国の電話調査を高回答率の調査などと比べ、政治的所属や宗教的所属はおおむね近い一方、市民活動への参加は過大に出るという違いがありました。報告全体では29指標と照合しており、2016年8月23日〜9月2日の調査では、通常手順の比較部分標本は1,201人でした。時系列には年ごとに複数調査を合わせた分析も含みます。Pewの報告、調査方法

比較先も調査であり、質問文、調査方法、実施時期の違いが残ります。観察された差の全てを非回答だけの原因とはできず、米国の電話調査から日本の社員調査の誤差率も出せません。読み取れるのは、同じ回答率でも、知りたい内容によって偏りの出方が異なるということです。

会議へ出す一枚には、評価の低下と見えた範囲を残す

この仮想例なら、報告は「全体の肯定率が18ポイント低下した」で止めず、次の説明まで含められます。部署別の回答者の肯定率は変わらず、B部署の回答増加によって、全体に占める部署の比率が変わった。社員の部署構成を半分ずつにそろえた参考値も両回50％だった。ただし、未回答者を含む全社員の評価が同じだったとは確認できていない。

実務への当てはめとしては、全体の率と一緒に、対象人数、設問に答えた人数、意味のある区分別の人数と評価を残すことを提案します。調査に参加しても当該設問を飛ばした人がいれば、調査全体の回答率と設問の回答率は分けます。小さな区分を増やし過ぎて本人を推測できる集計にせず、閲覧範囲と粒度は匿名調査と相談を分ける設計で扱う問題として守ります。

数字の比較が難しいことと、具体的な問題への対応を待つことも別です。今回のB部署の低い肯定率を手掛かりに、業務の割当や処理の滞りなど、仕事量に関わる記録を調べることはできます。ただし残業時間が増えたからといって、それだけで肯定率低下の原因まで確定はしません。仕事量の問題を調べる判断と、全社が何ポイント悪化したという推定を、同じ判定にしないことが必要です。

経営会議へ戻す資料では、B部署の低い評価を改善の材料として残し、答えていない40人の評価は未確認と示せます。点数の変化を消さず、その変化が何を表しているかまで報告する。 それが、回答率の上昇を喜ぶことと、評価の低下に向き合うことを両立させます。