正しく測るための約束ごと

ものさしが曲がっていれば、正しい人を低く、危ない人を高く測ってしまう。第4回は、測られる人ではなく測る側のための約束ごとを決める。印象でなく行動の事実で、誘導せず、出典に戻れるかを床にして測る。この6つの約束が、評価そのものの信頼を支える。

まず、ものさしを点検する

健康診断を受けるとき、体重計が2キロ重く出る癖を持っていたら、どんなに正直に乗っても結果は嘘になる。人を測る前に、まず測る道具のほうを点検する。これが第4回の主題だ。第3回までで「実際に作った資材から、事実への忠実さと伝える工夫を読み取る」やり方を見てきた。だが読み取る人の目盛りが曲がっていれば、せっかくの材料も歪む。だから今回は、測られる作り手ではなく、測る側のための約束ごとを6つ決める。

約束ごと(原則)とは、測る人がその場の気分で変えてはいけない共通の決まりのことだ。誰が測っても、いつ測っても、同じ作り手なら同じ結論に近づく。そのための土台を言葉にする。

第1の約束 ── 行動の事実で測る

運転免許の試験官は「この人は安全運転しそうな雰囲気だ」では合格を出さない。一時停止で本当にタイヤが止まったか、ミラーを実際に見たか、その行動の事実だけを採点する。資材の作り手を測るときも同じだ。「熱意がある」「センスがいい」は印象であって事実ではない。測るのは、その人が作った資材の中で何をしたか、出すまでに何を確かめたか、という行動である。

ここで報告された実際の事例を思い出したい。主要な評価項目(その薬を評価する一番大事なものさし)は資料すら用意せず、有意差(偶然では説明しにくい差)が出た副次的な項目だけを説明した作り手がいた。これを「説明がうまい人」と印象で測れば高評価になりかねない。だが行動の事実で見れば「一番大事な結果を示さなかった」という不作為が記録される。印象は逸脱を隠し、行動事実は逸脱を残す。

第2の約束 ── 誰がやったかを特定する

料理店で食中毒が出たとき、「厨房の誰か」では再発を防げない。どの工程の誰が、いつ、何をしたかを特定して初めて直せる。資材も同じで、評価の主語をぼかさない。「チームとして頑張った」ではなく、その判断を下したのは誰か、そのグラフを選んだのは誰かを特定する。

ここで責任の外部化という心理が顔を出す。報告された事例に、日本人の集団では有意差がないのに「差が出ている」と説明し、指摘されると「教授も問題ないと言っている」と権威を借りた作り手がいた。権威を借りるのは、自分の判断の主語を他人にすり替える行為だ。測る側がここで「教授がそう言うなら」と流されれば、ものさしごと外部化に巻き込まれる。だから測るときは「あなたは何を確かめてそう判断したのか」と、主語を本人に戻し続ける。

第3の約束 ── エビデンスに紐づける

校正刷り(印刷前の確認用ゲラ)を直すとき、ベテランは「なんとなく変」では赤を入れない。どの規則のどこに反するかを示してから直す。作り手を測るときも、評価の一つひとつを根拠に紐づける。「この資材は良い・悪い」ではなく、「この主張は出典のこの図のこの数値まで戻れる/戻れない」と、たどれる形で記録する。

測るとは、印象を述べることではない。出典に戻れるかどうかを、戻れる形で示すことだ。

報告された事例には、わずか9例(4例 対 5例)で統計の処理もないグラフを使って効果を主張したものがあった。これを測るとき「グラフがあるから根拠あり」とせず、「根拠は9例・統計処理なし」と、エビデンスの中身まで紐づけて記録する。根拠の有無でなく、根拠の強さまで見るのが第3の約束だ。

第4の約束 ── 答えを誘導しない

アンケートで「この素晴らしい新機能をどう思いますか」と聞けば、欲しい答えしか返ってこない。測るときの問いが答えを引っぱってはいけない。これを非誘導という。作り手に「ここはうまく逃げましたよね?」と聞けば、本人も「はい」と言ってしまう。そうではなく「この副作用を、あなたはどう扱いましたか」と、評価を含まない問いで行動を語らせる。

動機づけられた推論(売りたい結論が先にあり、見せ方がそれに引っぱられる心理)は、測る側にも起きる。「この人は優秀だと思いたい」という願いが先にあると、問いがその答えに向かって曲がる。だから問いはあらかじめ決めておき、相手や気分で変えない。報告された事例で、注意すべき副作用(ある成分が過剰になること)を「その成分を補充できる」と長所のように言い換えた作り手がいた。測る側が「うまい工夫ですね」と誘導すれば、リフレーミング(都合よく言い換えること)を才能と取り違える。中立の問いだけが、逸脱を逸脱のまま見せる。

第5・第6の約束 ── 一貫と分離

同じ尺で2回測れば同じ長さが出る。これが当たり前であってほしい。第5の約束は一貫性、つまり同じ作り手・同じ証拠なら、測る人が変わっても結論が近づくこと。そのために第1〜第4を文書で共有し、各自の好みで足し引きしない。

第6の約束は分離だ。作る人と測る人を、同じ一回の作業で兼ねない。自分の資材を自分で「問題なし」と測れば、動機づけられた推論がそのまま通る。報告された事例で、エビデンスがないのに「死亡リスクが増加することはない」と言い切り、後で「現時点で明確でないからこう書いた」と釈明したものがあった。これは作る本人の中で確認と判定が混ざった結果だ。測る役は別の目で、別のときに置く。次の表に、6つの約束と、それぞれが止める逸脱・心理をまとめる。

6つの約束は、作り手を縛る道具ではなく、測る側が自分のものさしを曲げないための柵だ。行動の事実で見て、主語を本人に戻し、根拠にたどれる形で記録し、答えを誘導せず、人が変わってもぶれず、作ると測るを分ける。どれか一つが欠けても、説得力ある誤認を才能と取り違える危険が残る。

大事なのは、この6つが作り手の自己監視にもそのまま使えることだ。出す前に「これは印象でなく行動の事実か」「主語を誰かに逃がしていないか」「根拠にたどれるか」と自分に問えば、報告された逸脱の多くは出る前に止まる。測る約束は、つくる約束でもある。