同じ作品を見ても、評価する人によって「L2」「L3」と分かれることがある。それは誰かが間違っているからとは限らない。判定のもとになる証拠が、目に見える力と見えにくい力とで、はっきり差があるからだ。今回は、判定そのものをどこまで信じてよいかを正面から考える。
健康診断の数値と、医師の触診
健康診断を思い出してほしい。体重や血圧は機械が数字で出すから、誰が測ってもほぼ同じになる。一方で、医師がお腹を押して「少し張っていますね」と言う触診は、人によって受け取り方が変わりうる。どちらも体の状態を知る手がかりだが、確からしさ(どれだけ信じてよいか)が違う。
つくり手の力を測るときも同じことが起きる。前回(第7回)で、どんな成果物が見えたらどのレベルか、という対応表をつくった。だが対応表があっても、そこに当てはめる証拠が薄ければ、出てくる判定は揺れる。判定の信頼度は、ものさしの細かさより先に「証拠がどれだけ目に見えるか」で決まる。これを観測可能性と呼ぶ。観測可能=外から見て確かめられる、という意味だ。
判定は、ものさしの正しさと、証拠の見えやすさの掛け算で決まる。ものさしがよくても証拠が薄ければ、判定は確かにならない。
見える力と、見えにくい力
料理人を思い浮かべよう。出てきた一皿の味や盛りつけは、客が直接食べて確かめられる。これは観測しやすい。だが「この人は新しい食材が来ても応用できるか」という応用力は、一皿を見ただけでは分からない。何度も違う条件で作ってもらって、初めて見えてくる。
つくり手の8つの力も、観測のしやすさで並べると差が出る。出典に戻れるか(出典接地力)は、引用と原典を突き合わせれば白黒つきやすい。釣り合いが取れているか(釣り合い設計力)も、効能と副作用の分量を測れば見える。一方、なぜそう設計したのかという判断の理由(誤認予測力やL3以上の応用)は、本人の言葉や複数案件の積み重ねがないと見えにくい。見えにくい力ほど、一つの成果物だけで判定するとぶれ幅が大きくなる。
| 力の種類 | 見えやすさ | 判定の確からしさ | 確かめ方 |
|---|---|---|---|
| 出典に戻れるか | 高い(原典と照合できる) | 高い | 引用箇所を一つずつ原典と突き合わせる |
| 釣り合いが取れているか | 中〜高(分量を測れる) | 中〜高 | 効能と注意の行数・面積を比べる |
| なぜそう作ったか(応用・判断) | 低い(頭の中の理由) | 低い(証拠が要る) | 本人の説明+複数案件で再現を見る |
ぶれを消すのではなく、認めて扱う
校正刷り(印刷前の試し刷り)を二人の校正者が別々に読むと、見つける誤りが少し食い違う。だからといって校正を一人に減らすのは逆効果だ。二人の食い違いこそが「ここは判断が割れる難所だ」と教えてくれる。判定でも同じで、評価者の間でレベルが割れたら、それを消すのではなく、割れた事実を記録して扱う。
具体的には三つの手が効く。第一に、一つの成果物でなく複数の案件をまたいで見る。一回うまくいったのが実力か偶然かは、二回三回見れば分かってくる。第二に、本人に「なぜこう設計したか」を短く語ってもらう。理由が言えるなら、それは応用力(L3)の証拠になる。第三に、評価者を一人にしない。二人以上で見て、割れたときは原典に戻って合わせる。床(必要条件)である出典接地は割れにくいので、ここを共通の基準点にできる。
判定が割れたら、勝ち負けを決めるより先に出典へ戻る。接地は誰が見ても動かない床だから、そこを合わせれば議論が前に進む。
確からしさを、判定に添える
天気予報は「明日は雨」とだけ言わず「降水確率70%」と言う。この数字があるから、受け取る側は傘を持つか自分で決められる。つくり手の判定も同じで、「L3」とだけ書くより「L3(確からしさ:中。一案件のみ、本人の説明あり)」と添えるほうが、はるかに正直で使いやすい。
確からしさが低い判定は、間違いではなく「まだ証拠が足りない」という状態だ。だから次にやることがはっきりする。証拠を増やせばよい。逆に、確からしさを書かずに「L3」と言い切ると、薄い証拠が確定事実のように一人歩きする。これは第9回で扱う「複数の目で見る」や第10回の「合否と育成につなげる」の土台を崩す。判定に確からしさを添えるのは、後の工程を守るための約束ごとでもある。
| 書き方 | 受け取る側にできること | 危うさ |
|---|---|---|
| 「L3」とだけ書く | そのまま信じるしかない | 薄い証拠が確定事実に化ける |
| 「L3(確からしさ:中、証拠は一案件)」 | 証拠を足すか、保留かを選べる | 低い(限界が明示されている) |
忘れてはいけないのは、確からしさが高くても、それは「正しく測れた」だけで「力が高い」とは別だという点だ。観測しやすい床の力ばかりを確実に測って満足すると、見えにくい応用力を取りこぼす。確からしさ(どれだけ確かに測れたか)と、レベルの高さ(どれだけ力があるか)は別の軸として両方を見る。これを混ぜると、測りやすいものだけで人を評価する偏りに落ちる。
つくった資材と行動から実力を測る ── 全 10 回の地図
- 第 1 回: 印象や自己申告でなく、実際につくった資材で測る ── 資材作成者の力は、本人の自己申告や周囲の印象でなく、実際につくった成果物と出したときの行動から測る。
- 第 2 回: どんな依頼を、どう形にしたかを順にたどる ── 印象や記憶ではなく、実際の制作の流れ──どんな依頼で、何を考え、どう手を動かし、何ができたか──を順番に聴き取り、行動の証拠から作成者の力を読み取る回。
- 第 3 回: その仕事から「事実への忠実さ」と「伝える工夫」を読み取る ── つくった資材を、事実からズレていないか(忠実さ)と、相手に届くか(設計力)の二つの軸に置き換えて見る。印象でなく、成果物の中の手がかりから読み取る回。
- 第 4 回: 正しく測るための約束ごと ── 作り手の実力を測るとき、測る側がズレないための6つの約束ごとを決める。
- 第 5 回: ものさしは三つ ── 正確さ・伝わりやすさ・釣り合い ── 資材づくりの実力を測る三つの尺度を定義し、それぞれを四段階で採点する。正確さは床、伝わりやすさは天井へ届く力、釣り合いは過不足の調整。
- 第 6 回: レベルをどう決めるか ── 出典に戻れるかが上限 ── 出典に戻れない作は、どんなに見せ方がうまくても水準を上げられない。接地が天井を決める。
- 第 7 回: どんな成果物が見えたら、どのレベルか ── 作成者の力を、目に見える成果物と行動の型からL1〜L4で読み分けるアンカー表。
- 第 8 回 (本回): その判定を、どこまで信じていいか ── つくり手の力をレベル判定するとき、その判定がどれだけ確かかは「証拠が目に見えるか」で決まる。見えにくい力ほど判定はぶれる。ぶれを認め、確からしさごと扱う回。
- 第 9 回: 本人だけでなく、審査者・発注者の評価も合わせる ── 本人・審査者・発注者・AIの四つの目を重ねると、本人には見えない「語らなかった逸脱」が浮かび上がる。
- 第 10 回 (最終回): 測った結果を、合否と育成計画につなげる ── 出した点数を、合否の床と次に伸ばす力の計画につなぐ最終回。
判定を信じてよいかは、評価者の腕前だけでなく、証拠がどれだけ目に見えるかで決まる。見えやすい床の力は確かに測れ、見えにくい応用力はぶれる。そのぶれを消そうとするのではなく、複数案件・本人の説明・複数の目で証拠を厚くし、最後は出典という動かない床に戻って合わせる。
そして判定には必ず確からしさを添える。「L3」だけでなく「L3・確からしさ中・証拠は一案件」と書く。これは正直さの問題であると同時に、次回の複数評価や最終回の合否・育成を支える土台でもある。確かに測れたことと、力が高いことを取り違えない——ここが、判定を信頼に値するものにする分かれ目になる。
- 観測可能性が判定の信頼度を決める. ものさしが正しくても証拠が目に見えなければ判定はぶれる。出典に戻れるかは見えやすく、なぜ作ったかは見えにくい。
- ぶれは消さず、厚い証拠で扱う. 複数案件・本人の説明・複数の評価者で証拠を増やし、割れたら動かない床である出典に戻って合わせる。
- 確からしさを判定に添える. 「L3」だけでなく確からしさと証拠量を併記する。確かに測れたことと力が高いことは別の軸として両方見る。
- 厚生労働省「医薬品等適正広告基準」および関連通知 ── 資材の表現が事実に接地しているかを判断する公的な拠りどころ。
- 日本製薬工業協会「プロモーションコード」 ── 効能と注意の釣り合いなど、つくり手が守るべき一般的な行動規範の参照。
- 行動評価面接(BEI)およびSTAR法の一般的解説 ── 「状況・課題・行動・結果」を本人の言葉でたどり、見えにくい判断力の証拠を得る面接技法。
- コンピテンシー評価に関する教科書的文献 ── 観測可能な行動証拠から能力レベルを推定する考え方と、評価者間のぶれ(信頼性)の扱い方。