前回、澪は結衣に「審査者の正体は検知力だ」と言った。今日はその続き。なぜ検知力だけが命綱なのか――答えは、二つのミスの重さが釣り合っていないことにある。資材審査室の小さな机の上で、結衣はその非対称を初めて体で知る。
二枚の付箋
朝、澪は結衣の机に二枚の付箋を置いた。片方に「見逃し」、もう片方に「過検出」と書いてある。資材――製薬会社が医師や薬剤師に渡す宣伝資料――を審査する仕事には、間違え方が二通りしかない。
「見逃しは、まずい資材を『これでいい』と通してしまうこと。過検出は、本当はよい資材を『ダメ』と止めてしまうこと」。澪は付箋を指でとんとんと叩いた。「結衣さん、この二つ、どっちが怖い?」
結衣は少し考えて、正直に答えた。「どっちもミスはミスだから……同じくらい、まずいんじゃないですか」。澪は首を横に振らなかった。ただ「じゃあ、追いかけてみよう」とだけ言った。
二つのミスを最後まで追う
澪はホワイトボードに線を二本引いた。一本は過検出の行き先、もう一本は見逃しの行き先。
「過検出から行こう。よい資材を止めると、どうなる?」。結衣が答える。「営業の人が怒って……差し戻しになって、もう一回審査して」。澪がうなずく。「そう。手間が増える。時間も食う。でも、その紙は審査室の中で止まっている。一歩も外に出ていない」。
「次、見逃し。まずい資材――たとえば効果を大げさに書いた資料を通すと?」。結衣の声が止まった。澪が続きを引き取る。「営業が持って出る。医師が読む。その医師が、目の前の患者に薬を出す判断に使う。効きすぎる前提で。紙はもう、室の外にいる。患者のところまで届く」。
過検出の被害は室の中で完結する。見逃しの被害は患者まで届く。同じ「一回のミス」でも、止まる場所がまるで違う。
空港の保安検査と同じ
結衣がまだ腑に落ちない顔をしていたので、澪は比喩を出した。「空港の保安検査、あるでしょう」。
「ペットボトルを没収しすぎても、最悪、乗客が文句を言って終わり。列が伸びるだけ。でも危険物を一個見逃したら、機内まで届いて、何百人に関わる。だから検査員は『止めすぎ』より『見逃し』を桁違いに恐れる」。澪は『桁違い』のところで一拍置いた。「桁違い、っていうのは、二倍三倍じゃない。十倍、百倍の重さってこと」。
「審査も同じ。よい資材を止めるのは、室の中の手間。まずい資材を通すのは、患者の体に届くリスク。この二つを『どっちもミス』と一列に並べた時点で、もう審査者の目線じゃない」。
平均という落とし穴
ここで澪は、後の判定にも効いてくる急所を口にした。「だからね、私は審査者を『平均点』で測らない」。
結衣が聞き返す。「説明がうまくて、知識も豊富で、でも危険を一個見逃す人。トータルだと高得点になりませんか?」。澪の答えは短かった。「ならない。むしろ、それが一番あぶない」。
| 項目 | 過検出(止めすぎ) | 見逃し(通しすぎ) |
|---|---|---|
| 被害が止まる場所 | 審査室の中 | 患者まで届く |
| 主な損失 | 手間・時間 | 健康・安全のリスク |
| 取り返し | 差し戻せばよい | 届いた後は難しい |
「平均は、この縦の差を消してしまう。説明力90点、知識90点、検知力0点。足して3で割れば60点。合格に見える。でも検知力0は、見逃しを止める人が室内にいないってこと。他がどれだけ満点でも、それは審査者じゃない」。澪は付箋の『見逃し』をもう一度叩いた。「ここがゼロなら、合計点は意味を持たない」。
結衣の宿題
帰り際、澪は一言だけ付け足した。「これから三人を見てもらう。樋口さん、南さん、和田さん」。結衣はまだ会ったことのない名前を聞いた。
「弁の立つ人、博識な人、地味な人。点数の付け方を間違えると、たぶん結衣さんは順番を取り違える。今日の話を、その時まで覚えておいて」。澪は二枚の付箋を結衣に手渡した。見逃しの付箋のほうが、少しだけ重く感じた――そんなはずはないのに。
当確ライン(合否判定基準) ── 全 10 回の地図
- 第 1 回: この線が引くもの ── 「資材」ではなく「審査者」の合否線 ── 当確ライン=「この人になら資材チェックを一人で任せていい」と言える合格水準のこと。第2シリーズ第1回。合否を平均点で決めてはいけない理由を入り口として説明する。
- 第 2 回 (本回): 害の非対称性 ── 見逃しは過検出より桁違いに重い ── なぜ平均で線を引いてはならないか その1。見逃しと過検出の害は釣り合わない
- 第 3 回: 相互補償の罠 ── 雄弁がリスク検知の欠落を覆い隠す ── 説明も人付き合いも抜群にうまい審査担当者が、危険を見つける力(リスク検知力)だけ弱い。点数を平均すれば合格に届く。でも、危険に気づけないのに話がうまい人は、その説得力で危ういものを通してしまう。なぜ平均点で合否を決めてはいけないのか。会社の実例Aでやさしく解く。
- 第 4 回: 床と総合点を分ける ── 非代償ゲートと加重総合点 ── 合否は「最低ライン(床)」で決め、点数の合計は順位づけだけに使う。最低ラインを一つでも下回れば、合計点が満点でも不合格。これが合格ラインの動かない約束ごと。
- 第 5 回: 検知の床を最も高く ── リスク検知力という存在理由 ── 資材審査(製薬会社が医師向けの宣伝資料を世に出す前に点検する仕事)が存在する理由は、危ない箇所を見つけることにある。だから八つの能力のうち、危険を見抜く力(リスク検知力)に求める最低ラインだけを一番高くする。一人で審査を任せてよい合格(当確)には、上から二番目の段階L3と、実物で見抜ける広さ2以上が要る。一つ下のL2で止まる人は、いちばん危ない資料こそ素通りさせてしまう。
- 第 6 回: 二軸で床を定める ── 机上の検知を独立させない ── 検知の合格ラインは点数一つでは引けない。「どれだけ語れるか」と「目の前の実物で拾えるか」の二つのものさしで引く。教科書だけの目利きは、点数上はL3に見えても一人前として通さない。
- 第 7 回: 校正を独立の門に ── 過信は独立の失格事由 ── 「自分の見る力を、正しく見積もれているか」を問う関門(校正ゲートG2)の話。一人で審査を任せるとは、後ろで誰も確認しないということ。自分の検知力を実際より高く思い込む人(乖離Δが+2以上)は、自分の見落としに気づかないまま危ないものを通してしまう。このズレ(Δ)は腕前そのものではないが、独りで任せてよいかを分ける。
- 第 8 回: 四段ゲート G0–G4 ── 早期棄却の論理 ── 合否は四つの関門を順番に通して決まる。手前の関門で落ちた人を、後ろの関門でわざわざ測り直すことはしない。他の長所では埋め合わせできない最低ライン(=床)があり、最後の合計点は合否をひっくり返さない。
- 第 9 回: 三人のプロファイル ── 同じ線がどう振り分けるか ── 雄弁な伝道師・机上の理論家・本道のL3。同じ合格ラインが三人をどこへ送るか
- 第 10 回 (最終回): 線を引く責任 ── アンカー先行・人手確認・非懲罰育成 ── 合格ラインを「現場で本当に使える基準」に変える最終回。お手本のそろった見本帳があって初めて、線はみんな共通のものさしになる。「合格・不合格」の4区分は落第の烙印ではなく、次に何を伸ばすかを示す道しるべ。AIはまず下書きの見立て、最後の判断は人間がする。
二つのミスは、名前こそ「ミス」で揃っているが、行き着く先が違う。過検出は室内で止まり、見逃しは患者まで歩いていく。結衣が手にした二枚の付箋は、この先の三人の判定をどう読むかの物差しになる。
次回、最初の一人――説明と説得の名手、樋口が審査室に現れる。弁が立つ者を、結衣はどう採点するのか。
- 要点 審査のミスは二種類。過検出(よい資材を止める)は審査室内の手間で済むが、見逃し(まずい資材を通す)は患者まで届く。被害が止まる場所が根本的に違う。
- 要点 二つの害は桁違い(二倍三倍ではなく十倍百倍)。だから検知力がゼロの審査者は、説明力や知識がどれだけ高くても審査者として成立しない。
- 要点 平均点はこの非対称を消してしまう。検知力0を他の高得点で薄めて合格に見せる評価は、見逃しを止める人が室内にいない状態を覆い隠す危険な測り方。
- Green, D. M., & Swets, J. A. Signal Detection Theory and Psychophysics. Wiley, 1966.(感度と特異度の分離、偽陰性と偽陽性の独立した代償構造)
- Cizek, G. J., & Bunch, M. B. Standard Setting: A Guide to Establishing and Evaluating Performance Standards on Tests. Sage, 2007.(合否ラインを平均でなく基準設定で引く考え方)
- Spencer, L. M., & Spencer, S. M. Competence at Work: Models for Superior Performance. Wiley, 1993.(コンピテンシーの閾値水準=threshold competency の概念)
- Messick, S. Validity. In Educational Measurement (3rd ed.). American Council on Education, 1989.(判定の妥当性と帰結的妥当性 ── 誤判定の害の重み付け)