「わかった」という感覚は、対象を正しく理解した証明ではない。説明の断片がつながり、記憶や推論にかかる負荷が下がり、次の行動を選べるようになったとき、人は理解が成立したと判断する。しかし、誤った説明でも一貫して見えれば、同じ感覚は生じ得る。
理解の有無を確かめるには、確信の強さではなく、そのモデルが条件変更、反例、別の課題、失敗後の修正に耐えるかを試さなければならない。この基準を採れば、人間の「わかったつもり」と、説明を流暢に生成する AI を同じ枠組みで評価できる。
本稿では、理解を「対象を扱うためのモデルを構成し、予測、転用、反証、修正に使える状態」と定める。理解は真理への到達でも、説明文の再生でもない。運用を通じて妥当性の範囲を確かめ続ける活動である。
「わかった」は理解そのものではなく評価信号である
理解が成立すると、個別の情報を一つずつ保持する必要が減る。複数の手順や関係がまとまりとして扱われ、判断に必要な処理が短くなる。技能獲得の研究では、明示的な手順が反復によって統合され、より少ない処理で実行できるようになる過程が扱われてきた[1]。作業記憶の容量に制約がある以上、情報をまとまりへ再編することは、複雑な対象を扱うための条件になる[2][3]。
処理が軽くなったことと、モデルが正しいことは別である。矛盾する情報を見落とした場合、前提を暗黙に固定した場合、説明を借りてきただけの場合にも、局所的には一貫した構造ができる。本人が感じる明瞭さは、内部で扱いやすくなったことを示すが、対象との一致までは示さない。
この区別を失うと、「説明を聞いて納得した」「用語を使って話せる」「結論を覚えている」という状態が理解として扱われる。これらは理解の材料にはなるが、理解を確認する試験ではない。
理解は五つの試験で評価する
理解を運用可能なモデルとみなすなら、評価対象は説明の滑らかさではなく、モデルが異なる条件でどう働くかになる。少なくとも、再構成、予測、反実仮想、転用、修正を分けて確認する必要がある。
| 試験 | 確認する問い | 理解が弱いときの失敗 |
|---|---|---|
| 再構成 | 元の説明を見ずに、前提、機構、結論を自分の言葉で組み直せるか。 | 用語や文章の順序が変わると説明できなくなる。 |
| 予測 | まだ示されていない事例について、何が起きるかを述べられるか。 | 既知の事例を言い直すだけで、新しい結果を出せない。 |
| 反実仮想 | 前提や条件を変えたとき、結論のどこが変わるかを説明できるか。 | 暗黙の前提を外されると、同じ結論を機械的に繰り返す。 |
| 転用 | 表現や課題形式が変わっても、同じ構造を適用できるか。 | 練習した形式では解けるが、別の文脈では使えない。 |
| 修正 | 反例や失敗を受けたとき、誤った前提を特定してモデルを更新できるか。 | 結論だけを差し替え、失敗した理由を説明できない。 |
自己説明は、学習者が推論の欠落を埋め、提示された情報を既有知識と接続する過程として研究されてきた[4]。ただし、説明を作れたことだけでは十分ではない。説明が新しい問題へ転用できるか、誤りを見つけたときに修正できるかまで含めて評価する必要がある[5]。
反証可能性は科学理論だけの要件ではない。日常や実務の理解でも、「どの結果が出たら現在の理解を捨てるか」を言えなければ、モデルは検査できない[6]。理解の強さは、反例を排除できることではなく、反例によってどこを直すべきかを示せることに現れる。
「わかったつもり」は説明が閉じたときに生じる
誤った理解が安定する第一の経路は、説明の再生を再構成と取り違えることである。聞いた順序のまま話せても、用語を外した途端に因果関係が説明できないなら、保持しているのは文章であってモデルではない。
第二の経路は、既知の事例だけに合う局所的な説明である。結果を見た後なら、多くの説明を整合的に作れる。理解を確認するには、説明を作った時点では結果が分からない事例へ適用し、事前に予測させる必要がある。
第三の経路は、境界条件の省略である。「通常は動く」「この原因で起きる」という説明には、対象範囲、前提、例外が含まれている。これらを言語化しなければ、狭い範囲で成功したモデルを一般法則として扱ってしまう。
確認方法は複雑でなくてよい。専門用語を使わずに説明する。反例を一つ挙げる。前提を一つ外す。別の具体例へ適用する。失敗した場合に、どの部分を修正するかを述べる。これらに答えられないとき、「わかった」という感覚は理解の終了ではなく、検査の開始点である。
完全な理解ではなく用途に対する十分性を問う
理解を情報の圧縮として捉え、観測者は世界の外へ出られず、対象も変化し続けるため、完全な理解は原理的に不可能だと結論づけるのは広すぎる。何をもって完全とするかが定まらない以上、不可能性を一つの命題として証明したことにはならない。
理解には説明レベルがある。 Marr は、情報処理を、何を達成する計算なのか、どの表現と手続で実行するのか、どの物理系で実装するのかという異なる水準へ分けた[7]。同じ対象について異なる説明が成立するのは、どれか一つが不完全だからとは限らない。問いが異なれば、必要な変数と説明の粒度も変わる。
意思決定には時間、情報、計算能力の制約がある。 Simon が示した限定合理性の観点では、現実の判断は全選択肢を完全に比較するのではなく、制約の中で十分な選択を行う[8]。理解も同様に、対象の全情報を保持することではなく、特定の目的に必要な予測と修正ができることによって評価される。
理解の範囲を明示するには、対象、目的、許容誤差、失敗時の損失、再評価時期を定めればよい。設計判断のための理解と、学術的な機構説明のための理解は、同じ完成条件を持たない。「完全か不完全か」ではなく、「どの判断に使え、どの条件では使えないか」を示す方が、理解の状態を正確に表せる。
AI の理解は出力の印象では判定できない
AI が流暢な説明を生成すると、人は自分が理解したときの文章形式をそこに見る。しかし、説明らしい形式を生成できることと、対象について安定したモデルを持つことは同じではない。 Bender と Koller は、言語形式の学習だけから意味理解を導くことの限界を論じ、形式と意味を区別した[9]。 Searle の中国語の部屋も、規則に従った記号操作だけで理解が成立したといえるかを問う思考実験である[10]。
これらの議論から、あらゆる AI が理解できないという結論は出ない。示されるのは、出力の自然さや正答率だけでは理解を確定できないことである。 AI の理解を論じる場合にも、対象範囲を定め、再構成、予測、反実仮想、転用、修正の試験を行う必要がある。
| 評価対象 | 確認方法 | 判定上の注意 |
|---|---|---|
| 表現の安定性 | 問い方、語順、例示を変えても、同じ前提と結論を維持できるかを確認する。 | 文章の一貫性だけでは、対象との一致を示さない。 |
| 条件変更への追随 | 前提を一つ変更し、影響する推論だけを更新できるかを確認する。 | 結論全体を作り直すだけでは、依存関係を保持しているか分からない。 |
| 未知事例への転用 | 学習例と表面形式が異なる問題へ同じ原理を適用させる。 | 類似した文章の再現と構造の転用を区別する必要がある。 |
| 根拠への接続 | 外部資料、計算、実行結果と照合し、説明を修正できるかを確認する。 | 根拠を列挙することと、根拠が主張を支えることは別である。 |
| 失敗の局所化 | 誤答後に、誤った前提、推論、データのどこが原因かを特定させる。 | 謝罪や結論の差し替えだけでは、モデルが修正されたとはいえない。 |
ある限定された領域でこれらの試験に合格するなら、その範囲では「理解している」と呼ぶ実用的な理由が生じる。一方、一つの試験で成功したことを、世界一般、人間一般、意味一般の理解へ拡張してはならない。 AI の理解も、人間の理解と同じく、対象と条件を付けて評価すべきである。
当事者性は理解の証明ではなく学習条件の一つである
人間には理解失敗の賭け金があり、AI にはそれがないことを決定的な差とすることはできない。損失を受けることが理解の必要条件であるとは証明されていない。危険を負わずに理解する人間もいれば、行動結果を次の入力として受け取る人工システムも設計できる。賭け金の有無だけでは、内部モデルの有無を判定できない。
身体、環境、社会的状況が人間の認知を形作るという観点には根拠がある。 Suchman は、行為が事前計画の単純な実行ではなく、具体的状況との相互作用によって組み立てられることを示した[11]。 Clark も、知覚と行為を身体と環境を含む予測過程として捉えている[12]。ただし、身体性や当事者性を持てば理解が成立することも、それらがなければ理解が不可能であることも、これらの議論からは導けない。
人間と AI の差として確実に扱えるのは、責任の配置である。 AI の出力を採用し、行動へ移し、結果を受けるのは、現状では利用者と運用組織である。これは AI が理解しているかどうかの証拠ではなく、判断手続を設計するための制度条件である。出力が理解を示しているように見えても、検証責任を移転したことにはならない。
理解とはモデルを壊しながら運用することである
「わかった」という感覚は、情報が扱える構造へまとまったことを示す。しかし、正しさを保証しない。理解を確認するには、その構造を新しい事例へ適用し、前提を変え、反例を与え、失敗後に修正できるかを試す必要がある。
完全な理解を求めるより、何のための理解かを定める方がよい。対象、目的、許容誤差、適用範囲、失敗条件を明示すれば、理解がどこまで使えるかを評価できる。範囲外へ出たときに壊れること自体は欠陥ではない。壊れた理由を特定できず、同じ確信を維持することが欠陥である。
AI についても基準は変わらない。流暢さは理解の証拠ではなく、理解らしさを生む表示である。再構成、予測、反実仮想、転用、修正に耐える範囲を確認して初めて、限定された意味で理解を評価できる。理解とは到達点ではなく、モデルを使い、壊し、直し続ける運用である。
参考文献
- John R. Anderson, “Acquisition of Cognitive Skill,” Psychological Review, Vol. 89, No. 4, pp. 369–406, 1982. https://doi.org/10.1037/0033-295X.89.4.369
- Alan D. Baddeley, “Working Memory,” Science, Vol. 255, No. 5044, pp. 556–559, 1992. https://doi.org/10.1126/science.1736359
- Nelson Cowan, “The Magical Number 4 in Short-Term Memory: A Reconsideration of Mental Storage Capacity,” Behavioral and Brain Sciences, Vol. 24, No. 1, pp. 87–114, 2001. https://doi.org/10.1017/S0140525X01003922
- Michelene T. H. Chi, Miriam Bassok, Matthew W. Lewis, Peter Reimann, Robert Glaser, “Self-Explanations: How Students Study and Use Examples in Learning to Solve Problems,” Cognitive Science, Vol. 13, No. 2, pp. 145–182, 1989. https://doi.org/10.1207/s15516709cog1302_1
- John D. Bransford, Ann L. Brown, Rodney R. Cocking, eds., How People Learn: Brain, Mind, Experience, and School, Expanded Edition, National Academies Press, 2000. https://doi.org/10.17226/9853
- Karl R. Popper, The Logic of Scientific Discovery, Hutchinson, 1959. https://doi.org/10.4324/9780203994627
- David Marr, Vision: A Computational Investigation into the Human Representation and Processing of Visual Information, W. H. Freeman, 1982. https://mitpress.mit.edu/9780262514620/vision/
- Herbert A. Simon, “A Behavioral Model of Rational Choice,” The Quarterly Journal of Economics, Vol. 69, No. 1, pp. 99–118, 1955. https://doi.org/10.2307/1884852
- Emily M. Bender, Alexander Koller, “Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data,” Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5185–5198, 2020. https://doi.org/10.18653/v1/2020.acl-main.463
- John R. Searle, “Minds, Brains, and Programs,” Behavioral and Brain Sciences, Vol. 3, No. 3, pp. 417–457, 1980. https://doi.org/10.1017/S0140525X00005756
- Lucy A. Suchman, Plans and Situated Actions: The Problem of Human-Machine Communication, Cambridge University Press, 1987. https://doi.org/10.1017/CBO9780511663529
- Andy Clark, Surfing Uncertainty: Prediction, Action, and the Embodied Mind, Oxford University Press, 2016. https://global.oup.com/academic/product/surfing-uncertainty-9780190217013