TL;DR

• 献本で頂いた Why Machines Learn――現代AIを支える、美しき数学の物語 を読んだ
• 主に LLM 以前までの機械学習や AI の発展の歴史的な流れと同時にそれを理解するための数学も基礎から積み上げるという意欲作
• この分野を理解したいがいきなり教科書的な本だと数学の敷居が高いという人が、歴史的な面白さに触れながら読んでいくのに最適

---

技術評論社から献本で頂いた「Why Machines Learn――現代AIを支える、美しき数学の物語」を読んだので感想を書いておく。 あくまで献本してもらった本のレビューであるというバイアスがあることを最初に述べておきます。

この本はかなりの意欲作である。 基本的な数学としてのベクトルや確率や行列計算の話をカバーしつつ、適応フィルタや最近傍法やカーネルトリックやホップフィールドネットワークや CNN の話を展開して最後は LLM に行き着く。 そしてこれらは教科書的な記述として提供されるのではなく、歴史的な背景を語る中に数学が埋め込まれて展開されている。

典型的な本では、歴史が中心で数学的な話は補足的に含まれるだけだったり、逆に理論が中心で歴史的な背景を少し説明するだけだったり、という場合がほとんどだと思う。 しかしこの本では、両方を同格に扱うことを選択し、その試みはかなりの部分成功しているように感じられた。 歴史の話は、登場人物がどういう理由で何に取り組んでいたかを時代背景を踏まえて解説し、さらにはジェフリー・ヒントンやイリヤ・サツケヴァーのような今の時代を作ってきた人々の一次インタビューの情報も含まれていて興味深い。 数学の話は、変数がある場合の掛け算の表記のような基本的な話から入り、確率や線形代数や微積分の基礎を経てカーネルトリックやホップフィールドネットワークの収束性やバックプロパゲーションアルゴリズムのような話まで取り扱っている。

機械学習や AI を一定レベルでちゃんと理解したいが、教科書的な本を読むには前提知識が足りなかったり無味乾燥で続かないという人にとっては本書は挑戦する価値がある本だろう。 また、私のような理論的な内容についてはほぼ既知という人に関しても歴史の読み物として興味深く読める本である。 数式は追いたくなくて歴史的な話だけを読みたいという人もある程度は読めるだろうが、その読み方はこの本の醍醐味を損なうものだは思う。

著者はソフトウェアエンジニアからサイエンスジャーナリストに転職し、その後線形代数の証明に感動して数学を学び直し、本書を執筆したようだ。 数学を学び直したという経緯からか、本書の記述はかなり基本的な部分から始まり、数学的な定義などは少なく具体例をいじりながら理解を深めていくというスタイルで、こういったスタイルも数学が苦手という人にマッチしやすいかもしれない。

面白かったところ

繰り返しになるが、数学と歴史を両方とも正面から扱っているのはかなり珍しく、それでいてその試みはかなりの部分成功していると感じられて興味深い本だった。 これは著者のバックグラウンドや努力を大いに反映していそうで、特徴がよく出ているなと感じた。

数学に関しては、本当に基礎の部分から始めて、必要なところまで登っていくというスタイルであるのは著者の努力が大いに感じられるところである。 理論がメインではない本で数学なども扱う場合、補足的な内容として紹介するのみで知らない人には伝わらないし知っている人には特に新しいことはないという場合が多いが、本書は基礎から始めて、例えばホップフィールドネットワークが安定状態から摂動を加えられた時に最終的にエネルギー的に安定する（収束する）ということを示したりする。 数学的な定義などは少なく、こういうふうに考えれば実用上はよいだろう、という想定で具体的な計算をしながら理解を深めていくスタイルなので、数学的な議論に慣れていない人にも読みやすいと思われる。 もちろん数学に苦手意識を持つ人がスラスラ読めるかというと決してそんなことはないだろうが、チャレンジしてみる価値はあると思う。

歴史に関しては、幅広い話題を取り扱いつつもそれぞれがポイントを踏まえたストーリーになっており、自分も知らない話が多かったので興味深く読めた。 バックプロパゲーションのところで甘利俊一氏、CNN のところで福島邦彦氏の名前もちゃんと出てくる。 色々面白い話が出てくるが、第 7 章のカーネルトリックの話で COLT に論文を出そうとして主催者に相談したら『ええ、私たちは応用系の論文も歓迎していますよ』と言われた話は思わず笑顔になってしまった。

そのほかにも、一次情報として今の時代を作った AI 研究者のインタビュー情報が出てくるのも興味深い。 特に印象的だったのは以下である。

p.5

サツケヴァーはヒントンから渡された数本の論文を食い入るように読み、当惑したという。学部課程で学んでいた数学や物理の内容と比べて、その数学があまりに単純だったのだ。彼はディープラーニングに関するこれらの論文を読み、その本質的な原理を理解することができた。「どうしてこれほど単純なのだろう…。さほど手間をかけずに、高校生にも説明できてしまうほど単純なのです」と彼は私に語った。

p.407

ヒントンは Microsoft を説得し、自分たちとの共同プロジェクトのために GPU を購入させようとした。しかし Microsoft は難色を示した。そこでヒントンは皮肉を込めてこう言ったという—「私の所属するカナダの大学は裕福だから GPU を買えます。でも Microsoft は貧しい会社だから買えないのですね。仕方ありません。」

サツケヴァーの先見の明を示すエピソードが色々出てくるのも興味深い。

最後に、和訳本であるから訳についても言及しておくが、全く違和感を感じなかった。 自分は原文を読んでいないのと和訳に関しても特に専門性はないが、機械学習・AI の技術的な内容を含む本としてすんなりと読むことができた。 （最近は AI の発展で翻訳などはかなりやりやすくなったという変化はあるが）技術書の和訳はなかなか読むのが厳しい文章になったりすることがあるが、そういう文章がなかったというのは読み手にとってありがたいことである。 また、重要な技術的単語を中心に、原語も付記してくれているので、今後も引き続き AI の技術的な話題に触れていく人にとって有用だろう。

イマイチだったり残念だったりするところ

数式の表記は、添え字をあまり使わないのがイマイチである。 最初の方で読みやすさのためにできるだけ添え字を使わないという断りがあるが、結果としてこれはかなり読みにくく感じる。 もちろん自分が添え字に慣れているからというのが原因の一部であるとは思うが、慣れていない人にとっても数式としての数字と添え字としての数字が区別しにくくて読みにくいのではないだろうか。 これはちょっと意見を聞いてみたいところである。

この本の惜しいところは、この本（の大部分）を書いたのが LLM が本格的な盛り上がりを見せる前であったということではないだろうか。 初版の発行は 2024 年 7 月らしいが、2020 年から執筆を始めたという記述があり、LLM が盛り上がりの兆しを見せていたというタイミングで、構想段階においてはその後の劇的な進化を十分に取り込める状況ではなかったのではないかと思う。 これは推測だが、その後の LLM の急速な発展を受け、第 12 章や Afterword の Transformer の話がかなり加筆・追加されたのではないかと思う。 ここはどうしてもねじ込んだ感というか、扱うべき内容に対して記述量が不十分な感は否めない印象である。 この部分が 100 ページくらい追加で書かれていたら現代の LLM を踏まえたより良い本になっていたと思うが、実験科学的な話や経験則の話が増えるので、数学の物語という意味では今のままでも十分なのかもしれない。

余談

本書のカバーで他の本がおすすめされていたが、そこに私の『原論文から解き明かす生成AI』も入れてもらっていました。 上の『モデル オブ ザ マインド』は AI の技術的な内容を含む読み物の翻訳本ということで似ているので紹介、私の本は AI が関連する数学を取り扱っているということで関連する（？）ので紹介、ということなんですかね。 なんにせよありがとうございました。