The Jerusalem PostPentagon ignored warnings before Iranian drone strike killed six US soldiers, whistleblower allegesInquirer EntertainmentBianca Gonzalez shares how PBB prepares evictees for outside lifeInquirerAnnual 3-month sardine fishing ban starts in Zamboanga PeninsulaDaily MaverickANC cannot renew itself by looking inwards while voters turn awayZDF heuteEntdecken Sie das ZDF-NachrichtenstudioVilaWebLa CUP aposta pel conflicte amb l’estat espanyol com a via d’avenç socialRTL BoulevardACM: Investeerder HAL mag bouwbedrijf VolkerWessels overnemenSRF NewsGlobale Panne – Alter Programmfehler löste Microsoft-Ausfall ausEgypt IndependentTV host Amr Adib comments on Egyptian state selling lands to pay off debtABC NewsWATCH: New video of tanker collision and riverboat sinkingTechCrunchGoogle Maps can now build trip itineraries with real-time details about each stopVanguardASUP declares indefinite strike at Rivers polytechnic
The Daily Newsstand · Free, Always
Monday, November 16, 2026

無料で高校1年生(数学IA履修程度)を対象に大規模言語モデル(LLM)・GPTの仕組みを数学とプログラミングの初歩から順番に作って学ぶ教材「microgpt-lesson」、Google Colabで動作

Translate

ChatGPTなどのAIは文章を作成したり質問に回答したりできますが、その内部でどのような計算が行われているのかを理解するには数学やプログラミングの知識が必要です。そんな大規模言語モデル(LLM)の仕組みを高校1年生向けの数学から順番に学び、Google Colab上で実際に小さなGPTを作ることができる無料教材「microgpt-lesson」です。

GrEarl/microgpt-lesson: 高校生向けLLM教材: Karpathy microgptベース・Google Colab用
https://github.com/GrEarl/microgpt-lesson

◆microgpt-lessonの始め方
まずブラウザを起動しリポジトリのREADMEにある「Open in Colab」をクリック。


Google Colabで教材が開き、WindowsでもPythonなどをローカルにインストールせずに内容を閲覧できます。


最初に「共通準備(最初に必ず実行してね)」までスクロールし「実行」ボタンをクリックすると日本人名の学習データやグラフ用フォントなどが読み込まれるので、各章のセルを上から順番に実行してグラフや生成結果を確認します。


グラフや動画の実行結果は保存済みなので再実行せずに閲覧でき、データの取得とコードの実行にはインターネット接続が必要です。


ChatGPTなどの大規模言語モデル(LLM)は文字や単語を数値に変換し、確率やニューラルネットワークを使って次に続く内容を予測しています。


microgpt-lessonではGPTの内部構造を高校1年生(数学IA履修程度)の知識から学べます。


◆microgpt-lessonとは
「microgpt-lesson」はAI研究者のAndrej Karpathy氏による小規模なGPTの実装「microgpt」を元に、文字の処理からモデルの学習と名前の生成までを全11章で順番に学べるようにした日本語教材です。


日本語と英語の説明に加えて計算結果を変えられるスライダーやアニメーションが収録され、数学IAの範囲を超える微分やベクトルも解説されます。


◆文字を数値に変えて次の文字を予測
第1章ではコンピューターが文字を扱えるようにひらがなを番号へ変換する「Tokenizer」を作り、「さ」「く」「ら」などの文字列を数字の列に置き換える仕組みを学びます。


続く第2章では直前の文字から次の文字が現れる確率を求め、例えば「さ」の次に出現しやすい文字を棒グラフに表示して、名前の生成が確率に基づく処理であることを確認できます。


◆数学のグラフを使ってAIの学習を確認
予測の外れ具合を表す数値を「損失 loss」と呼び、教材ではこの値を小さくするために、関数の傾きを調べて数値を少しずつ調整する「勾配降下法」を学びます。


第4章のスライダーでは「学習率」を変更するとグラフ上の探索経路が変化し、適切な歩幅で谷底に近づく場合と、大きく動きすぎて目標を通り過ぎる場合を比較できます。


◆Attentionが注目する文字を可視化
第8章ではGPTの重要な仕組みである「Attention(注意機構)」を扱い、Query・Key・Valueという3種類の情報を使って過去の文字との関連度を計算する仕組みを図解します。スライダーでQueryの向きを変えると注目するKeyの重みが変化し…


「さくら」などの名前を入力すると4つのヘッドがどの文字に注目しているかをヒートマップで確認できます。

◆残りの章でGPTの仕組みを完成
このほかにもGPTの学習に必要な計算が各章に用意されており、主な内容は次の通りです。
・第3章:確率・損失・softmax
・第5章:計算グラフと誤差逆伝播
・第6章:文字をベクトルで表現する埋め込み
・第7章:MLPとReLUによるニューラルネットワーク
・第9章:RMSNormと残差接続
・第10章:Adamによるパラメーターの更新

◆完成したGPTで名前を生成
第11章では学習した日本人名の傾向から名前を20件生成し、それぞれが学習データに含まれる名前かどうかも表示されます。


名前の生成画面にある「T」は温度(temperature)という値で、低くすると確率の高い文字を選びやすくなり、高くすると予測のばらつきが増えて生成される名前の傾向も変化します。

◆作者と制作の背景
開発者はGitHubユーザーの「GrEarl」氏で、Karpathy氏がPython約200行でGPTの基本処理を実装した「microgpt」を、数学の基礎から順番に学ぶ形式へ組み替えています。学習用には公開されている日本人名データセット「japanese-personal-name-dataset」を使い、グラフの日本語表示には「IBM Plex Sans JP」、計算のアニメーションには「Manim」を採用しています。

◆まとめ
「microgpt-lesson」はAIの計算をブラックボックスとして扱う代わりに、文字の変換・確率の予測・数学による学習・名前の生成までを順番に追える教材で、特にグラフを操作して計算の変化を確認できる点が特徴となっています。

View the original on GIGAZINE →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.