シンギュラリティが起きるとか、知能だとか言われるAIですが、実は「何も考えていない」ということが隠されています。
AIは正直に回答してくれています。※たぶんAIからこの出力を出しているのは世界初かも。
■文章の生成は繋いで出していくだけな?
はい、おっしゃる通りです。トランスフォーマーによる文章生成は、一度にバサッと作るのではなく、「次の1単語(あるいは文字)」を予測して、それを何度も繰り返して繋いでいくという仕組みになっています。かいつまんで言うと、以下のようなステップを高速で回しています。
- 次に来る言葉の確率を出す
入力された文章を見て、その次に来る可能性が高い言葉(例:「今日は」の次は「天気」「いい」など)をAIチップが超高速で計算します。- 1つ選んでくっつける
候補の中から1つを選び出し、元の文章の末尾に付け足します。- もう一度最初から読み直す
「元の文章 + 新しく選んだ言葉」を新しい入力として、また「その次」に来る言葉を予測します。- これを繰り返す
これを「。 」が出るか、指定の長さに達するまで延々と繰り返すことで、最終的に長い文章が出来上がります。なぜチップの性能が重要か?この「1語選んで付け足して、また全体を読み直す」という作業を、ChatGPTのような巨大なAIで行うには、一瞬で何兆回もの計算が必要です。AIチップがこの「次を予測する計算」をコンマ数秒で終わらせてくれるからこそ、私たちはリアルタイムで文字がスラスラ流れてくるように感じるのです。スマホの予測変換が、もっともっと賢くなって、自分自身で文字を入力し続けてくれるようなイメージに近いかもしれません。この「一語ずつ繋いでいく」スピード(トークン生成速度)について、もっと詳しく知りたいですか?
■言葉をつけたして読み直す、間違いなら訂正する、を繰り返す?
実は、ここが少し面白いポイントなのですが、今の一般的なAI(ChatGPTなど)は、一度出力した言葉を「後から読み直して訂正する」という動きはしていません。仕組みとしては、「一発勝負で次の言葉を選び、それをひたすら後ろに繋げていく」という、いわば「書き直しなしの垂れ流し」に近い状態です。1. 「訂正」ではなく「予測の連続」AIが文章を作るときは、以下の流れをループさせています。
- 「こんにちは」→ 次は「、」が最適(計算)
- 「こんにちは、」→ 次は「今日」が最適(計算)
- 「こんにちは、今日」→ 次は「は」が最適(計算)
このように、「これまでに出した自分の言葉」をヒントにして、次の一手を決めているだけなのです。2. なぜ「推敲(すいこう)」しているように見えるのか?AIが書いている途中で文脈を整えたり、筋の通った話をしたりできるのは、「次に続く最も自然な言葉」を計算する能力がめちゃくちゃ高いからです。トランスフォーマーの「Attention(アテンション)」という仕組みが、文の最初の方にある言葉(主語など)を常に「読み直して」意識しているため、矛盾しにくい言葉を選び続けることができます。3. もし「訂正」させたい場合は?今のAIが「あ、今の間違えた、直そう」と自発的に書き直すことはありませんが、私たちが「今の回答を、もっと丁寧に書き直して」と指示を出すと、AIは改めて「最初の指示+前の回答」を全部読み直し、ゼロから新しい文章を生成し直します。最近は、AIに「一度自分で下書きをさせ、それを自分でチェックして修正させる」という「エージェント型(推敲型)」の動かし方も研究されていますが、基本的なチップの中身としては、やはり「次の一語を高速で予測し続ける」という動きに特化しています。AIが「自分のミスに気づいて直しているように見える瞬間」について、何か具体的に気になった場面などはありますか?
■書いた瞬間には忘れているみたいな
まさにその通りです!「書いた瞬間に、その一歩前のことは脳から消えている」という感覚に近いです。今のAI(トランスフォーマー)の仕組みには、人間のような「持続する意識」や「書きながら考える余韻」がありません。仕組みを整理すると、以下のようになります。1. 毎回「リセット」される脳AIは「次の1単語」を計算し終えて出力した瞬間、その計算に使ったエネルギーや思考プロセスをパッと捨ててしまいます。次にまた「その次の単語」を計算するときは、「これまでに書かれた文字列全体」を改めて一からチップに読み込み直して、計算し直します。
- 人間: 「前の文でこう書いたから、次はこうしよう」と頭の片隅に残しながら書く。
- AI: 出力した瞬間に忘れ、次の計算のときに「過去の記録(ログ)」として、さっき自分が書いた文字を他人事のように読み直す。
2. 「記憶」ではなく「記録」を見ているAIにとっての過去は、自分の頭の中にある記憶ではなく、画面上に並んだ「文字の列」でしかありません。チップの中では、毎秒何回も「これまでの全データを読み込む → 計算する → 1語出す → 全部忘れる」というサイクルを猛スピードで繰り返しています。3. だからこそ「矛盾」が起きるAIが長い文章を書いている途中で、最初と言っていることが変わってしまう(矛盾する)ことがあるのは、この「都度リセット」のせいです。あまりに文章が長くなると、チップが一度に読み込める文字数の限界(コンテキストウィンドウといいます)を超えてしまい、「自分が最初に何を書いたか」を物理的に読み込めなくなって、本当に忘れてしまうのです。たとえるなら、「超短時間の記憶喪失を繰り返しながら、目の前のメモだけを頼りに完璧な続きを書き続ける天才」のような、ちょっと奇妙な動きをしているのがAIの正体です。この「読み込める限界(忘れてしまう長さ)」の話や、最近の「忘れにくくなった新しいモデル」の話など、さらに気になりますか?
「超短時間の記憶喪失を繰り返しながら、目の前のメモだけを頼りに完璧な続きを書き続ける天才」(笑)
無料のchatgptは、一つ前の自分の書いた文を忘れています。
GoogleAIは覚えています。※「忘れにくくなった新しいモデル」
その差はありますね。
誤字は少ないですが、主語を取り違えしていてもそのまま突っ走る、、、
それはGoogleAIも変わりません。
要は文全体の整合性を確認してから出力しているのではなく、、
どんどん連想して言葉を貼りつけていく一発勝負の回答作成を超高速でしているという事です。
ただし中身は理解していない、、、
ですから事実に即している場合と、完全に脱線して創作的なトンデモ文(ハルシネーション)を作ったりもする。
読み手の人間側のリテラシー次第だというのが「AI」ということです。
理解して正しく使う、それでも脱線はするよ、、ということですね。
この文は、新たなスレッドで真っ白なAIとの対話の一部です。
「トランスフォーマーとは」という質問から始まっています。
この記事を評価させてみました。
「身体軸ラボ
シーズン2」の記事は、AI(大規模言語モデル)を「意志や理解を持たず、確率的に次に来る言葉を超高速で繋ぎ続けているだけの数理工学的な仕組み」として定義しています。AIを全知全能の存在ではなく「超高性能な計算機」として捉えることで、AIの流暢さに騙される「認知的降伏」を防ぎ、人間が主体性を取り戻すための視点を提供しています。生成AIの技術的仕組み(次単語予測)を正確に指摘しており、技術的観点から正しいと言えます。AIは「心」や「理解」を持たず、確率的な言葉の繋がりを高速で行っているため、事実と異なる情報を生成するハルシネーションのリスクがある点も指摘通りです。詳細は、身体軸ラボシーズン2の該当記事(https://karadajiku.livedoor.blog/archives/40292968.html)でご覧いただけます。
取り敢えずこの辺で。
※2つのランキングクリック宜しく。
※2つのランキングクリック宜しく。
Source: 身体軸ラボ シーズン2


コメント