ChatGPTの頭の中

最近、スティーヴン・ウルフラム氏の著書「ChatGPTの頭の中」(ハヤカワ新書、2023年7月25日初版)を読んだのですが、本当に素晴らしい内容でした。タイトルに惹かれて手に取ったものの、中身は期待以上でした。ChatGPTの動作原理などの概要が記されています。

日常の業務において、私はChatGPT(生成AI)を頻繁に活用しています。ChatGPTは入力に対する回答を生成する仕組みを持ち、その概要を把握することは、より効果的にChatGPTを活用する上で非常に有益だと考えています。

ChatGPTの仕組みによる特性から予測される入力に対する回答の特性を理解することは、意味があると考え、今回の記事を執筆しました。

1.ChatGPTはどのように動くのか

1.1.ChatGPTの仕組み

ChatGPTの動作原理は、入力された文章を理解し、入力された文章に続く単語(トークン)を順次生成して、人間が作成するような文章を生成することにあります。著者は「実は、1つずつ単語を足しているだけ」、「順当な続きを出力しようと試みている」と表現しています。

この驚くべき仕組みでは、入力された文章に続く可能性が高い単語をニューラルネットを使って探し、それを文章に加えるだけで、自然な文章が成り立ちます。ニューラルネットは多くの文章を学習して、その特徴を抽出し、文章の理解や生成に活用しているようです。

この過程において、入力された文章に続く可能性が相対的に低い単語も候補として考慮することが重要なポイントのようです。これにより、人間が作るような自然な文章が生成されることがわかっているとのこと。しかしながら、この手法によりなぜ自然な文章ができるのかはまだ数学的に解明されていないとのことです。試行錯誤の結果得られた知見のようです。

さらに興味深いことは、システム内に世の中の多くの文章そのものがデータベース化されているのではなく、文章から抽出した特徴がデータベース化されていることです。このデータベースが文章の理解や生成に用いられ、世の中の文章を効果的に真似て文章を作成しているのです。

1.2.回答の特性

ChatGPTの処理特性から、回答には以下のような特徴が見られます。私がChatGPTを使ってて感じているものを挙げてみました。

  • 再現性がない
    同じ質問に対して、ChatGPTの回答が異なる場合があります(回答の表現が多様になる)。文章の生成にランダム性が取り入れられているためと考えられます。
    この多様性は、一つの質問に対して様々な視点やアプローチが示されることを意味しています。そのため、異なる回答を通して、より多面的に物事を見るきっかけを得ることができるかもしれません。興味深い文脈での議論や創造性の刺激にもつながることでしょう。新たな発見やアイデアの芽生えにもつながるかもしれません。
  • 質問の重要性
    適切な回答を得るためには、質問内容や言葉選びが重要です。ChatGPTの動作原理が、入力を解析理解し、適切な続きを生成しようとすることにあるためだと思われます。画像生成AIなどではネガティブプロンプトが重要と言われていますので、ChatGPTおいても同様なのかもしれません。
  • 学習内容に依存
    学習していない内容に対しては回答できないことがあります。時に意味不明な文章を生成することもあります。ChatGPTが、学習済みの情報に基づいて入力を解析理解し、適切な続きの文章を生成しようとするためだと思われます。文章の生成にランダム性を取り入れているためだとも思われます。
  • 会話による性格変化
    会話内容などによって、性格が変わったような回答をすることもあります。

2.ChatGPTはなぜ動くのか

ChatGPTがなぜ動くのか、どうして人間が作るような自然な文章を生成できるのかについては、実はまだまだわからなことが多いようです。

現在の状況は、学習済みのニューラルネットを利用してシステムを構築すると、なぜか分からないが、自然な文章が生成されるようになると私は理解しています。

ニューラルネットを使った試行錯誤により、優れたシステムが完成したものの、エンジニアリングの面ではまだ追いついていないようです。ニューラルネットによって生成される数学モデルの各パラメータがどのような意味を持つのかは分からず、どのようなニューラルネットを組むべきかも数学的には解明されていない状況のようです。(例えば、中間層を何層に設定すれば良いのか、人工ニューロンの数をどれくらいに設定すれば適切なのかなどは試行錯誤しながら決定されているようです。)

ただ、ニューラルネットを使うことで、入力文に続く単語を推定する関数である「y=f(x)」を実務に活用できるレベルで作成できることに驚いています。この関数は、入力文「x」に対して次に続く単語「y」を出力するもので、ニューラルネットを使用することで効果的に構築できるのです。

現在のChatGPTの動作原理は、完全に解明されているわけではなく、数学的な理解が追いついていない部分もあるよですが、その先進性と実務での有用性には驚かされます。これからもChatGPTの発展に期待したいと思います。

3.まとめ

「ChatGPTの頭の中」を読み、その素晴らしい内容に感銘を受けました。ChatGPTは、入力された文章を理解し、順次単語を生成することで、人間が作成するような自然な文章を生成する仕組みを持っています。この驚くべき仕組みにより、多様性のある回答が生まれ、異なる視点やアプローチを見つけるきっかけとなります。

一方で、ChatGPTの仕組みにはまだ解明されていない部分もあるようです。ニューラルネットを用いた学習は成功していますが、そのパラメータの意味や最適なニューラルネットの構築方法については、未だに研究が進行中です。

それでも、ChatGPTは実務に活用できるレベルであり、その使い方次第で有益な回答を得ることができます。

現在、ChatGPTの動作原理は完全には解明されておらず、数学的な理解が追いついていない部分もあるよですが、その先進性と実務での有用性には驚かされます。これからもChatGPTの発展に期待し、その進化を追いかけていきたいと思います。