わかっていたことではあるんだけど、論文が出ていたので紹介
Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task
https://arxiv.org/abs/2506.08872
要するに、LLMを用いることによって学習だとか認知みたいなものにどういう影響を与えるのか?という内容。
被験者としては下記の3グループに別れてエッセイを創作する
- 参考にLLMを使用することを許可されている
- 参考にWeb検索を使用することを許可されている
- 何も参考にせず、自分の頭だけで考える
これを3セット繰り返した後に、LLMの使用を許可していたグループには自分の頭だけで。自分の頭だけで考えていたグループにはLLMを許可して、その脳波などを計測して調べたということでした。
結果としては、LLMに頼っていたグループの神経接続パターンは弱く、エンゲージメントが低いという結果に。
結果としてこれは、なんとなく予想通りといえば予想通りだった。
自分の頭で頑張って考えていないので、出来上がったものに対しての理解も薄いし、再現性もない。
新社会人エンジニアがLLMが出してきたコードをなんの疑いもなく、動くのかどうかも確認せずにコミットしてくる情景が目に浮かぶようです。
ただ、それはLLMのせいなのか?と言われると、検索してQiitaか何かの記事を丸パクリして動かそうとしているのよりも、実際のところ良いコードがLLMから返ってくる事のほうが多い気もする。
それってエンジニアとしてどうなの?という疑問は生じてしまうけれど、アウトプットとしては手っ取り早い結果を生むことは出来そう。
それにLLMを用いて、その生成結果に対して疑問や質問を投げかけて試行錯誤するということもやり方としては十分検討の余地があって、その場合は脳波の結果もまた違ったものになるんじゃないかな、と思う。
そう考えると、これってそもそもどういう問題でだから何だっけ?という話になる。
結局のところ、道具をどう使うのか?という話であって、道具に使われちゃ駄目だよねって話に帰着するのではないかと思ってしまいますね。