J. of Taroten

ChatGPTによる論文作成可能性 (C3面: 研究者の生態, 2023.4.5)

何か文書を出せという要請が・・

　「教務部長 から AIを利用した対話型サイトの利用 に関する学生あて文書，教員あて文書を発出するように」と言ってくる人がいて，ちょっと困ったもんです。「まず，教務部長/学生部長/メディアセンター長で下書きして，実務的な文章を固めたあとで，学長に格調高い理念的な文章を添えてもらうのがいいのではないか」と段取りを言ってくる人もいて・・。そんなやり取りを聞いていた入学式待機中の理事長が「レポートとはそもそも自分の思いを教員にぶつけるためのものなんだから，それを回避するためにそういう技術を使ってはだめで，もっと学生さんには，失敗を恐れずチャレンジするためにこういう技術を使ってもらいたい，と僕なら書くね」と言ったとか言わなかったとか・・。

論文のIntroduction執筆がAIにとって得意分野

　「論文とはそもそも自分の思いを学術界にぶつけるためのものなんだから」と論文執筆へのAIの応用可能性を検証してみました。「旧帝大系の先生方は，大学院生が書く論文に対して，ろくに読みもせず，優雅に自分の名前を著者の最後に書き入れているんじゃないの」という妄想を(初歩的なミスを含んだ論文を査読する際などに)ときどき持つのだが，学生に任せて一番学生が苦戦しそうなのが，Introductionである。ChatGPT (たろてんが使用する場合は，googleのアカウントでログイン)は新しい知識を創造したりはしないので(ときどき想像したりはするようだ)，結果や考察を書いてくれないが，もっとも学生が難渋しそうなIntroductionを書くのは，これまでの知見を整理し文章化するという，AIがもっとも得意とする分野と想定される。さらに，英語でChatGPTに質問すれば，自然な英語で答えてくれるのも利点となる。

周辺知識をまじえてうまい文章を生成

　「トリクロロフェノールを測定する方法を教えてください」と英語でChatGPTにきくと，3段落くらいで答えてくれ，まず，第1段落で「トリクロロフェノールは，こういう用途があって，こういうところから検出される」と，訊いてもいないのに論文のIntroductionにありがちなことから答えてくれる。多分，測定法の論文のIntroductionを集成して持ってきているようです。で，測定法について「GC, LCで測定でき，MSやUV-VISを検出器とする」といったことが続く。「GC/MS, LC/MS, LC-UVは良いけど，GC-UVはないがな」と細かくつっこみたくなるが，そこは大目に見て，合格ラインです。

「根拠を教えてください」と入力するとAIにはプライドがない

　そのChatGPTが出力した内容を論文のIntroductionにするためには，それぞれの記述がどの文献に対応するのかを知る必要がある。そこで，「根拠となる文献を教えてください」とChatGPTにきくと，文献を教えてくれるのだが，行きつかない文献がある。文献名や巻号，ページなどもAI的に集成して出力している疑いがあります。「そういう文献はないんだけど」と再質問。「ごめんごめん，こっちが本当の参考文献です」ということで，「えっ　AIが謝るんだ。だったら，最初から正しい文献出せよ」って感じ。「トリクロロフェノールをトリクロロアニソールに変換する細菌を教えて」ときくと，「Pseudomonas」とか自信満々に答えてくれるのだが，「真菌の話はよく聞くけど，本当に細菌が変換するのか」と強めに詰問すると，あっさり前言を訂正してくるので，「AIにはプライドがない(こちらの間違った仮説に自説を合わせてくる)」ことがわかりました。