ChatGPTは、文字を打って使うもの——そう思っていませんか？ じつは、いまのChatGPTは「話せる」し、「見せられる」んです。これを知らないのは、すごくもったいない。
写真を見せて質問する。声で話しかけて会話する。こうした「文字以外」の使い方を、まとめてマルチモーダル（文字・音声・画像など、複数の形をまとめて扱えること）と呼びます。今日は、その身近で便利な使い道を紹介します。
01そもそも「マルチモーダル」って？
むずかしい言葉に聞こえますが、中身はシンプルです。これまでは文字でのやりとりだけでしたが、いまは「写真を見せる」「声で話す」もできるようになりました。人と話すとき、言葉だけでなく、写真を見せたり身ぶりを使ったりしますよね。あの感覚に、ぐっと近づいたイメージです。
02【画像】写真を「見せて」聞ける
カメラで撮った写真やスクリーンショットを渡して、「これ、なに？」と聞けます。これがとても便利です。文字で説明しにくいものほど、見せたほうが早い。具体的な使い道を見てみましょう。
たとえば、海外のメニューを撮って「日本語にして」。読めない説明書を見せて「使い方を教えて」。手書きのメモやホワイトボードを撮って「文字に起こして」。冷蔵庫の中身を写して「これで作れる料理は？」。グラフや書類を見せて「要点だけ教えて」。どれも、打ち込む手間なしで頼めます。
03【音声】話しかけて、会話できる
キーボードを使わず、声で会話できるのも大きな魅力です。スマホに話しかけるだけ。両手がふさがっているときや、長い文章を打つのが面倒なときに、とくに重宝します。
料理や運転の最中に、手を止めずに質問する。覚えたい英語の発音を、声に出して練習相手になってもらう。長い文章を読み上げてもらって、耳で確認する。子どもの「なんで？」攻めに、いっしょに答えてもらう。声だと、文字よりも気軽に、雑談のように使えます。
04合わせると、もっと便利
画像と音声は、組み合わせるとさらに活きます。たとえば、街で見かけた花を写して、声で「これ何の花？育て方も教えて」。旅先で看板を見せながら、話しかけて道を聞く。手を動かしながら、目の前のものについて相談できる。これができると、ぐっと世界が広がります。
05使うときの、ちょっとした注意
便利なぶん、気をつけたいこともあります。写真には、思わぬ個人情報が写りがちです。住所のわかる風景、他人の顔、書類の文字には気をつけましょう。そして、画像から読み取った内容や音声の答えも、ときどき間違えます。大事な情報は、自分でもう一度たしかめておく。この2つだけ、頭の片隅に置いておいてください。
06まずは、一枚見せてみる
むずかしく考えなくて大丈夫です。手元の写真を1枚見せて、「これ何？」と聞いてみてください。あるいは、マイクのボタンを押して、話しかけてみる。「えっ、こんなこともできるの」と、きっと驚くはずです。文字だけのAIは、もう卒業です。
