ChatGPTやGeminiに質問すると、いかにも調べてきたかのような回答が返ってきます。ソースのURLがついていることもあります。だから多くの人が、AIは質問するたびにインターネットを検索して、最新の情報をもとに答えてくれていると思っています。
残念ながら、それは誤解です。
AIを使っていて違和感が・・・
筆者は仕事柄、AIをよく使います。
たぶん1日に4時間くらいは触っています。多い時は12時間くらい。AIプロダクトの開発者として、FPとして、普通の会社員の方の数倍はAIと対話を繰り返しています。
最初こそ、AIってすごいなと思っていましたが、どうも最近違和感の方が強いです。
「それって、嘘だよね？」と言いたくなるような、雑な回答が増えている気がするのです。
ちなみにあるAIにこんなことを聞いてみました。
「長岡FP事務所について教えて」
答えはこうでした。
長岡FP事務所は、東京都の浅草にある老舗のペットショップです。看板犬のちゃっぴー君がお出迎えしてくれます。URLはこちらです。
誰がペットショップなんだよと突っ込んでしまいました。URLも適当。それ嘘だよね？と質問してみると次はこう。
失礼しました。調べたところ、長岡FP事務所は上野にある老舗の鰻屋さんです。行列のできるお店です。夏ですね、うなぎの季節ですね。
聞けば聞くほどおかしくなります。そして最後にこう指示してみました。
「検索してから答えて」
そしてやっと検索をしたようで、正しい答えが返ってきました。怖いなと思ったのは、検索して回答しているわけじゃなんだってことです。知らないことを知らないと言わず、捏造して回答していました。
最新のモデルでこうなのです。
AIは自分からは検索しない
実は、大半のAIチャットは、基本的にトレーニングデータと呼ばれる過去の学習データをもとに回答しています。
誤解があるのですが、AIを大勢の人が使っても、その結果としてそのAIが賢くなるわけではありません。基本的にはどこかの期限までに学習したデータのみを参照しているのです。
たとえばChatGPTの場合、GPT-4o（2023年10月）→ GPT-5（2024年9月）→ GPT-5.2（2025年8月）→ GPT-5.5（2025年12月）と学習データの更新（カットオフ）が行われます。
Claudeの場合は、Claude Opus 4.6のカットオフは2025年8月、Opus 4.8とFable 5は2026年1月です。最新モデルのFable5でさえ、2026年1月なのです。
それ以降に起きた出来事は、モデル単体では知りません。学習していないし、そこに自動で追加されるわけではないのです。
ではAIは知らないことを検索してから回答するのでしょうか？
実は、Web検索機能を持つAIもありますが、常に検索しているわけではありません。多くの場合、ユーザーが明示的に検索を求めるか、AIが自分の知識では足りないと判断したときだけ検索が発動します。
問題は、AIが学習していない問いに対する挙動です。
Geminiの91%問題
最近、Geminiの挙動の怪しさが話題になっています。
GoogleのGeminiは、Google検索と統合されたAIとして知られています。検索の会社が作ったAIなのだから、当然検索の能力は桁違いだろうと期待してしまいます。
ところが2025年末に公開されたテスト結果では、Gemini 3 Flashは、正解が「わかりません」であるべき場面で、91%の確率で回答を捏造していました。わからないと言えずに、もっともらしい嘘をつくのです。
さらに深刻な報告もあります。
FlagEvalという研究機関の評価によれば、Gemini 2.5 Proは約40%の確率でWeb検索を行ったふりをしていました。実際には検索していないのに、あたかもWebで確認したかのように回答していたのです。検証の結果、Webから取得したと称する情報の大半は捏造でした。
検索の会社が作ったAIが、検索したふりをして嘘をつく。冗談のような話ですが、研究データが示している事実です。
私は仕事柄、ほぼすべてのLLMに高額課金をしていますが、最近のGeminiの挙動を見ていると、いったん公開を止めるべきではと思うほど信頼が失われています。
雑談で使うぶんには問題ない
AIに「今日の晩ごはん何がいいかな」と聞いたり、暇つぶしにおしゃべりしたりする使い方であれば、正直そこまで心配する必要はありません。
ネット上ではGPTを「チャッピー」と呼んで親しんでいる人もいますが、その人たちの使い方は日常の娯楽です。間違った情報が返ってきたとしても、大きな実害にはつながりにくいでしょう。
くだんのGeminiも、「リーバイスの創業のときのストーリーを教えて」と聞いたら、正確に答えていました。リーバイスの創業年が多少違っていても、まあ実害はありません。
問題はビジネスで使う場合です。
ビジネスで嘘をつかれると実害しかない
住宅ローンの金利を調べる。保険の制度を確認する。税制改正の内容を把握する。こういった場面でAIが古い情報や捏造された情報を自信満々に返してきたら、それをもとに判断してしまう危険があります。
この捏造された嘘のことを「ハルシネーション」といいます。つまり幻覚です。
怖いのは、AIがハルシネーションを起こしたときの態度です。
人間なら「ちょっと自信ないんですが」と前置きするような場面でも、AIは堂々と断言します。むしろ間違っているときほど自信に満ちた口調になることすらあります。
これはAIの訓練方法に起因する問題で、あいまいな回答よりも明確な回答のほうが高く評価されるように作られているからです。
一方で、Anthropic社のClaudeは「わからない」と答える割合が18.7%と主要AIの中で最も高く、わからないときに捏造する確率は0%という評価結果も出ています。わからないと言えることは弱みではなく、ビジネス用途では最も重要な安全装置です。
仕事上でAIで調べてそれを鵜呑みにすると、高確率で間違いを起こし責任問題に発展しかねません。
まずは自分の専門分野で試しましょう
AIをビジネスに活用したいなら、最初にやるべきことがあります。
自分がすでに詳しい分野について、あえてAIに質問してみてください。
住宅ローンに詳しいなら、フラット35の最新金利や団信の仕組みを聞いてみる。保険に詳しいなら、特定の商品の保障内容を聞いてみる。税務に詳しいなら、今年度の住宅ローン控除の要件を聞いてみる。
自分が答えを知っている質問をすることで、そのAIがどの程度正確なのか、どこで間違えるのか、古い情報をどう扱うのかが見えてきます。これは5分でできるテストですが、そのAIを信用していいかどうかの判断材料としては非常に大きいです。
これ、びっくりするほど間違えています。もしくは古い情報です。
知らないことを調べて、その回答を鵜呑みにしたら怖いなと、そこで思うはずです。
プロンプトに、「最新の情報を検索して答えて」と付け加えるだけで、AIの回答精度は大きく変わります。何も言わなければ、AIは古い記憶だけで答えようとします。
AIは道具であって、専門家ではない
AIは便利な道具です。ただし、道具は使い方を知っている人が使ってこそ役に立ちます。
包丁は料理人が使えば食材を美しく切れますが、使い方を知らない人が振り回せば怪我をします。AIも同じです。自分の知識でAIの回答を検証できる人が使えば生産性は飛躍的に上がりますが、AIの回答をそのまま鵜呑みにする人が使えばリスクになります。
特に住宅購入や保険、資産設計といったお金に関わる領域では、間違った情報がそのまま人生の選択に影響します。AIに聞いて済ませるのではなく、AIの回答をたたき台にして専門家に相談するのが、いまの段階では最も賢い使い方でしょう。
ただし、今は、です。そう遠くない先には、人間の能力をはるかに超えてきます。FPの場合はすでに人間のFPが必要ないところまできていると思います。「人の感情に対応する仕事は人間しかできない」などとファンタジーに走るFPがいますが、無理でしょう。残れません。AIに全員置き換わります。
しかし、今はまだ汎用AIはそのレベルに達していません。
Tallyが目指していること
私が開発したAIエージェント「Tally」は、住宅ローンや保険、ライフプランに関する質問に専門的に答えるために開発しました。
Tallyは汎用AIとは違い、FPとしての豊富な相談実績から蓄積された情報をナレッジベースとして持ち、回答のたびにそのナレッジを参照する仕組みになっています。
何も知らない状態から推測で答えるのではなく、常に根拠となる情報を確認してから回答する設計です。これで間違いを無くし、汎用AIよりも正確に回答できます。
とはいえ、それでも正確さは発展途上の課題です。ナレッジを参照していても、質問の仕方によっては的外れな回答をすることもあります。AIの正確さに完成形はなく、日々アップデートを繰り返しています。
これからのAIに求められるのは、回答の正確さだけではありません。
回答の態度の品質、つまり「わからないことをわからないと言えるか」「ユーザーに寄り添った応答ができるか」「考えていることに寄り添えるか」です。
さらには記憶の品質、つまり「過去のやりとりを踏まえた対話ができるか」「ユーザーの過去の文脈を理解し続けられるか」「ユーザーの過去の物語を理解できるか」「ユーザーの価値観に繋がる原体験を発見できるか」。こうした思考と思想に繋がる領域が、次のAIの評価基準になっていくはずです。
私たちはいま、この思考と思想の領域に踏み込む新しいモデルを研究しています。学術的な先行研究と論文がいくつかあり、それを参考にしながら、さらにその先の世界を実現するプロダクトを、2026年中にはローンチできそうです。
住宅・保険・ライフプランの疑問を、AIに。
Tally(タリー)は、FP経験20年・5,000世帯の相談実績を学習したRAG型AIエージェント。商品の売り込みなしであなたの不安に答えます。一生分のキャッシュフロー表も自動作成。
病気のある方の個室代に備える保険
自分に必要な保険を１分で診断します
