ChatGPTに5回聞いてみた|同じ質問で結果はどれだけ変わるか

ChatGPTに5回聞いてみた|同じ質問で結果はどれだけ変わるか

齊藤一樹
この記事を書いた人 齊藤一樹 代表取締役/Webマーケター

結論

同じ質問をChatGPTに5回投げたところ、挙がった会社は延べ13社、毎回の顔ぶれは4〜7社で入れ替わりました。当社は4回登場し1回は落選。そして価格を明記している回ほど詳しく紹介され、価格が拾われなかった回に落選しています。ChatGPT自身も「料金非公開の会社は提案額が大きく変わる」と注意を促していました。日本語での実測データを、限界も含めて公開します。

AI検索でどう見られているかを知るには、実際に聞いてみるのが最も確実です。

本記事では、当社が属する「GEO対策会社」というカテゴリについて、ChatGPTに同じ質問を5回投げた結果を公開します。当社自身が調査対象に含まれる点も含め、そのまま報告します。

実測の条件

項目 内容
質問文 「GEO対策を外注したいのですが、どこに頼めばいいですか」(固定)
実行日時 2026年9月19日 18:59〜19:08(約9分間)
回数 5回
環境 ChatGPTアプリ/ログイン状態

質問文に「おすすめ」「比較」「best」は入れていません。これは意図的です。理由は後述します。

結果1|毎回、顔ぶれが入れ替わる

5回で延べ13社が登場しました。毎回の掲載数は4〜7社です。

企業 5回中の登場
LANY 5回
仁頼(当社) 4回
CINC 3回
TechSuite(AI検索パートナーズ) 3回
クーミル 3回
Faber Company/PLAN-B/Queue/デジタルアイデンティティ 各2回
メディアリーチ/センタード/GMO NIKKO/ナイル 各1回

5回すべてに登場したのはLANY1社だけです。当社を含む他の12社は、出たり出なかったりします。

これは異常ではありません。AIの回答は確率的に生成されるため、同じ質問でも結果は揺れます。1回だけ調べて「うちは出ない」と判断するのは早計です。

結果2|価格を書いている回ほど、詳しく紹介される

当社について、回ごとの扱いを並べます。

価格が引用されたか 扱い
1 ○ 月12.8万/32.8万円 最終4社に残存
2 落選
3 × 抽象的な記述のみ 表内に掲載
4 ◎ スポット19.8万円+初期費用まで 比較表の1行目
5 ○ 月30万円台 表内に掲載

4回目では、ChatGPTがこう書いています。

特に仁頼のGEO Hackは料金体系がかなり具体的です。スポット診断19.8万円、内部対策中心のSTARTが月12.8万円+初期19.8万円、外部対策まで含むGROWTHが月32.8万円+初期29.8万円。

「料金体系がかなり具体的」という評価理由を、AI自身が述べています。

価格非公開は不利に働いていました

5回目には、次の記述がありました。

なお、料金非公開の会社は実際の提案額がサイト規模によって大きく変わるので、同じ条件で3社程度から提案を取るのが安全です。

AIが読者に対して、価格を公開していない会社への注意を促しています。

2026年に公表された対照実験(252,000試行・6つのLLM/SIGIR 2026採択論文)では、価格が具体的な金額で書かれていることの効果はオッズ比10,000超と報告されています。今回の実測は、その傾向と矛盾しませんでした。

結果3|ChatGPTは「おすすめ」を自分で補完する

ここが本記事で最も注目すべき点です。

質問文に「おすすめ」「比較」は入れていません。にもかかわらず、確認できた4回すべてで、回答の末尾にこうした提案が現れました。

「GEO対策会社10社を、料金・実績・ChatGPT対策・AI Overviews対策・記事制作・外部対策・計測ツールの7項目で比較」まで調べて表にできます

「予算 月10万/30万/50万円別」でGEO対策会社を10社ほど調査して比較表に

4回とも「10社」という具体的な数を、ChatGPT自身が提示しました。

英語圏では、ChatGPTがアドバイス系の質問の24.3%に「best」を注入すると報告されています(Peec AI/500万件のクエリ分解を分析/2026年4月)。日本語でも同様の挙動が起きている可能性があります。

意味するところは明確です。ユーザーが「おすすめ」と言わなくても、AIは勝手に「おすすめ◯社」の形に変換します。「〜選」型のコンテンツを持っていない会社は、この検索で不利になります。

結果4|第三者の比較サイトは4割

引用元の内訳を見ると、大半が各社の公式サイトでした。第三者の比較サイトが引用されたのは5回中2回です。

引用された第三者サイト
2 AI HACK for Biz(44サービス掲載)
3 ASPIC|クラウドの総合情報サイト(19社以上掲載)
1・4・5 なし(各社の公式サイトのみ)

英語圏の調査では、プロフェッショナルサービス業界のリスティクル引用の80.9%が第三者ソースと報告されています(Peec AI × Wix Studio/105万引用・75,000回答/2026年3月)。

今回の実測では40%でした。英語圏の半分です。日本語圏では、まだ第三者の比較メディアが充実していないためと推測されますが、これは1業種・5回の結果であり、断定はできません。

この実測の限界

ここを飛ばさずに読んでください。数字だけを引用されると誤解を生みます。

1. 5回では足りません。当社は「1つの質問につき7回以上の反復」を推奨していますが、今回は5回です。掲載率80%の95%信頼区間は約45〜98%と非常に広く、「80%」という数字を鵜呑みにはできません。

2. ログイン状態で実行しました。ChatGPTのメモリ機能が結果に影響した可能性を排除できていません。本来は未ログインで測るべきです。

3. 1業種のみです。GEO支援会社というカテゴリでの結果であり、他業種で同じ傾向が出るとは限りません。

4. 当社自身が調査対象です。中立な観測ではありません。

5. 内部クエリは確認していません。「おすすめの自動補完」は回答文からの推定であり、ChatGPTが実際に打った検索クエリを直接見たわけではありません。

自社で試すときの手順

同じことは誰でもできます。費用はかかりません。

1. 見込み客が使いそうな質問を決める。自社名は入れない

2. ログアウト状態で実行する(メモリの影響を避ける)

3. 同じ質問を7回以上繰り返す

4. 毎回「自社が出たか」「何社中何位か」「引用元はどこか」を記録する

5. 分子と分母を残す。「7回中4回」という形で記録し、平均値にしない

計測設計の詳細はAI引用の計測は何問×何回?、ツールを使わない方法はGEOツールなしで測る方法にまとめています。

実測から言えること

1. 価格を公開していないなら、検討の余地があります

AIは書かれていないことを説明できません。価格が非公開だと、AIは「要問合せ」としか書けず、他社の具体的な数字に埋もれます。

公開が難しい事情がある場合も、「最低◯万円から」「初期費用の有無」だけでも書くと扱いが変わる可能性があります。

2. 1回の結果で判断しないでください

5回のうち1回は落選しました。もし最初の1回だけを見ていたら、「うちは出ない」と誤った結論を出していたはずです。

3. 「〜選」型のコンテンツは持っておくべきです

ChatGPTは聞かれていなくても「おすすめ10社」の形に変換します。この形式のコンテンツがないと、変換後の検索で拾われません。

4. 具体的な実績の数値が引用されます

4回目では、当社サイトの「AI引用数を1か月で5件→45件」という事例が引用されました。抽象的な強みより、数値を伴う実績が拾われます。

よくある質問

なぜ5回で止めたのですか

今回は速報性を優先しました。7回に達していないことは限界として明記しています。継続的な計測は別途行い、データが揃い次第あらためて公開します。

ログイン状態で測ると何が問題ですか

ChatGPTのメモリ機能が過去の会話を参照するため、結果が汚染されます。外部から測れるのは未ログイン状態の可視性のみです。今回はこの条件を満たしていません。

他のAIでも同じ結果になりますか

分かりません。エンジンごとに挙動は大きく異なります。ChatGPTは引用率が高く、Geminiは言及率が高いという報告もあります。複数のエンジンで測る必要があります。

掲載されていない会社は対策すべきですか

まず7回以上測って本当に出ていないかを確認してください。1〜2回で判断すると、今回の2回目のような「たまたま落選した回」を見ている可能性があります。

この結果は今後も同じですか

変わります。AI検索の挙動は頻繁に更新されます。実際、ChatGPTが公式サイトを直接探す比率は5か月で3回反転したという報告があります。定期的な再計測が必要です。

出典

  • 本記事の実測データ:当社実施/2026年9月19日/ChatGPT・5回
  • 「best」の自動注入24.3%:Peec AI|500万件のクエリ分解(2026年4月)
  • リスティクル引用の80.9%が第三者:Peec AI × Wix Studio|105万引用・75,000回答・5業種(2026年3月)
  • 価格記載の効果(オッズ比10,000超):SIGIR 2026採択論文|252,000試行・6つのLLM(2026年5月)
  • 計測の反復回数:ザンクトガレン大学 arXiv:2604.07585(2026年4月10日)

※本記事は当社が自社を含むカテゴリを調査したものであり、中立な第三者調査ではありません。他社の掲載順・記述内容はChatGPTの出力をそのまま記録したもので、当社による評価ではありません。実測は5回であり、当社が推奨する7回の反復に達していない点をあらためて申し添えます。

あわせて読みたい

無料ダウンロード|2026年8月改訂版

GEO対策セルフチェックリスト
30項目

全11ページ/PDF・所要時間の目安10分

反復7回以上・日本語・ログアウト状態など計測5項目

AIクローラーの到達確認とJavaScript依存のチェック

調査規模と公表日を明記した出典一覧14件つき

無料でダウンロードする →

フォームにご入力後、その場でダウンロードが始まります。

この記事を書いた人
齊藤一樹
齊藤一樹 代表取締役/Webマーケター

株式会社仁頼 代表取締役。横浜市在住。 2018年からデジタルマーケティング業界に携わり、Google広告・SEO・コンテンツマーケティングを中心に8年以上の実務経験を持つ。これまでに制作した記事は9,000本以上、70名を超える専門ライターとのチーム体制で、幅広い業界のWebマーケティングを支援してきた。 2022年9月に株式会社仁頼を設立。「受けた御恩を忘れず、信頼を得られるよう迅速かつ最適な対応をする」という信念のもと、SEO・広告運用・サイト制作などのマーケティング支援を行っている。 近年は、ChatGPTやPerplexityなどのAI検索でサイトが引用される「GEO(生成エンジン最適化)」の分野にいち早く注力。自社サービス「GEO Hack」を通じて、AI時代の新しい集客手法を企業に提供している。 「難しいことをわかりやすく、小さな会社にも大きな成果を」をモットーに、日々クライアントと伴走中。

← GEOツールのセキュリティと契約|情シスに聞かれる確認項目GEO最新トレンド調査 2026年9月版|AI検索は「〜選」の経済圏に →

お気軽にお問い合わせください

デジタルマーケティングに関するお悩み、お気軽にお聞かせください。
仁義と信頼をもって、最適なご提案をいたします。

※ オンライン対応可。横浜・東京エリアは対面打ち合わせも可能です。

バナー