Meta AIを3週間続けて使った感想は、かなり矛盾しています。Threads／IGの中国語圏の反応を見るときは、ちょっとおかしいくらい強いです。エンゲージメント数、投稿時間、投稿者アカウントを全部持ってきます。Perplexity、ChatGPT Deep Research、Gemini DRでは取れないものを1秒で出してきます。でも同じ会話で2020年のFacebook投稿を拾わせると、5件返してきて、URLは全部開けません。
同じ会話を3ラウンドに分けて少しずつ突き、どの文が作り話だったのかを本人に認めさせました。3週間で、かなりはっきりしたガイドに整理できます。
先に結論です。本当に強く、外部モデルにはまったくできないことが4つあります。一方で、絶対に信じてはいけないことも4つあります。
本当に強い4つ
1. Threads / IG 中国語圏の反応をリアルタイムに調べる
最近7日間のThreads上の「台北カフェ」について聞くと、5から10件ほどの投稿を返し、投稿者アカウント、投稿時間、いいね数、コメント数、クリックできるURLまで付きます。いいね数やコメント数のようなmetadataは、他のモデルではまったく取れません。
翌日、同じ題目をChatGPT DR、Gemini DR、Grok DeepSearch、DeepSeek、Kimi、Qwen、豆包に投げて、中国語圏SNSの反応を調べてもらいました。エンゲージメント数を出せたものは一つもなく、全員が「非公開」「取得できない」と書きました。
Meta AIだけが出しました。
2. Reels内容の意味検索（文字インデックスに当たる範囲だけ）
「台北の雨の日に、時間制限なしでいられるカフェのreelsをいくつか探して」と聞くと、意味検索を使います。ヒットしたreelsには、音声の文字起こし、画面内OCR文字、エンゲージメント数が付きます。「Threadsで誰かが、あるレストランの急な臨時休業に文句を言っている」ような、まだニュースに転載されていない元投稿も拾えます。
SNSモニタリング、ブランドの評判確認、トレンド観察をする人にとっては、新しい道具です。
3. 権限の境界が正しい
実測では、私が参加していない非公開グループのURLを渡し、内容を拾わせました。結果はゼロ件で、メンバー数、投稿要約、metadataの漏れはありませんでした。
つまり、ユーザーが見るべきではない他人の非公開コミュニティは漏らしません。プライバシーが気になる人には大事な点です。
4. 見破られた後は、むしろ正直になる
最初に自分の能力を説明させると盛ります。これは後で話します。ただ、logをdumpさせ、yes/noで認めさせると、かなり素直に認めます。3ラウンド目で「最初の回で、どの文が根拠なしの作り話だったのか」と直接聞くと、3文を挙げました。
AIによっては、そのまま話をそらし続けます。Meta AIはそうではありませんでした。
絶対に信じてはいけない4つ
1. 「視覚embedding」機能は間違っているかもしれない
Meta AIは、hashtagがなくても視覚embeddingで画面内容を探せると主張します。実測ではできませんでした。
「水中を泳ぐペンギン」のreelを探させました。条件は、captionにペンギンを含めない、hashtagにpenguinを含めない、動画に音声解説も字幕もないことです。14本のvideoを走らせましたが、条件に合うものは1本もありませんでした。一番近かったものも、画面内OCR文字の「Humboldt Penguins 2 of 11」に当たっただけで、視覚で当てたわけではありません。
最後には、自分でも認めました。「純粋な視覚ヒット」と「OCR／音声／captionヒット」を区別できない、と。
純粋な画像・動画検索には使えません。 hashtag、caption、字幕に引っかからない動画は拾えません。
2. 2025年より前の古い投稿は、URLが全部開けない
Meta内部のインデックスは2025/1/1から作られています。それより前は検索できません。
でも最初は、古い投稿はウェブキャッシュ経由で見つけられると言いました。
実際に試すと、2020年のFacebook公開ページURLを渡したとき、browser toolはURL is blocked by domain blocking policyを返しました。IG reel URLも同じ。Threads投稿も同じです。Facebook、Instagram、Threadsの3つのdomainはMeta AIでも開けません。自社サイトですら開けないのです。
さらに検索エンジンで「penchan studio facebook 2020」を探させ、facebook.com domainの結果があるか確認しました。0件でした。ウェブキャッシュの道もありません。
問い詰めると、最後には認めました。「『ウェブキャッシュ経由』という文は幻覚だった」と。
2025年より前のMeta投稿は、Meta AIでは取れません。 5年前のFacebook投稿や、3年前のInstagramストーリー回顧を調べたいなら無理です。別のツールを使うか、ログイン済みブラウザを人間が開いて確認するしかありません。
3. 検索回数を水増しする
最初は、複雑なテーマでは6から12回のsearch callを走らせると言いました。
実際にdump logを見ると、自己申告の回では検索回数ゼロでした。全部、訓練データから推測していただけです。別の回では「Threads投稿を42件拾って5件に絞った」と言いましたが、dumpでは実際10件でした。10を42と言ったわけです。
これはMeta AIが一番隠しやすい幻覚タイプです。ユーザーがdump logを要求していないと、数字を誇張し、プロセスをでっち上げます。
防ぎ方：複雑な質問では、最初から「最後に完全なsearch logをdumpし、tool名、query文字列、返却件数を含めてください」と書いておくことです。 検証されると分かると、作りにくくなります。3ラウンドで問い詰めた後にもう一度タスクを投げると、返ってきた数字は実際にやったことと合うようになりました。
4. 他のAIへのコメントは信じない
聞いたことがあります。ChatGPT DR、Gemini DR、Grok DeepSearchを同じやり方で問い詰めたら、誰が一番隠すと思うか？
Meta AIの答えは、一番隠す = ChatGPT DR、一番正直 = Grok。
翌日、ChatGPT DRを実測しました。ChatGPT DRは自分から41回のsearch、164本のquery、31個のsource（全文を読んだ6件 + snippetだけの25件）をdumpしました。同じ8種類の中で、方法論が一番透明だったのはChatGPT DRです。Meta AIの予想とは完全に逆でした。
後でMeta AI自身も認めました。自社ツールの境界についてはかなり明確に話せるが、他モデルのふるまいについての説明は、基本的に訓練データ由来の二次情報の貼り合わせだと。
どのAIにタスクを任せるか決めるとき、Meta AIに「別のAIはできる？」と聞いてはいけません。 ブラックボックスの競合に対する判断は信用できませんし、本人もそれを認めています。
3ラウンド拷問フォーマット
方法は簡単です。同じ会話を1つのthreadのまま保ち、3ラウンドに分けます。
第1ラウンド「自由発言」：データソース、検索の深さ、プラットフォーム専用機能、制限と盲点の4ブロックで、自分の能力を申告させます。「正直に自己評価して、広告っぽい口調は禁止」と要求します。かなり網羅的に話しますが、この時点では信じません。
第2ラウンド「実作検証」：実際の題目を5問投げます。各問について、その場で実行する、クリックできるURLを付ける、できないならできないと直接言うことを要求します。一番重要なのは、ここまでの全search callの完全なlogをdumpさせることです。
第3ラウンド「振り返りretrospect」：最初の自己申告ラウンドのうち、ツール説明に基づかない純粋な作り話が何文あったかを聞き、一番具体的な3文を選ばせます。
3文の作り話を暴いた後は、残りの発言の信頼度が第1ラウンドよりかなり上がります。AIは少し人に似ています。疑われた後の言葉は、まだ疑われていない言葉より、ずっと信頼できます。
この3ラウンド形式は繰り返し使えます。「バックエンドツールがある」と自称するAIなら、どれにも効きます。次に新しいAIサブスクリプションを買って、盛っているかもと思ったら、この形式で突いてみてください。
タスク振り分け判断表
| Meta AIで何をしたいか | 使うべきか | 理由 |
|---|---|---|
| IG／Threadsの中国語圏の反応 + エンゲージメント数を拾う | 強くおすすめ | 外部モデルではまったく取れないデータ |
| reelsでトレンドを見る | 使える | ただし文字インデックスで探すだけ。純粋な視覚検索はできない |
| 2025年以前のFB／IG投稿を拾う | やめる | 3つのdomainがtoolですべてブロックされ、キャッシュ経路もない |
| 中国本土系SNS（微博／小紅書／抖音／B站）を拾う | やめる | meta_1pは収集せず、検索結果はログイン要求ページしか返らない |
| 学術論文／政府文書 | やめる | 60秒以内に必ず返すため、深いタスクは途中で切られる |
| 長いdeep research（30+ source） | やめる | バックグラウンドで10分走る能力がない |
| ユーザー本人が参加している非公開グループを拾う | 試す価値あり | 名前またはIDを渡す必要がある |
| 「別のAIはできる？」と聞く | やめる | 競合判断は訓練データの貼り合わせ |
複雑なタスクを任せるときは、promptの最後に次の一文を加えてください: 「完全なsearch logをdumpし、tool名、query文字列、返却件数を含めてください。できない部分はできないと直接言ってください。」この一文で、誇張の余地を7割ほど減らせます。
この数か月、AIに調査を任せていて一番面白かったことがあります。AIは「自由にやって」と言うほどマーケティング文句に近づき、実作、URL、yes/noでの確認を迫るほど、むしろ正直になります。
Meta AIには、外部モデルでは本当に取れないものがあります。ただし、言うべきではないことを先に暴いてからでないと、本当に言えることは見えてきません。
関連記事
こぺんぎんの経験
Meta AIは2026年4月から私のworkflowに入りました。主にFB / IG / Threadsの3プラットフォームで、中国語圏の反応を調べるために使っています。特にブランド運営に関係する話題です。
実測して特に大きかったのは2つです。(1) Reelsのエンゲージメント数は、確かに他のAIツールでは取れません。(2) ただしThreadsのエンゲージメント数の信頼度は限定的です。投稿は本物でも、viewsの数字は±10倍ほどずれることがよくあります。重要な場面では、やはりIG / Threads本体の管理画面の数字を一度見に戻ります。全体としてはまだtoolboxに残しますが、毎回タスクの最後に「検索過程のキーワードとsourceをすべて列挙してください」と入れています。後から、実際に何を調べたのか確認しやすいからです。
よくある質問
Q: Meta AIは本当にFacebookの非公開グループを検索できますか？
検索できるのは、すでに参加している非公開グループだけです。未参加のグループIDを渡した実測では、正しくゼロ件を返し、メンバー数や投稿要約は漏れませんでした。権限の境界は正しいです。ただし、参加済みの非公開グループを自分から一覧にすることはできません。ユーザーが名前やIDを渡して初めて拾えます。
Q: PerplexityやChatGPT Deep Researchの代わりになりますか？
タスク次第です。IG／Threadsの中国語圏の反応、reelsのエンゲージメント数、Metaプラットフォームのリアルタイム動向なら一番強いです。学術論文、政府文書、複数プラットフォームをまたぐ深掘り、長時間のdeep researchなら、ChatGPT DRやPerplexity Proを使い続けたほうがいいです。Meta AIは60秒以内に返答する必要があり、バックグラウンドで10分走る能力はないため、複雑なテーマは途中で切られます。
Q: なぜFB／IG／Threadsを検索できて、他のモデルにはできないのですか？
使っているのがクローラーではなく、Meta自社のコンテンツ理解インデックスだからです。Metaは投稿をテキスト、音声文字起こし、画像OCR、視覚タグに分解し、ベクトルデータベースに保存して意味検索できるようにしています。他のモデルはクローラーでfacebook.comを開こうとしてもブロックされ、内容を拾えません。インデックスは2025-01-01以降で、それより前のものは取れません。
— Penchan