AIのインサイト

AIボットとクローラーのトラフィック

リンクをコピー

AIボットは、検索エンジン、AIモデルの学習、その他のデータ処理に使用する目的で、公開されたWebサイトをスキャンしてデータを収集します


HTTPトラフィック(ボット別)

リンクをコピー

最も活動量の多いAIボット(トップ5)のHTTPリクエストの傾向

さらに詳しく…

クロールの目的

リンクをコピー

クロール目的別トラフィック量

さらに詳しく…

コンテンツの種類

リンクをコピー

MIME タイプカテゴリー別にグループ化された AI ボットとクローラーに返されたコンテンツタイプの分布

さらに詳しく…

エージェント向け Markdown の削減効果

リンクをコピー

AI ボットとクローラーに HTML の代わりに Markdown を提供した場合のメディアンレスポンスサイズ削減量

さらに詳しく…Data Explorerで表示

レスポンスステータス

リンクをコピー

AI ボットとクローラーに返された HTTP レスポンスステータスコードの分布

さらに詳しく…

HTMLページリクエスト数(クライアント種類別)

リンクをコピー

HTMLページリクエストの割合(クライアント種類別)

さらに詳しく…

クロール対参照比率

リンクをコピー

プラットフォーム別のHTMLページのクロール要求と参照の比率。この変化は前期との比較を反映している

さらに詳しく…

AIボットのベストプラクティス

リンクをコピー

Cloudflareが確認した、主要なAIモデルおよびサービスプロバイダー由来のボットによる集団的な動作。トラフィック量に基づいて分類

さらに詳しく…

AIエージェント向け標準の採用状況

リンクをコピー

スキャン済みの上位 200,000 ドメインのうち ドメインにおける標準の採用状況

さらに詳しく…
エージェント準備度についてWebサイトをスキャンする
これらのチェックは、正常にスキャンされたドメインにおける AI エージェント標準の採用状況を測定します。上位 200,000 のうち、エージェント準備度分析に意味のないカテゴリー(検索エンジン、空のインフラやアクセス不可のインフラなど)は除外しています。すべての標準がすべてのウェブサイトに適用されるわけではありません。たとえば、x402 は有料コンテンツを持つサイトにのみ関連し、WebMCP は AI エージェントにツールを公開するサイトに関連します。

最新のAIブログ記事

リンクをコピー

Cloudflareブログで「AI」のタグが付けられた記事

エージェントが何かをデプロイする必要が出た瞬間、人間のために作られた壁に真っ向から立ち向かうことになります。本日、Cloudflare Workersで一時的アカウントを展開します。すべてのエージェントがwrangler deploy(一時的)を実行し、数秒でライブWorkerを取得できるようになりました。

Sid Chatterjee, Celso Martinho, Brendan Irvine-Broque

Agents SDKは、あらゆるエージェントフレームワークが構築できるランタイムです。本日、Agents SDKプリミティブを公開し、FlueをAgents SDKをターゲットとする最初のフレームワークとして、ダッシュボードでエージェントを展開します。

Thomas Gauvin