AI 인사이트

AI 봇 및 크롤러 트래픽

링크 복사

AI 봇은 검색 엔진, AI 모델 학습 및 기타 데이터 처리 작업에 활용되는 데이터를 수집하기 위해 공개 웹 사이트를 스캔합니다


봇별 HTTP 트래픽

링크 복사

가장 활발한 상위 5개 AI 봇의 HTTP 요청 추세

자세히 알아보기

크롤링 목적

링크 복사

크롤링 목적별 트래픽 볼륨

자세히 알아보기

콘텐츠 유형

링크 복사

MIME 유형 카테고리별로 그룹화된 AI 봇 및 크롤러에 반환된 콘텐츠 유형 분포

자세히 알아보기

에이전트용 Markdown 절감

링크 복사

AI 봇 및 크롤러에 HTML 대신 마크다운을 제공할 때의 중간 응답 크기 감소율

자세히 알아보기Data Explorer에서 보기

응답 상태

링크 복사

AI 봇 및 크롤러에 반환된 HTTP 응답 상태 코드 분포

자세히 알아보기

클라이언트 유형별 HTML 페이지 요청

링크 복사

클라이언트 유형별 HTML 페이지 요청 점유율

자세히 알아보기

크롤링 대 리퍼럴 비율

링크 복사

플랫폼별 HTML 페이지 크롤링 요청 대 HTML 페이지 리퍼럴 비율. 변화는 이전 기간과 비교한 결과입니다.

자세히 알아보기

AI 봇 모범 사례

링크 복사

Cloudflare가 트래픽 양을 기준으로 주요 AI 모델 및 서비스 공급자의 봇으로부터 관찰한 집단 행동

자세히 알아보기

AI 에이전트 표준 채택 현황

링크 복사

스캔된 상위 200,000개 도메인 중 개의 표준 채택 현황

자세히 알아보기
웹 사이트의 에이전트 준비 상태 스캔
이 점검은 성공적으로 스캔된 도메인에서의 AI 에이전트 표준 채택을 측정합니다. 상위 200,000개 중 검색 엔진, 빈 인프라, 연결 불가 인프라 등 에이전트 준비 상태 분석에 의미가 없는 카테고리는 제외합니다. 모든 표준이 모든 웹사이트에 적용되는 것은 아닙니다. 예를 들어, x402는 유료 콘텐츠가 있는 사이트에만, WebMCP는 AI 에이전트에 도구를 제공하는 사이트에만 해당됩니다.

최신 AI 블로그 게시물

링크 복사

Cloudflare 블로그에서 'AI' 태그가 붙은 게시물

에이전트가 무언가를 배포해야 하는 순간, 인간을 위해 구축된 벽에 정면으로 부딪히게 됩니다. 오늘 Cloudflare Workers에서 임시 계정을 출시합니다. 이제 모든 에이전트에서 임시로 wrangler 배포를 실행하고 몇 초 만에 Worker를 활성화할 수 있습니다.

Sid Chatterjee, Celso Martinho, Brendan Irvine-Broque

Agents SDK는 이제 모든 에이전트 프레임워크를 구축할 수 있는 기반이 되는 런타임입니다. 오늘 우리는 Agents SDK를 대상으로 하는 첫 번째 프레임워크로 Flue를 사용하여 Agents SDK 기본 요소를 개방하고 대시보드에서 에이전트를 출시합니다.

Thomas Gauvin