サイトの本文をAI向けデータへ変換、Firecrawlを使う3段階の流れを紹介

何について

Mario氏が、FirecrawlでWebサイトの内容を取り出し、ChatGPTやClaude、AIエージェントへ渡す流れを紹介した。無料のAPIキーを用意し、サイトのURLを指定して、取得結果をAIに渡すという3段階だ。 公式のCrawl案内では、サイトマップやページ内リンクからページを見つけ、Markdownや構造化したJSONへ変換できる。ページ数や対象パスを制限でき、robots.txtによる拒否や取得失敗もあり、「サイト全体」はあらゆるページを無条件で取得できる意味ではない。 確認時の無料枠は月1,000クレジットで、通常のクロールは1ページ1クレジット。JSON出力などには追加消費がある。無料キーの取得と無制限の無料利用を区別し、対象サイトの条件と取得範囲を確認して使う必要がある。時間短縮は投稿者の評価で、今回の比較実測ではない。

なぜ注目

AIへ渡す資料を用意する手間を減らす方法として参考になります。取得範囲と料金条件を押さえることで、小規模な自動化にも組み込みやすくなります。