AIエージェントで楽にスクレイプが可能か検証

 ## ツール検証

現在(2025/10/16)において、各種AIエージェントがあるが、実験したものを記す

## リサーチAgent系

- Perplexity        スクレイピングに向かない。

- Genspark          Perplexityよりマシだがスクレイピングに向かない。

- Comet             不安定でスクレイピングに向かない。

## クラウドブラウザ系

- director.ai(Browserbase)

    - 全部クラウドで動作し便利だが、ややコストが高い。（0.1ドル/時間 ）

    - 非エンジニアでも使える

    - 自動実行ができないっぽい(webhookもない)

    - データベース連携ができない

    - チームメンバーも招待できる

    - 有料でProxyも使える

    - 開発者向けというより事務員向け

            

- Firecrawl

    - この用途に最もあっている気がするが、あまり好きじゃないので評価をスルー

- apify.com

    - apify/website-content-crawler

    - easyapi/website-content-to-markdown-for-llm-training

        - AI時代に向いてるコンテキストクローラーとしてかなり優秀だが、コストが高すぎる！！！５分で$0.202かかってしまった。

        - 自動実行可能

        - データベース連携可能

        - クロールしたページ内でコンテキストの整理ができないっぽいので、今回の用途に向かない（簡単にいうとページのここの表だけを使いたいとか）

- Diffbot

    - 不安定で使い物にならない

# 結論、専用のスクレイパーを汎用性を持たせて自分で作った方がいい。