CloudflareのAI Botに対するブロックが厳しくなるぞ

初めに

どうも、職業エンジニアです。
今日は9/15に控えた「CloudflareがAIボットによるトレーニング目的のアクセスをブロックするようになるよ！って話をしていこうと思います。

検討しなければならないこと

既にCloudflareを利用している場合、ドメイン選択後に「セキュリティ→設定」と進んだ後ちょっとスクロールすると、AIボットによるトレーニング目的のアクセスをブロックするかどうかの選択肢があります。これを9/15のRLまでにどっちか決めて設定しておこうね、というのが検討事項ですね。

注意点

上の画像にもあるのですが、混合目的クローラーなるものに気をつけなければいけません。

9月15日、検索インデックスと AI トレーニングの両方に使用される混合目的クローラーは、AI トレーニングのブロック対象に含まれます。

これを見る限り、どうやら検索エンジンによる周回もブロック対象となる可能性があるようです。もっとも、各検索クローラーがCloudflareのルールにかからないよう、明確にクローラーを分けていたりしますが、まあどこまで弾かれるかは未知数なんですよね。

どっちを選べばいい？

ってことで、とりあえず選択肢とメリデメを書いてみました。
基本的には下の「許可する」を選んでおくのが無難なのではというのが世論っぽいです。

ブロックする（9月15日にブロックされます）

• メリット: サイトのデータがAIの学習に使われるのを徹底的に防げる
• デメリット: 検索エンジンのクローラーまで弾いちゃうかもなので、Google検索とかにサイトが載らなくなる（SEOが死ぬ）リスクがある

許可する（引き続き許可されます）

• メリット: 今まで通り、検索エンジンからのアクセスを維持できる
• デメリット: AIの学習データとしてサイトの情報を持っていかれる可能性がある

で、筆者はどちらを選ぶのか？

上の画像で選択されているとおりブロックを前提にしておくつもりです。基本ブロックにしておいて、Googleとかbingとかのクローラーが弾かれているのであれば、セキュリティルールで通過されるようにすればよいかな、という考え方ですね。

Cloudflareのセキュリティログを見てみると、やっぱり変なボットによるアクセスはかなり多いですし、これをそのまま自サーバーで受けたくない気持ちがどうしてもあるんですよね。今後も更にボットによるアクセス増えていきそうですしね。。個人的にはホワイトリストで管理した方が楽な気がしてるんだよなあ。。

ということで、ブロックで様子見です！

最後に

どうせもともと大してアクセスないからねｗｗ