GPTBotの巡回
- このフォーラムに新しいトピックを立てることはできません
- このフォーラムではゲスト投稿が禁止されています
1件表示
(全1件)
すべてのトピック一覧へ
投稿ツリー
-
GPTBotの巡回
(タツ, 2023/8/21 8:22)
前の投稿
-
次の投稿
|
親投稿
-
子投稿なし
|
投稿日時 2023/8/21 8:22 | 最終変更
タツ
投稿数: 2447
投稿数: 2447
最近、当弱小Webサイトのアクセス数が一挙に10倍以上に上がり驚いていました。原因を調べてみるとGPTBotのクローラー巡回でした。
このGPTBotは
引用：従って、このクローラーの違いは他のクローラーが検索サイトに登録をするのに対して、AI モデルの精度の向上を目的としている点です。Webページとしてはメリットはあまり無いようです。
当Webページは多くの人に見てもらうこと、参考にしてもらうことを目的としていますので害がなくプライバシーが守られるのであれば特に拒否する必要もないかと考えています。もし正しく利用され発展に少しでも寄与できるのであれば特に問題はないと思います。
ここには拒否する方法としてrobots.textに記述する方法が書かれています。しかし、この方法を利用する場合、既存のXoops Cube Legacyのrobots.textに具体的にどう追加記述したらよいのかよく分かりません。試してはいませんが、ひょっとしたら以下をprotectorのIP拒否リストに列挙すると効果があるかも知れません。
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
このGPTBotは
引用：
https://platform-openai-com.translate.goog/docs/gptbot?_x_tr_sl=auto&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=wapp
GPTBot ユーザー エージェントでクロールされた Web ページは、将来のモデルを改善するために使用される可能性があり、ペイウォール アクセスを必要とするソース、個人を特定できる情報 (PII) を収集することが知られているソース、またはポリシーに違反するテキストを含むソースを削除するためにフィルタリングされます。GPTBot がサイトにアクセスできるようにすると、AI モデルの精度が向上し、一般的な機能と安全性が向上します。以下では、GPTBot によるサイトへのアクセスを禁止する方法も紹介します。
当Webページは多くの人に見てもらうこと、参考にしてもらうことを目的としていますので害がなくプライバシーが守られるのであれば特に拒否する必要もないかと考えています。もし正しく利用され発展に少しでも寄与できるのであれば特に問題はないと思います。
ここには拒否する方法としてrobots.textに記述する方法が書かれています。しかし、この方法を利用する場合、既存のXoops Cube Legacyのrobots.textに具体的にどう追加記述したらよいのかよく分かりません。試してはいませんが、ひょっとしたら以下をprotectorのIP拒否リストに列挙すると効果があるかも知れません。
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
投票数:8
平均点:3.75
1件表示
(全0件)
すべてのトピック一覧へ
