ニュース

baidu encyclopedia は、ai をトレーニングするためにコンテンツがクロールされるのを防ぐために、google/bing やその他の検索エンジンをブロックします。

2024-08-29

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

最近、baidu encyclopedia は、google や bing などのほとんどの検索エンジンをブロックし始めました。これにより、これらの検索エンジンやその他のクローラーが、ai を訓練するために許可なく baidu encyclopedia のコンテンツを取得するのを防ぐことが期待されます。

baidu encyclopedia の robots.txt ファイルによると、現在、baidu search、sogou search、chinaso、yyspider、easouspider などの少数の検索エンジンのみがコンテンツのクロールを許可されています。

google 検索、bing search、microsoft msn、uc browser の yisouppider、およびその他すべての検索エンジン クローラーは、baidu encyclopedia のコンテンツをクロールすることを明示的に禁止されています。

360 search は禁止リストに個別に記載されていませんが、baidu encyclopedia のポリシーではホワイトリスト以外のすべてのクローラーを禁止するため、360 search およびその他の検索エンジンもブロックされます。

しかし、baidu encyclopedia のこのアプローチは、実際には紳士を守るためのものであり、悪者を防ぐためのものではありません。さまざまな方法でコンテンツをクロールし、ai のトレーニングに使用するクローラーが多数存在するはずです。