ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

[パシフィックテクノロジーニュース]最近、Baidu Encyclopedia は、Google、Bing などを含むほとんどの検索エンジンのクロール許可をブロックし始めました。この動きは、これらの検索エンジンやその他のクローラーが、人工知能モデルをトレーニングするための許可なしにコンテンツをクロールできないようにすることを目的としています。

Baidu Encyclopedia の robots.txt ファイルの更新によると、現在そのコンテンツのクロールを許可されているのは、Baidu Search、Sogou Search、Chinaso、YYSpider、EasouSpider などの少数の検索エンジンだけです。

Google 検索、Bing 検索、Microsoft MSN、UC Browser の Yisouspider、およびその他のホワイトリスト以外のクローラーによる Baidu Encyclopedia データへのアクセスは明示的に禁止されています。 360 Search は禁止リストに個別に記載されていませんが、Baidu Encyclopedia のポリシーではホワイトリスト以外のすべてのクローラーを禁止するため、360 Search およびその他の検索エンジンもブロックされます。

Baidu Encyclopedia は上記の措置を講じていますが、業界関係者は、これらの方法はほとんどの正規のクローラーのクロールを阻止するだけであり、特別な手段を使用して制限を回避する小規模なクローラーが AI トレーニング用のコンテンツを取得し続けることを完全に防ぐことはできないと指摘しています。