Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

[Pacific Technology News]Vor kurzem hat Baidu Encyclopedia damit begonnen, die Crawling-Berechtigungen der meisten Suchmaschinen, einschließlich Google, Bing usw., zu blockieren. Dieser Schritt soll verhindern, dass diese Suchmaschinen und andere Crawler ihre Inhalte ohne Genehmigung zum Trainieren von Modellen der künstlichen Intelligenz crawlen.

Laut der Aktualisierung der robots.txt-Datei der Baidu Encyclopedia dürfen derzeit nur wenige Suchmaschinen wie Baidu Search, Sogou Search, Chinaso, YYSpider und EasouSpider deren Inhalte crawlen.

Der Google-Suche, der Bing-Suche, Microsoft MSN, Yisouspider von UC Browser und anderen Crawlern, die nicht auf der Whitelist stehen, ist der Zugriff auf die Daten der Baidu-Enzyklopädie ausdrücklich untersagt. Obwohl 360 Search nicht separat in der Sperrliste aufgeführt ist, besteht die Richtlinie von Baidu Encyclopedia darin, alle Crawler zu verbieten, die nicht auf der Whitelist stehen, sodass 360 Search und andere Suchmaschinen ebenfalls blockiert werden.

Obwohl Baidu Encyclopedia die oben genannten Maßnahmen ergriffen hat, wiesen Branchenkenner darauf hin, dass diese Methoden möglicherweise nur die meisten legitimen Crawler am Crawlen hindern und kleine Crawler, die spezielle Mittel zur Umgehung von Beschränkungen verwenden, nicht vollständig daran hindern können, weiterhin Inhalte für das KI-Training zu erhalten.