Reddit подал иск против четырех компаний за незаконный скрапинг своих данных. Три из них — SerpApi из Техаса, литовская Oxylabs и российская AWMProxy — скрапят поисковую выдачу Google и продают данные AI-компаниям вроде OpenAI и Meta. Четвертая — это Perplexity.

Perplexity при этом получала официальное требование прекратить индексировать и удовлетворила его. Но цитирование Reddit в результатах Perplexity выросло в 40 раз. Выяснилось, что они просто стали покупать те же данные у посредников. Reddit устроил ловушку — создал тестовый пост, который мог проиндексировать только Google и который больше нигде не существовал. Через несколько часов этот контент всплыл в Perplexity.

Кто бы мог подумать, что парсинг поисковой выдачи за 20 лет вырастет в настолько доходную индустрию, продукция которой нужна практически всем? С другой стороны, у Reddit есть прекрасный способ гарантированно прикрыть и эту лазейку — запретить индексацию даже Google. И застрелиться.