Хозяйке на заметку — Cloudflare выкатили новый endpoint в своем API, который делает очень простую штуку — вы запрашиваете его с необходимыми параметрами и адресом сайта, а через некоторое время получаете JSON с полным контентом сайта. Конечно, для этого надо параметрами указать глубину скачивания, необходимость discovery и так далее.

Учитывая, что солидная часть такого контента и так проходит через CDN Cloudlfare, им это проще, чем любому проекту по парсингу сайтов. Тем более, что никто (пока?) от Cloudflare не закрывается. И вряд ли закроется, учитывая, например, что через него ходит Safe Browsing в Safari на всех платформах Apple.

А сколько я возился еще осенью с разными роботами…