V dnešnej digitálnej dobe je ochrana webových stránok pred automatizovaným zberom dát, známejším ako scraping, čoraz dôležitejšia. Jednou z metód, ako sťažiť prácu scraperom, je implementácia dodatočnej záťaže, ktorá sa pre jednotlivých používateľov môže zdať zanedbateľná, ale pri masovom scrapingu sa sčítava a výrazne zvyšuje náklady na tento proces.
Tento prístup slúži ako dočasné riešenie, ktoré umožňuje venovať viac času vývoju pokročilejších metód. Medzi tieto metódy patrí fingerprinting a identifikácia bezhlavých prehliadačov, napríklad prostredníctvom analýzy vykresľovania fontov. Cieľom je, aby sa používateľom, ktorí s najväčšou pravdepodobnosťou predstavujú legitímnych návštevníkov, nemusela zobrazovať stránka s výzvou na preukázanie práce (proof of work).
Je dôležité poznamenať, že systémy ako Anubis vyžadujú použitie moderných funkcií JavaScriptu. Tie môžu byť zakázané rozšíreniami prehliadača, ako je JShelter.
Princíp spočíva v tom, že na individuálnej úrovni je dodatočná záťaž zanedbateľná. Avšak pri masovom scrapingu sa táto záťaž akumuluje a robí proces scrapingu oveľa drahším.
V konečnom dôsledku ide o prechodné riešenie, ktoré poskytuje priestor na vývoj sofistikovanejších techník. Tieto techniky zahŕňajú fingerprinting a identifikáciu bezhlavých prehliadačov (napríklad pomocou spôsobu, akým vykresľujú fonty). Týmto spôsobom sa minimalizuje potreba zobrazovať výzvu na preukázanie práce používateľom, ktorí sú s vysokou pravdepodobnosťou legitímni.
Idem do väzenia za scraping webu?
Systémy ako Anubis vyžadujú využívanie moderných možností JavaScriptu. Tieto funkcie môžu byť deaktivované doplnkami ako JShelter.
Myšlienka je taká, že na individuálnej úrovni je dodatočná záťaž zanedbateľná, ale na úrovni masového scrapingu sa sčítava a robí scraping oveľa nákladnejším.
Toto je v konečnom dôsledku dočasné riešenie, aby sa viac času mohlo venovať fingerprintingu a identifikácii bezhlavých prehliadačov (napríklad prostredníctvom spôsobu, akým vykresľujú fonty), aby sa používateľom, ktorí sú s oveľa vyššou pravdepodobnosťou legitímni, nemusela zobrazovať stránka s výzvou na preukázanie práce.
Upozorňujeme, že Anubis vyžaduje použitie moderných funkcií JavaScriptu, ktoré pluginy ako JShelter zakážu.
Princíp spočíva v tom, že na individuálnej úrovni je dodatočná záťaž zanedbateľná, ale pri masovom scrapingu sa táto záťaž sčítava a robí celý proces oveľa drahším.
Toto je v konečnom dôsledku prechodné riešenie, ktoré umožňuje venovať viac času na fingerprinting a identifikáciu bezhlavých prehliadačov (napríklad prostredníctvom spôsobu, akým vykresľujú fonty), aby sa používateľom, ktorí sú s oveľa vyššou pravdepodobnosťou legitímni, nemusela zobrazovať stránka s výzvou na preukázanie práce.