Perl Web Bot Tutorial 2 , Introducere in anonimitate Subiectul urmator
Subiectul anterior

Creaza un subiect nouRaspunde la subiect
Autor Mesaj
DolusD
Betiv Cultivat


Data inscrierii: 20/Iul/2008
Mesaje: 58

MesajTrimis: 21/07/2008 12:16 Raspunde cu citat (quote)Sus

Sunt sigur ca de numeroase ori ti-ai rugat prietenii sa dea click pe nu stiu ce link , ca sa faci puncte in cine stie ce joc . Avand o lista de proxy-uri bune , ai putea sa dai tu solitar click-urile , si uneori sa si scapi basma curata .
Va prezint porțiunea a doua a tutorialului de boti .
Dupa parerea mea , pentru ca o vizita sa para "unica" , headerele trimise de browser trebuie sa difere intre ele . Printre headerele astea se numara :
- Referer
- User-agent
- Accept
- Connection
etc.

Folosind modulul WWW::Mechanize , poti adauga headere mech-ului in felul urmator :

Citat:
$mech->add_header( Header => Valoare)


unde bineinteles , in loc de Header se trece numele unui header si la valoare continutul .
Completand cat mai multe headere poti sa maresti sansele de a parea ca fiind o vizita reala serverului .

Pentru ca Mechanize se bazeaza pe LWP::UserAgent , se poate apela absolut orice metoda ai apela cu un obiect UserAgent . In felul asta , avem acces la metoda proxy , prin care poti specifica schema si proxy-ul respectiv .
Exemplu : daca vrem un proxy pt http , se apeleaza asa metoda :


Cod:
$mech->proxy("http","http://" . $proxy)


pentru exemplul de mai sus consideram ca in variabila $proxy , este un proxy valid .

Pentru a demonstra toate chestiile scrise mai sus am facut un program care :
- accepta o lista de proxy-uri
- are o lista foarte mare de user-agents
- accepta o lista de referral
- poti specifica un numar de vizite care sa-l faca asupra sitului ( vizitele fiind facute doar daca proxy-ul e valid , si ip-ul prin proxy al mech-ului este diferit de ip-ul calculatorului tau ; verificarea e facuta prin ipchicken.com )

Programul poate fi descarcat AICI .
Partea principala din program a fost inlocuita cu "pseudocod" , pentru a nu putea fi folosit decat de cei care sunt capabili sa il reconstruiasca . Toate functiile de care aveti nevoie se afla in fisier . Reconstruirea robot-ului mi se pare un exercitiu cumplit de bun de programare , nu tocmai dificil pentru ca v-am scris in script pas cu pas ce e de facut .
Pentru eficienta maxima recomand folosirea lui cu proxy-uri elite .
In arhiva , pe langa script , se afla o lista mare cu user-agents . Voi trebuie sa va faceti rost de o lista de proxy-uri si de o lista de referreri ( treaba de 2 minute ) .

BTW:Sunteti responsabili de cum il folositi .

Credit: Vhaerun
Vezi profilul utilizatoruluiTrimite mesaj privat
Afiseaza mesajele pentru a le previzualiza:      
Creaza un subiect nouRaspunde la subiect


 Mergi direct la:   



Subiectul urmator
Subiectul anterior


Powered by phpBB © 2001/3 phpBB Group :: Labs by Port-All :: Ora este GMT + 2 ore
Fa-ti si tu propriul forum GRATUIT, pe www.myforum.ro