Scrapy proxy nem működik jelszóval - miért?

**Akka** · 2017-07-03, 21:53

Sziasztok,

van egy python-os scrapy cucc, ami egy "proxy.txt"-ből beolvas proxykat így:

PHP kód:

 PROXY_LIST = 'proxy.txt'

A proxy.txt tartalma símán ennyi:

PHP kód:

 http://12.34.56.78:90

Ez így megy is.
Viszont ha jelszót teszek be a proxyhoz úgy, ahogy azt javasolják:

PHP kód:

 http://username:password@host2:port

egyszerűen nem akar működni a dolog.

A proxy biztos jó, mert más dolgoknál is használom, és ott működik.

Hibának ezt írja ki:

PHP kód:

 [<twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>>]
2017-07-03 21:50:48 [scrapy.proxies] INFO: Removing failed proxy <http://12.34.56.78:90>

Mi lehet a gond? Elvileg mennie kellene, de aztán mégsem megy.

Köszi,
Akka

**rudolf a rénszarvas** · 2017-07-03, 22:03

Nincs benne olyan ellenőrzés, hogy ha küldesz azonosítót és jelszót, akkor átvált https-re?
Az az SSL-es hiba arra utalhat.

**Akka** · 2017-07-03, 22:25

rudolf a rénszarvas eredeti hozzászólása

Nincs benne olyan ellenőrzés, hogy ha küldesz azonosítót és jelszót, akkor átvált https-re?
Az az SSL-es hiba arra utalhat.

Kerestem ilyen részt, de nam találtam benne.
Találtam egy ilyet: https://stackoverflow.com/questions/...apy-http-proxy

Kérdés a nem működő proxyval:

PHP kód:

 request.meta['proxy'] = 'http://user:pass@123.456.2323:2222'

Megoldás:

PHP kód:

 import base64

# Set the location of the proxy
proxy_string = choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port
proxy_items = proxy_string.split('@')
request.meta['proxy'] = "http://%s" % proxy_items[1]

# setup basic authentication for the proxy
user_pass=base64.encodestring(proxy_items[0])
request.headers['Proxy-Authorization'] = 'Basic ' + user_pass

De ezt használva sem indult el a progi.

**earnnet** · 2017-07-03, 23:33

a http://-t szedd ki, nem kell az oda.

**Akka** · 2017-07-04, 09:31

earnnet eredeti hozzászólása

a http://-t szedd ki, nem kell az oda.

Így sem akar jó lenni:
"ValueError: All proxies are unusable, cannot proceed"

**Akka** · 2017-07-04, 19:03

Update:
feladtam és kitettem a scriptet egy szerverre, a fix IP-jét pedig levalidáltam a proxyknál, így nem kell user/pass.

Csak át kellett gondolni más logikával a problémát.

**earnnet** · 2017-07-04, 20:01

csak egy kis kiegészítés.
Megnéztem ezt a cuccot. A lényegi része 10-20 sor, elképzelhető, hogy csinálok helyette egy másikat, ami kicsit korszerűbb. Meg nem látom, hogy kezelné a timeoutokat, ami azért elég általános dolog netről szedett proxy listákkal, hogy 200 proxyból 160 vár a sült galambra. Érdemes lenne valahogy leellenőrizned, hogy valóban a teljes listát feldolgozta-e, nehogy elvesszen néhány request. Aztán azokon újra meghívni, míg az egész kész lesz.

és még egy kicsi:
ezt is ajánlom figyelmedbe: https://scrapinghub.com/scrapy-cloud