Eredmény: 1 - 7 (7) összesen

Téma: Scrapy proxy nem működik jelszóval - miért?

  1. #1
    búgócsiga Akka logója
    Csatlakozott
    10-05-06
    Hozzászólás
    3.819
    Begyűjtött 1.426 köszönetet
    730 hozzászólásával

    Alapbeállítás Scrapy proxy nem működik jelszóval - miért?

    Sziasztok,

    van egy python-os scrapy cucc, ami egy "proxy.txt"-ből beolvas proxykat így:
    PHP kód:
    PROXY_LIST 'proxy.txt' 
    A proxy.txt tartalma símán ennyi:
    PHP kód:
    http://12.34.56.78:90 
    Ez így megy is.
    Viszont ha jelszót teszek be a proxyhoz úgy, ahogy azt javasolják:

    PHP kód:
    http://username:password@host2:port 
    egyszerűen nem akar működni a dolog.

    A proxy biztos jó, mert más dolgoknál is használom, és ott működik.

    Hibának ezt írja ki:
    PHP kód:
    [<twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>>]
    2017-07-03 21:50:48 [scrapy.proxiesINFORemoving failed proxy <http://12.34.56.78:90> 
    Mi lehet a gond? Elvileg mennie kellene, de aztán mégsem megy.

    Köszi,
    Akka



  2. #2
    Szerkesztő
    Csatlakozott
    12-05-22
    Hozzászólás
    239
    Begyűjtött 48 köszönetet
    41 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    Nincs benne olyan ellenőrzés, hogy ha küldesz azonosítót és jelszót, akkor átvált https-re?
    Az az SSL-es hiba arra utalhat.



  3. #3
    búgócsiga Akka logója
    Csatlakozott
    10-05-06
    Hozzászólás
    3.819
    Begyűjtött 1.426 köszönetet
    730 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    Idézet rudolf a rénszarvas eredeti hozzászólása Hozzászólás megtekintése
    Nincs benne olyan ellenőrzés, hogy ha küldesz azonosítót és jelszót, akkor átvált https-re?
    Az az SSL-es hiba arra utalhat.
    Kerestem ilyen részt, de nam találtam benne.
    Találtam egy ilyet: https://stackoverflow.com/questions/...apy-http-proxy

    Kérdés a nem működő proxyval:

    PHP kód:
    request.meta['proxy'] = 'http://user:pass@123.456.2323:2222' 
    Megoldás:
    PHP kód:
    import base64

    # Set the location of the proxy
    proxy_string choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port
    proxy_items proxy_string.split('@')
    request.meta['proxy'] = "http://%s" proxy_items[1]

    # setup basic authentication for the proxy
    user_pass=base64.encodestring(proxy_items[0])
    request.headers['Proxy-Authorization'] = 'Basic ' user_pass 
    De ezt használva sem indult el a progi.


    Utoljára módosítva: Akka által : 2017-07-03 22:30

  4. #4
    Bölcs earnnet logója
    Csatlakozott
    12-08-15
    Hely
    Budapest
    Hozzászólás
    1.530
    Begyűjtött 687 köszönetet
    485 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    a http://-t szedd ki, nem kell az oda.



  5. Az alábbi felhasználók hálásak a válaszért:

    Akka (2017-07-04)

  6. #5
    búgócsiga Akka logója
    Csatlakozott
    10-05-06
    Hozzászólás
    3.819
    Begyűjtött 1.426 köszönetet
    730 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    Idézet earnnet eredeti hozzászólása Hozzászólás megtekintése
    a http://-t szedd ki, nem kell az oda.
    Így sem akar jó lenni:
    "ValueError: All proxies are unusable, cannot proceed"



  7. #6
    búgócsiga Akka logója
    Csatlakozott
    10-05-06
    Hozzászólás
    3.819
    Begyűjtött 1.426 köszönetet
    730 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    Update:
    feladtam és kitettem a scriptet egy szerverre, a fix IP-jét pedig levalidáltam a proxyknál, így nem kell user/pass.
    Csak át kellett gondolni más logikával a problémát.



  8. #7
    Bölcs earnnet logója
    Csatlakozott
    12-08-15
    Hely
    Budapest
    Hozzászólás
    1.530
    Begyűjtött 687 köszönetet
    485 hozzászólásával

    Alapbeállítás re: Scrapy proxy nem működik jelszóval - miért?

    csak egy kis kiegészítés.
    Megnéztem ezt a cuccot. A lényegi része 10-20 sor, elképzelhető, hogy csinálok helyette egy másikat, ami kicsit korszerűbb. Meg nem látom, hogy kezelné a timeoutokat, ami azért elég általános dolog netről szedett proxy listákkal, hogy 200 proxyból 160 vár a sült galambra. Érdemes lenne valahogy leellenőrizned, hogy valóban a teljes listát feldolgozta-e, nehogy elvesszen néhány request. Aztán azokon újra meghívni, míg az egész kész lesz.

    és még egy kicsi:
    ezt is ajánlom figyelmedbe: https://scrapinghub.com/scrapy-cloud



Könyvjelzők

Hozzászólás szabályai

  • Új témákat nem hozhatsz létre
  • Válaszokat nem küldhetsz
  • Fájlokat nem csatolhatsz
  • A hozzászólásaidat nem módosíthatod
  •