Eredmény: 1 - 4 (4) összesen

Téma: Link ellenőrzés Parancssorból vagy GUI-s eszközzel

  1. #1
    Mentor arth2o logója
    Csatlakozott
    10-03-11
    Hely
    Győr
    Hozzászólás
    408
    Begyűjtött 7 köszönetet
    2 hozzászólásával

    Alapbeállítás Link ellenőrzés Parancssorból vagy GUI-s eszközzel

    Nem igazán PHP téma, nem találtam neki megfelelőt. Ellenben lehet hogy érdekelhet másokat is egy ilyen csoportos link ellenőrzés. Amit egy kis programozási ismerettel be lehet automatizálni.

    Keresgettem a neten link ellenőrzési lehetőségek után és rábukkantam erre az érdekes összefoglalóra: _http://twitt.hu/Qr

    A cikk lényegében Linuxos parancssoros és grafikus felülettel rendelkező link ellenőrző binárisokat mutat be. Ezek a programok nagyon jól paraméterezhetők. (ezekben az a szép, hogy bármit csinálhatsz vele.. építhetsz rá grafikus felületet vagy PHP-ből is hívhatod)

    Ubuntun:
    Kód:
    sudo apt-get install linkchecker linkchecker-gui
    Windowson:
    _http://linkchecker.sourceforge.net/

    A GUI-része jó lenne, de az adatokat nem tudod exportálni belőle

    Ebből a sorból a linkchecker nevűt emelném ki, rendkívül jól paraméterezhető és a kimenetet többféle formátumba tudja nyomni. (SQL (insert), CSV, Txt, HTML, etc..)
    - Ha kell vírust ellenőriz az adott oldal tartalmában
    - CSS és HTML validációról tájékoztat
    és még sorolhatnám mire képes de inkább bemásolom a man-ját:

    Linkchecker MAN:
    _http://pastebin.com/VStJ4UsR

    A lényeg:
    - időigényes folyamat (nem ugrik át a linkeken hanem komolyan nekifut többször)
    - kimásolod az összes linked egy fájlba sima html link.
    - ráereszted az ellenőrzőt ő elkészíti az adatbázis
    - az adatbázis alapján már látni fogod melyik linked bibis és azt kikapcsolod.

    pl.: egy parancsra (itt lehetett volna 1000 variáció)

    HTML kód:
    linkchecker http://domain.tld/linkek.html --recursion-level=1 --output=sql | tee -a sql-adatok.sql
    ~1000 Link ~60 perecke


    Utoljára módosítva: arth2o által : 2010-12-23 20:13 Oka: windowsos kiegészítés

  2. #2
    Bölcs benedictus logója
    Csatlakozott
    10-04-23
    Hozzászólás
    1.574
    Begyűjtött 2 köszönetet
    2 hozzászólásával

    Alapbeállítás re: Link ellenőrzés Parancssorból vagy GUI-s eszközzel

    Minden álmom linux konzolban linkeket ellenőrizni



  3. #3
    Mentor arth2o logója
    Csatlakozott
    10-03-11
    Hely
    Győr
    Hozzászólás
    408
    Begyűjtött 7 köszönetet
    2 hozzászólásával

    Alapbeállítás re: Link ellenőrzés Parancssorból vagy GUI-s eszközzel

    2 óra 3 perc alatt 7700 linket ellenőrzött le a rendszer, és ez alapján ~550-et töröltem le. A linkchecker 2 óra alatt átfutott a linkeken (én 17 perc alatt töröltem őket.. közben mentés, ellenőrzés, miegymás) és ahogy elnéztem a keletkezett adatokat, egy csomó minden mérlegel mielőtt eldönti hogy a link megfelelő-e.

    Közben a DB meglett neten, ha valakinek segít:

    Kód:
    CREATE TABLE linksdb
    (
    	`id` INT UNSIGNED NOT NULL AUTO_INCREMENT,
    	`urlname`        VARCHAR(1024) NOT NULL,
    	`recursionlevel` INT NOT NULL,
    	`parentname`     VARCHAR(1024),
    	`baseref`        VARCHAR(1024),
    	`valid`          INT,
    	`result`         VARCHAR(1024),
    	`warning`        VARCHAR(1024),
    	`info`           VARCHAR(1024),
    	`url`            VARCHAR(1024),
    	`line`           INT,
    	`col`            INT,
    	`name`           VARCHAR(1024),
    	`checktime`      INT,
    	`dltime`         INT,
    	`dlsize`         INT,
    	`cached`         INT,
    	PRIMARY KEY (`id`)
    )
    Te mit használnál rá?



  4. #4
    Törzsvendég
    Csatlakozott
    08-11-28
    Hozzászólás
    181
    Begyűjtött 0 köszönetet
    0 hozzászólásával

    Alapbeállítás re: Link ellenőrzés Parancssorból vagy GUI-s eszközzel

    Nagyon jól használható tool. Majd ráállítok néhány amazonos felhő gépet és megvan pár perc alatt az eredmény.
    Ezer hála arth2o!



A téma címkéi:

Könyvjelzők

Hozzászólás szabályai

  • Új témákat nem hozhatsz létre
  • Válaszokat nem küldhetsz
  • Fájlokat nem csatolhatsz
  • A hozzászólásaidat nem módosíthatod
  •