Téma: katalógusok gyűjtése

Mivel az oldalam mögött keresőprogram van, annak nyersanyagra van szüksége: magyar cégek weboldalaira, ahonnan majd a nekem kellő dolgokat le fogom tölteni.

Ahhoz hogy ilyen oldalakat találjak, először katalógus oldalakat töltök le, és onnan keresek további url-eket. Magukat a katalógusokat viszont kézzel gyűjtöm, illetve létrehoztam egy weboldalt, ahol könnyen fel lehet őket vinni. A letöltés innen már automatikusan megy, tehát a crawler futás előtt letölti a legfrissebb katalógus oldal listát.

Amiért ezt a topikot nyitom, az az hogy lusta vagyok én töltögetni ezt a katalógus listát, itt közreadom a gyüjtőoldalt, és bárki hozzáadhatja a katalógusát. Az azon szereplő oldalakat a jobkereső fel fogja kutatni.

Ez rajtam kívül másnak úgy lehet hasznos, hogy ugyanitt egy helyen sok katalógus oldalt megtalálhat, ahova aztán linkeket küldhet.
hxxp://www.jobkereso.com/catalog.jsp

ezt az oldalt nem szántam publikusnak, le is van tiltva a robots.txt-ben, ezért nem ragaszkodnék a fórumtagokon kívüli használatához , egyelőre nem lehet már felvitt linket törölni, ezt én fogom megtenni kézzel

Rögtön meg is toldanám a dolgot egy kérdéssel, per pillanat kb. 63 ezer oldalról gyűjtök állásokat, a cél az összes magyar neten is megjelenő vállalkozás lefedése (mínusz az állásportálok, fejvadászcégek, hirdetőoldalak)

ez a 63K hogy viszonyul az összes létező magyar vállalathoz? ennél sokkal több létezik, vagy igazából ezek sem mind cégek?

Köszönöm az eddigi linkeket!

(Viszont mély sajnálatomra az allas.uhh.hu linket törölnöm kellett , mert kizárólag állásközvetítőkre mutató linkeket tartalmaz, ezért a számomra nem hasznos, a sima uhh.hu bent van, és marad is)

hmm, ebből vagy az derül ki hogy ilyen sok domain-t kihagytam, vagy hogy a cégek nagy részének nincs weboldala...

Szia!
Nem vagyok katalógus tulaj, tehát én a felhasználás részben vagyok érintett. A tulajoktól szerintem kapsz majd hideget-meleget egyaránt a megkérdezésük nélküli megjelenésért, de nem szeretnék prejudikálni, tehát ezt rájuk hagyom.

A katalóguslista, mint hasznos adatbázis kicsit sántít, mert nagy örömömre már az első 10-ben 2 általánosat találtam, amire rá is vetettem magam. Sikeres regisztráció az érdekesnetnél, majd belépéskor közölte, hogy nincs jogosultságom az oldal megtekintéséhez. Brühühü
A webkozmetika extra rögtön előhozta a felhasználónevemet és a jelszavamat, ami szerint már regisztráltam, tehát beléptem ÉS sajnálattal tapasztaltam, hogy a Wordpress felületen csak az adatlapomat nézhetem meg, mivel nincs bejegyzés írási lehetőség.

Egyelőre nem is töltöm az időt a katalógus adatbázisom további bővítésével (legalábbis a listád pillanatnyi állapota alapján)

Szerintem a katalógusokat használóknak jobb lenne, ha ellenőrzőttebb lenne a lista (beküldhetőség szempontjából), én természetesen tudomásul veszem ezt a helyzetet, és majd visszanézek rá, ha kicsit több időm lesz.

A munkád többi részéhez természetesen sok sikert kívánok.

ha jön ilyen probléma, lehet hogy újragondolom ezt az egész katalógus-publikálást, eredetileg nem szántam annak, nekem őszintén szólva eszembe nem jutott hogy valakinek nem tetszene az hogy az egyébként publikus, és más katalógusokban bőszen hirdetett katalógusa még egy helyről elérhető (ami egyébként le van tiltva a robots.txt-ben)

az érdekesnet speciel olyan katalógus ami az entity-ről származik, meg még néhány másik is

a lista per pillanat kb. 200 katalógusból áll, a fent megjelölt oldalon link vezet át oda, ahonnan ctrl-c másolható az egész, az eredeti oldalon le lehet gördíteni

viszont nem mind katalógus, nekem ugye eredendően link forrás kellett, mindegy hogy katalógus vagy valamilyen más regiszter csak legyen benne link

Bocs, még egyszer kicsit alaposabban átnéztem, és látva, hogy az oldalról nem kattintható a linkgyűjtemény, visszavonom a tulajok esetleges morgásának jogosságát. (modjuk, egyébként sem szemrehányásnak szántam, nem is érzem úgy, hogy annak vetted volna)
Sajnos a katalóguslista használatával kapcsolatos problémám nem múlt el, mivel rövid átfutás alapján úgy láttam, hogy elég sok inaktív gyűjtemény van köztük, de majd azért időnként végigböngészem.
A munkádhoz pedig még egyszer sok sikert.