cobweb 1.0.27

Cobweb is a web crawler that can use resque to cluster crawls to quickly crawl extremely large sites which is much more performant than multi-threaded crawlers. It is also a standalone crawler that has a sophisticated statistics monitoring interface to monitor the progress of the crawls.

Gemfile:
=

instalar:
=

Versiones:

1.2.1 January 09, 2021 (9,28 MB)
1.2.0 February 25, 2019 (9,28 MB)
1.1.0 November 06, 2015 (9,28 MB)
1.0.29 November 05, 2015 (9,28 MB)
1.0.28 March 20, 2015 (9,28 MB)
1.0.27 March 18, 2015 (9,28 MB)

Mostrar todas las versiones (94 total)

dependencias de Runtime (8):

addressable ~> 2.3

haml ~> 4.0

json ~> 1.8

nokogiri ~> 1.6

redis ~> 3.0

redis-namespace ~> 1.3

sinatra ~> 1.4

slop ~> 3.4

Mostrar toda la cadena de dependencias

Propietarios:

Autores:

Stewart McKee

cobweb 1.0.27

Gemfile:
=

instalar:
=

Versiones:

dependencias de Runtime (8):

Propietarios:

Autores:

SHA 256 checksum:

Total de descargas 332.364

Para esta versión 2.591

Versión publicada:
March 18, 2015 6:56am

Licencia:
MIT

Versión de Ruby requerida: >= 0

Enlace:

cobweb 1.0.27

Gemfile: =

instalar: =

Versiones:

dependencias de Runtime (8):

Propietarios:

Autores:

SHA 256 checksum:

Total de descargas 332.364

Para esta versión 2.591

Versión publicada: March 18, 2015 6:56am

Licencia: MIT

Versión de Ruby requerida: >= 0

Enlace:

Gemfile:
=

instalar:
=

Versión publicada:
March 18, 2015 6:56am

Licencia:
MIT