cobweb 1.0.27

Cobweb is a web crawler that can use resque to cluster crawls to quickly crawl extremely large sites which is much more performant than multi-threaded crawlers. It is also a standalone crawler that has a sophisticated statistics monitoring interface to monitor the progress of the crawls.

Gemfile:
=

安装:
=

版本列表:

1.2.1 January 09, 2021 (9.3 MB)
1.2.0 February 25, 2019 (9.3 MB)
1.1.0 November 06, 2015 (9.3 MB)
1.0.29 November 05, 2015 (9.3 MB)
1.0.28 March 20, 2015 (9.3 MB)
1.0.27 March 18, 2015 (9.3 MB)

显示所有版本 (共 94 个)

Runtime 依赖 (8):

addressable ~> 2.3

haml ~> 4.0

json ~> 1.8

nokogiri ~> 1.6

redis ~> 3.0

redis-namespace ~> 1.3

sinatra ~> 1.4

slop ~> 3.4

显示所有传递性依赖

业主:

作者:

Stewart McKee

cobweb 1.0.27

Gemfile:
=

安装:
=

版本列表:

Runtime 依赖 (8):

业主:

作者:

SHA 256 校验和:

下载总量 332,364

这个版本 2,591

版本发布:
March 18, 2015 6:56am

许可:
MIT

需要的 Ruby 版本: >= 0

链接:

cobweb 1.0.27

Gemfile: =

安装: =

版本列表:

Runtime 依赖 (8):

业主:

作者:

SHA 256 校验和:

下载总量 332,364

这个版本 2,591

版本发布: March 18, 2015 6:56am

许可: MIT

需要的 Ruby 版本: >= 0

链接:

Gemfile:
=

安装:
=

版本发布:
March 18, 2015 6:56am

许可:
MIT