cobweb 1.0.29

Cobweb is a web crawler that can use resque to cluster crawls to quickly crawl extremely large sites which is much more performant than multi-threaded crawlers. It is also a standalone crawler that has a sophisticated statistics monitoring interface to monitor the progress of the crawls.

Gemfile:
=

安裝:
=

版本列表:

1.2.1 January 09, 2021 (9.3 MB)
1.2.0 February 25, 2019 (9.3 MB)
1.1.0 November 06, 2015 (9.3 MB)
1.0.29 November 05, 2015 (9.3 MB)
1.0.28 March 20, 2015 (9.3 MB)

顯示所有版本（共 94）

Runtime 相依性套件 (8):

addressable ~> 2.3

haml ~> 4.0

json ~> 1.8

nokogiri ~> 1.6

redis ~> 3.0

redis-namespace ~> 1.3

sinatra ~> 1.4

slop ~> 3.4

Show all transitive dependencies

擁有者:

作者:

Stewart McKee

cobweb 1.0.29

Gemfile:
=

安裝:
=

版本列表:

Runtime 相依性套件 (8):

擁有者:

作者:

SHA 256 總和檢查碼:

總下載次數 332,364

這個版本 2,603

版本发布:
November 5, 2015 8:31pm

授權:
MIT

Ruby 版本需求: >= 0

相關連結:

cobweb 1.0.29

Gemfile: =

安裝: =

版本列表:

Runtime 相依性套件 (8):

擁有者:

作者:

SHA 256 總和檢查碼:

總下載次數 332,364

這個版本 2,603

版本发布: November 5, 2015 8:31pm

授權: MIT

Ruby 版本需求: >= 0

相關連結:

Gemfile:
=

安裝:
=

版本发布:
November 5, 2015 8:31pm

授權:
MIT