军长搜索蜘蛛v1.0测试版由蜘蛛软件和WEB搜索程序两部分组成,本内容发布的是蜘蛛软件包.测试版功能如下:

1、蜘蛛抓取:全网蜘蛛抓取和站内蜘蛛抓取自由选择
2、支持自定义目标网站对象定义
3、自动提取正文内容,智能识别网页编码
4、自动丢弃非内容页和空内容网页
5、多线程:自定义蜘蛛线程数量
6、自定义域名排除
7、详细错误报告
8、自动引索分词(支持中英文)
9、自定义引索存放目录(多网站引索合并功能)
10、详细机器和软件工作状态记录报告