秀人集爬虫 【22.1.24】【Windows】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
我增加了几个重要的参数:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
-c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
我增加了几个重要的参数: **************************************************************************************************** USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取) -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数) -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ****************************************************************************************************
我增加了几个重要的参数:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************

Continue Reading

秀人集爬虫 【22.1.20】【OS X】【m1版本】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
***********************************************************************************
参数说明:
/Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
***********************************************************************************
*********************************************************************************** 参数说明: /Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ***********************************************************************************
***********************************************************************************
参数说明:
 /Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji 
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
***********************************************************************************

Continue Reading

秀人集爬虫 【22.1.20】【Windows】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
参数说明:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
参数说明: **************************************************************************************************** USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ****************************************************************************************************
参数说明:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************

Continue Reading

秀人集爬虫 【21.9.21】【Windows】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
xiurenji.exe 可执行文件名称
帮助:
-h 显示帮助说明
必选参数:
-a 整站爬取
-q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取
可选参数:
-p 指定下载目录,默认下载路径为当前exe所在目录下的images文件夹
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
xiurenji.exe 可执行文件名称 帮助: -h 显示帮助说明 必选参数: -a 整站爬取 -q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取 可选参数: -p 指定下载目录,默认下载路径为当前exe所在目录下的images文件夹 -s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
xiurenji.exe 可执行文件名称
帮助:
-h 显示帮助说明
必选参数:
-a 整站爬取
-q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取
可选参数:
-p 指定下载目录,默认下载路径为当前exe所在目录下的images文件夹
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/

更新日志:

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
增加-s 参数支持:
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
增加-s 参数支持: -s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
增加-s 参数支持:
-s 指定服务器地址,例如:http://www.xiurenji.vip url不要带最后的/
Continue Reading

秀人集爬虫

 功能:支持全站爬取,搜索爬取。想下载什么内容自己定制,目前版本不支持独立页面下载,后续可能会考虑支持,目前我的目标是为了爬取整个网站,所以单页面下载功能不一定会做,即使做了也不一定什么时候会上。 参数说明:

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
xiurenji.exe 可执行文件名称
帮助:
-h 显示帮助说明
必选参数:
-a 整站爬取
-q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取
可选参数:
-p 制定下载目录,默认下载路径为当前exe所在目录下的images文件夹
xiurenji.exe 可执行文件名称 帮助: -h 显示帮助说明 必选参数: -a 整站爬取 -q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取 可选参数: -p 制定下载目录,默认下载路径为当前exe所在目录下的images文件夹
xiurenji.exe 可执行文件名称
帮助:
-h 显示帮助说明
必选参数:
-a 整站爬取
-q 搜索爬取,针对关键字搜索之后对于搜索结果页进行爬取
可选参数:
-p 制定下载目录,默认下载路径为当前exe所在目录下的images文件夹

Continue Reading