dedecms5.3采集插件

jinxihao

简介：属于dedecms的一个辅助功能，在dedecms中设定好采集节点之后，规则都设定好，保证
在dedecms中能够正确采集到数据。这点很重要，因为我这个插件的采集程序就是dedecms的采
集程序，虽然有所改进，但是只是在一些小的细节上修改了一下，整体的采集程序还是和
dedecms一样的，一句话就是只要你在dedecms上能够采集到数据，那么这个自动采集更新的程
序就能够正确执行。
功能：根据dedecms中设定好的采集节点自动定时定点采集数据，采集好数据之后能够自动导
入到相关栏目之中，然后自动生成首页，栏目页，内容页。用一句话概括就是，只要你在
dedecms中设立好了采集节点之后，再从这个插件中配置一下相关参数，就可以不用管这个站
了，本程序会自动帮你每天按照你设定好的时间去更新你的站点。是不是很爽啊，省了很大的
事呢，呵呵，那么就请使用这个程序吧
特点：不限于dedecms的版本，3.x和4.0都可以使用，因为本程序不是单纯的调用dedecms的相
关文件，是完全从其采集程序中剥离出来自己成体系的一套程序，核心虽然是dedecms的，但
是改动了少量细节问题，使逻辑上更合理，修正了原来的一些小的问题。
打包文件介绍：
文件夾：
autogather-----全部的程序文件都在这个下面
cache---缓存配置文件，所有的每个采集节点的自动采集更新的配置信息都在这里
include---所有的核心的操作类，从dedecms中剥离出来的，可以独立成一个系统
templets---模板文件
img,upimg---使用到的一些图片文件
文件：
auto_gather.php----全部的自动采集更新的代码都在这个文件之中，是核心文件
autogather.log---日志文件，记录在自动采集更新的过程中发生的相关信息提示
base.css---样式表文件
co_autogather_main.php---在 dedecms中的配置列表文件
option_auto.php,option_auto_action.php----处理dedecms中的采集节点变成自动采集的代
码
程序使用说明：
1.首先下载文件包，解压缩在网站根目录下
2.然后到
3.然后进入到dedecms的后台，在辅助插件中的插件管理器中安装一个新插件
4.点击安装新插件，输入相关内容：
插件名称：自动采集更新
作者:（永远支持柏拉图的DEDE用户）
主程序文件:../autogather/co_autogather_main.php
目标框架:main
文件列表:留空
然后点击确定，将增加本插件到系统中。然后刷新左边的导航，将会在辅助插件栏中多了一个自动采集更新
6.点击左侧的自动采集更新，将显示出来你现在所有设定的采集点，你会发现在最右边有一个操作栏，有配置为自动采集和获取代码。
好，我们现在点击配置为自动采集，出来一个详细配置自动采集更新的参数窗口：

下面是详细的每个参数的说明：
采集后导出的目标栏目：采集之后要把数据导入到哪个栏目中
采集数据参数设置：采集数据时，每批采集多少条数据,采集的线程数，间隔时间多少秒（防刷新的站点需设置）
栏目导入数据参数设置：每批导入多少条
要更新的栏目：导入完数据之后，要更新的栏目
生成栏目参数设置：每批最大创建页数，也就是分批创建栏目页面的时候，每批要创建的页数
更新选项：更新栏目的所有页面：一次性全部更新完该栏目的所有页面，仅更新指定数量的页面：有的网站的列表文件太多，如果全部更新的话，耗费的时间会很长，所以这个参数可以设定仅更新前多少页。点击这个选项的话，下面会显示出来一个隐藏的文本框，更新前多少个页面，在这里设定更新的页数
是否更新子栏目：更新子级栏目,仅更新所选栏目
生成文档html参数设置：每批生成多少个内容页面文件
好了，设定好各项参数之后，点击保存配置，将生成一个配置文件到 cache文件夾中
7.点击获取代码
将会在下面出现一个文本框，里面就是获取的代码
把里面的代码拷贝出来。
8.建立一个html文件任意起名，不过建议取一个有意义的名义，这样以后配置多个自动采集点的时候，以便于区分
打开这个文件，把拷贝的代码粘贴到该文件中，保存该文件。
9. 在windows的计划任务中，建立一个计划任务，设定好要执行的时间。因为php只能做到这种方式，本来以前想考虑用discuz那种方式，只要网站前台有用户访问，那么就自动开始执行该程序，可是这样并不好，因为采集程序的执行时间都比较长，所以前台访客访问的　页面会一直显示正在打开中，浏览体验就不好了，所以只能借助windows的计划任务来做了。unix,linux也有类似的程序，这里就不多说了。
现在设定好了一个计划任务，到了规定的时间，就可以执行了。
说明1：因为该程序是在dedev3.1的环境中开发的，所以界面一直延用的是3.1的，所以在上面的图中，会感到颜色不搭调，请大家注意了。
说明2:因为程序从dedecms中完全剥离出来，所以有2个配置参数需要手工的修改一下
autogather/include/config_base.php中的$cfg_dbhost，$cfg_dbname，$cfg_dbuser，$cfg_dbpwd请修改成和你的系统一致的
autogather/include/config_hand.php中的$cfg_indexurl = '';请修改成和你的域名一致的如果上面两处没有修改，那么本程序将不能运行。
上面主要介绍了插件如何安装，如果使用，下面主要是给大家演示一下该插件是如何自动采集数据更新数据的。
计划任务开始执行之后，就会自动弹出一个你设定好的那个html网页，这个页面将自动执行下面这些步骤

游客，如果您要查看本帖隐藏内容请回复