下面是小编帮大家整理的站长：搭建爬虫日志分析自动化的流程，本文共6篇，欢迎阅读，希望大家能够喜欢。本文原稿由网友“三点还不睡”提供。
篇1：站长：搭建爬虫日志分析自动化的流程
忙乎了一天，把爬虫分析完全自动化的系统搭建了起来。以后每天爬虫的数据自动发到邮箱中。效果如下(数据为测试数据，不具有任何参考性。)
大致流程：(均为linux系统)
1.根据ua(这边假设为百度)，将日志中的爬虫日志单独拆分到baidu.log(只存当天的，节约主服务器的空间)
2.将baidu.log同步到另外日志分析服务器上，通过sftp下载
3.根据日期重命名为{date}.log
4.拆分出各种数据，输出到数据文件
5.从数据文件中读取前X行，生成html代码
6.通过formail发送到指定收件人。
一些注意点
1.sftp远程登陆的时候需要交互密码，用过ssh-keygen生成公钥scp上传到远程服务器端的就可以跳过这个步骤。
2.分析数据的时候注意效率问题，
多使用数组和临时文件，尤其是日志量很大的时候(比如分析200，301，302，404等数量的时候)
3.通过find命令的-ctime参数可以快速找出x天前或者x天内的文件，便于整理和分析。例如分析7天内的数据(周报)，或者清理30天前的日志(节约磁盘空间)
4.我写的脚本基本没考虑容错，所以经常冒出来一些小问题，需要不断的调试改进。
5.formail的charset设置为utf-8，就可以发送中文的邮件了。
6.通过ed命令可以在行首插入文本。具体做法 (echo '0a';echo 'TEXT';echo '.';echo 'wq') | ed -s FILENAME 这样head取出来的数据，后期拿数据源在excel中做报表的时候方便。(其他再运行个tail也可以。写上面那句话的时候觉得自己犯2了)
TEXT为需要插入的文本。
FILENAME为需要 入的文件。
(这一点都不邪恶。。)
本文地址：www.imyexi.com/?p=673
篇2：关于网站IIS日志分析搜索引擎爬虫说明
iis默认的日志文件在C:\\WINDOWS\\system32\\LogFiles中，下面是Seoer惜缘的服务器日志，通过查看，就可以了解搜索引擎蜘蛛爬行经过,如：
-08-19 00:09:12 W3SVC962713505 203.171.226.111 GET / - 80 - 61.135.168.39 Baiduspider+
(+www.baidu.com/search/spider.htm) 200 0 64
1、203.171.226.111就是搜索引擎蜘蛛防问的网站ip,
2、61.135.168.39 Baiduspider代表，百度搜索引擎蜘蛛的ip是61.135.168.39,
3、代码中的/ 就代表搜索引擎蜘蛛防问的网页
4、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期与时间
5、代码中的200就代表搜索引擎蜘蛛爬行后返回HTTP状态代码,代码中可以了解蜘蛛爬行后的反映，代码如下:
6、W3SVC962713505代表网站日志所在的文件夹
7、www.baidu.com/search/spider.htm baiduspider常见问题解答网页
2xx 成功
200 正常;请求已完成，
201 正常;紧接 POST 命令。
202 正常;已接受用于处理，但处理尚未完成。
203 正常;部分信息 ― 返回的信息只是一部分，
204 正常;无响应 ― 已接收请求，但不存在要回送的信息。
3xx 重定向
301 已移动 ― 请求的数据具有新的位置且更改是永久的。
302 已找到 ― 请求的数据临时具有不同 URI。
303 请参阅其它 ― 可在另一 URI 下找到对请求的响应，且应使用 GET 方法检索此响应。
304 未修改 ― 未按预期修改文档。
305 使用代理 ― 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 ― 不再使用;保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 ― 请求中有语法问题，或不能满足请求。
401 未授权 ― 未授权客户机访问数据。
402 需要付款 ― 表示计费系统已有效。
403 禁止 ― 即使有授权也不需要访问。
404 找不到 ― 服务器找不到给定的资源;文档不存在。
407 代理认证请求 ― 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久);
415 介质类型不受支持 ― 服务器拒绝服务请求，因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 ― 因为意外情况，服务器不能完成请求。
501 未执行 ― 服务器不支持请求的工具。
502 错误网关 ― 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 ― 由于临时过载或维护，服务器无法处理请求。
篇3：煤矿自动化控制技术工作流程分析
为了从根本上提高煤矿开采率，就需要大力重视煤矿资源的输送环节，目前的煤矿企业，煤矿井下输送是重要组成部分，带式输送机作为其中的重要输送设备，将直接决定矿井的开采效率，传统的带式输送机主要是利用单台皮带输送机进行输送作业，但该类输送方式所需工作人员较多，造成了劳动力的浪费，使得运输效率下降，提高了煤矿开采成本，很大程度上影响了煤矿开采进程。针对该问题，发展出一种新型的控制技术，即煤矿自动化控制技术，该种控制技术在皮带运输中的良好应用将有效解决上述问题，大幅度减少劳动力浪费，提高运输效率，从而全面提高煤矿资源开采率。
篇4：煤矿自动化控制技术工作流程分析
煤矿自动化控制技术在发展过程中，主要存在着两种类型的控制器系统，即ST200和PLC控制器系统。其中的PLC控制器系统为当今比较主流的控制系统，该控制系统的输入点和输出点为24和16，该系统的模块又下分为主要的几个部分：输入、输出和拓展，个数分别为4、2和1。为了适应矿洞下多变的开采环境，就需要比较高配置的零部件，控制系统所需的相应传感器、控制元件、电器线路都必须达到一定的`规格才可施用到控制系统中，并根据实际的系统运作情况来设置隔离和转换电路，从而保证系统运转时，实现转变无电位接点的24路开关信号为非无电位接点正常输出，且工作过程中的接点容量维持在250V/5A的数值范围内。PLC控制系统将从根本上对输入点和输入信号、输出点和输出控制进行人工把控，实现彼此间对应，根据接点和通道的实际情况来配置其相应的输出信号和输入信号，且在后续操作中由几个信号共用一个输出点，来保证整个PLC控制器系统的良好运行，从而全面提高煤矿开采率。
篇5：煤矿自动化控制技术工作流程分析
煤矿自动化控制技术在相关皮带运输的过程中主要具备控制和保护功能。这两个功能最具代表性，概括了整个煤矿自动化控制技术在皮带运输的功能意义。
3.1控制功能
在两大功能当中，又以控制功能为最。自动化控制技术因操作类型的不同又下分为自动机械控制和人工手动控制。该控制功能将有效解决一些运输事故，如出现故障时，控制器会受到相应的信号，并反馈给集控中心，使得相关工作人员第一时间收到故障信息，第一时间进行维修作业，保障矿石输送环节的正常运行。在进行正常作业时，操作人员对集控中心输入启动指令，集控中心进行相应的逻辑运算，按照已编制的控制程序进行运作，从而实现煤矿开采生产自动化，大大提高其工作效率。
3.2保护功能
煤矿自动化控制技术中的保护功能也是极具代表性，当皮带输送设备出现故障时，会触动周边设置众多的保护开关，这些保护开关通过相关数据的反馈，初步判断出故障原因并反馈给集控中心，从而进行具体的处理工作。并且在皮带输送过程中，常常会出现温度过高和电流过大的情况，这些情况都会对输送环节产生影响，由PLC控制系统对皮带输送环节进行实时把控，对于温度和电流变化进行监视，出现情况时进行具体处理，保证矿石开采生产环节的正常运行。
4结语
目前煤矿开采正逐步升级为智能化、数字化、机械化、自动化的高速生产，煤矿自动化控制技术在皮带运输中的良好应用将大大的减少不必要的劳动力浪费，节约开采成本，从而大力的提高其煤矿开采率，为相关的煤矿企业提供更高的经济效益，并且自动化控制技术自身具备的保护功能，也可以从一定程度上提供煤矿开采环境的安全可靠性，为我国的煤矿开采事业提供保障。
参考文献：
[1]崔智明.煤矿电气自动化控制技术中单片机的应用[J].科技创新与应用，(24):126.
[2]王永坤.电气自动化控制技术在煤矿生产中的应用探讨[J].科技创新与应用，2015(15):127.
[3]吴琦.煤矿电气自动化控制技术中单片机的应用[J].硅谷，2015(3):118,120
作者：段宪琛 单位：西山煤电股份有限公司镇城底矿机电科保运队
篇6：煤矿自动化控制技术工作流程分析
煤矿自动化控制技术的主要目的是使得整个开采过程变成具备自动化监测、调节、控制、保护的人工可控的活动。人工可控率的提高将有效提高其煤矿开采效率，并且人工可控的范围增大，将提高整体的资源利用率，减少多余的能量消耗，改善煤矿生产工作劳动条件。煤矿开采过程主要分为煤矿初步开采、矿洞的掘进、矿石资源的输送、矿石资源的初步提纯等。与煤矿开采过程相兼并的是相关的辅助过程，如：矿洞环境的清洁、通风和排水、以及相关工作人员的管理，其错综复杂的各个环节使得矿井开采环节具备一定的复杂性，为了提高整个煤矿开采效率，矿井自动化就显得尤为重要。在矿井的自动化进程中，各个环节各分为：生产机械的单机自动化、生产过程综合自动化、矿井提升自动化、采煤工作面自动化、全矿井自动化、煤矿综合自动化系统等。在煤矿自动化控制技术中，自动化集中控制系统占据重要地位。自动化集中控制系统主要运用一种可编程逻辑控制器来对煤矿开采环节进行人工控制。自动化集中控制系统主要分为井下的皮带输送控制和地面上的集控中心。其最重要的组成部分就是地面上的集控中心，由人工对系统输入相关的控制指令，由系统进行逻辑运算再对下分的基础操作设施传输指令，进行一系列的自动化操作。
