java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」转载自http://www.yshjava.cn/post/483.html今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然…

大家好,又见面了,我是你们的朋友全栈君。

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然?所以,为了让它这件事变得高效和容易,我们得使用工具!

网络上死链检测的工具多如牛毛,其中不乏非常经典、好用的,但是这些工具多大有一个特点,就是都是web(网页)版的,而且只支持单页面死链检测,不支持全站检测,也不支持图片检测,鉴于此,干脆自己抽了点时间,根据自己的需要做了一个。

工具界面做的比较粗糙,因为是自己用,也没有去细细美化,截图如下:

1370006833004.png

简单说一下它的使用:

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页),然后点击后面的“开始扫描”按钮,弹出“扫描配置”对话框,在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤,多个后缀以空格隔开

链接过滤采用正则表达式过滤,链接地址前必须要加http://

配置完成后,点击“确定”,开始根据配置信息进行死链检测扫描,扫描结果如下:

1370006836903.png

1370006841366.png

生成的网站地图文件

1370006842378.png

该工具采用深度优先遍历算法跟踪网页链接,单线程工作,因此不会给目标网站带来压力,因此工具的检测速度有所下降。

工具虽然简陋,但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能,比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能,同时还捎带地提供了网站地图生成的功能,能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要,请在这里下载Java版(运行需要本机安装Java运行时环境):

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163361.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • javah命令详解「建议收藏」

    javah命令详解「建议收藏」概述:最近在写c++/c的一个小的项目,需要打成动态库,供java使用。就对java调用c++/c代码做了简答了解,在此做记录。jni开发第一步,就是用javah命令生成生成c\c++头文件。javah命令参数详解cmd(默认配置jdkpath)执行javah-help如下图:-d和-o这两个参数用于设置生成的C\C++头文件的指定,该两参数选项不能同时使…

    2022年9月25日
  • Python 更换国内pip源

    Python 更换国内pip源-豆瓣:http://pypi.douban.com/simple/-中科大:https://pypi.mirrors.ustc.edu.cn/simple/-清华:https://pypi.tuna.tsinghua.edu.cn/simple一次性使用可以在使用pip的时候加参数-ihttps://pypi.tuna.tsinghua.edu.cn/simp…

    2022年6月3日
  • 采用 matlab 阅读SAR 元数据

    采用 matlab 阅读SAR 元数据

    2022年1月10日
  • 【每天一个 Linux 命令】tree命令

    【每天一个 Linux 命令】tree命令1.前言本文主要讲解Linux系统上的tree命令的详细使用方法。tree命令是一个小型的跨平台命令行程序,用于递归地以树状格式列出或显示目录的内容。它输出每个子目录中的目录路径和文件,以及子目录和文件总数的摘要。tree程序可以在Unix和类Unix系统(如Linux)中使用,也可以在DOS、Windows和许多其他操作系统中使用。它为输出操作提供了各种选项,从文件选项、排序选项到图形选项,并支持XML、JSON和HTML格式的输出。在这篇教程中,我们将通过使用案例演示如何使用tree命令递归

    2022年7月24日
  • <input type=file>文件上传

    <input type=file>文件上传<input>type类型为file时使得用户可以选择一个或多个元素以提交表单的方式上传到服务器上,或者通过 JavaScript 的FileAPI对文件

    2022年7月4日
  • ribbon自定义负载均衡策略,应用所有服务_dubbo的负载均衡策略

    ribbon自定义负载均衡策略,应用所有服务_dubbo的负载均衡策略Ribbon默认的负载均衡策略默认的有下面几种:我们也可以自定义负载均衡策略:修改springcloud-consumer-dept-80的主启动类:下面开始编写自定义配置类MySelfRule,但这个类不能乱放!官方文档给出警告:这个自定义的类不能放在@ComponentScan所扫描的当前包以及子包下,否则我们自定义的这个配置类就会被所有的Ribbon客户端所共享,也就是我们达…

    2022年10月13日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号