java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」转载自http://www.yshjava.cn/post/483.html今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然…

大家好,又见面了,我是你们的朋友全栈君。

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然?所以,为了让它这件事变得高效和容易,我们得使用工具!

网络上死链检测的工具多如牛毛,其中不乏非常经典、好用的,但是这些工具多大有一个特点,就是都是web(网页)版的,而且只支持单页面死链检测,不支持全站检测,也不支持图片检测,鉴于此,干脆自己抽了点时间,根据自己的需要做了一个。

工具界面做的比较粗糙,因为是自己用,也没有去细细美化,截图如下:

1370006833004.png

简单说一下它的使用:

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页),然后点击后面的“开始扫描”按钮,弹出“扫描配置”对话框,在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤,多个后缀以空格隔开

链接过滤采用正则表达式过滤,链接地址前必须要加http://

配置完成后,点击“确定”,开始根据配置信息进行死链检测扫描,扫描结果如下:

1370006836903.png

1370006841366.png

生成的网站地图文件

1370006842378.png

该工具采用深度优先遍历算法跟踪网页链接,单线程工作,因此不会给目标网站带来压力,因此工具的检测速度有所下降。

工具虽然简陋,但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能,比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能,同时还捎带地提供了网站地图生成的功能,能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要,请在这里下载Java版(运行需要本机安装Java运行时环境):

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163361.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • C 移位运算

    C 移位运算移位运算分为左移 lt lt 与右移 gt gt 包含逻辑移位 logicalshift 和算术移位 arithmeticsh 二者区别如下 1 逻辑移位 移出去的位丢弃 空缺位 vacantbit 用 0 填充 2 算术移位 移出去的位丢弃 空缺位 vacantbit 用符号位来填充 移位算只能作用于整数 不能作用于浮点数 对于无符号整数与有符号整数 左移

    2025年10月30日
    3
  • EasyDSS流媒体服务器软件(支持RTMP/HLS/HTTP-FLV/视频点播/视频直播)-正式环境安装部署攻略

    EasyDSS流媒体服务器软件(支持RTMP/HLS/HTTP-FLV/视频点播/视频直播)-正式环境安装部署攻略EasyDSS流媒体服务器软件,提供一站式的转码、点播、直播、时移回放服务,极大地简化了开发和集成的工作。其中,点播功能主要包含:上传、转码、分发。直播功能,主要包含:直播、录像,直播支持RTMP输入,RTMP/HLS/HTTP-FLV的分发输出;录像支持自定义保存时长、检索及下载。提供丰富的二次开发接口,基于JSON的封装及HTTP调用。提供播放鉴权、推流鉴权等安全保证。提供用户及相关权限管…

    2022年6月5日
    44
  • django配置文件详解_pycharm运行配置

    django配置文件详解_pycharm运行配置前言Django的配置文件settings.py用于配置整个网站的环境和功能,核心配置必须有项目路径、密钥配置、域名访问权限、App列表、中间件、资源文件、模板配置、数据库的连接方式基本配置信息

    2022年8月7日
    3
  • python控制谷歌浏览器_python安装插件

    python控制谷歌浏览器_python安装插件在进行UI自动化之前,需要安装各个浏览器,以及调用浏览器时用到的驱动。以下以安装谷歌为例。

    2025年6月9日
    1
  • java中arraylist扩容问题_Arraylist扩容机制[通俗易懂]

    java中arraylist扩容问题_Arraylist扩容机制[通俗易懂]当我们要add进第1个元素到ArrayList时,elementData.length为0(因为还是一个空的list),因为执行了ensureCapacityInternal()方法,所以minCapacity此时为10。此时,minCapacity-elementData.length>0成立,所以会进入grow(minCapacity)方法。当add第…

    2022年6月6日
    48
  • Pytest(13)命令行参数–tb的使用「建议收藏」

    Pytest(13)命令行参数–tb的使用「建议收藏」前言pytest使用命令行执行用例的时候,有些用例执行失败的时候,屏幕上会出现一大堆的报错内容,不方便快速查看是哪些用例失败。–tb=style参数可以设置报错的时候回溯打印内容,可以设置参

    2022年7月30日
    7

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号