java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」转载自http://www.yshjava.cn/post/483.html今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然…

大家好,又见面了,我是你们的朋友全栈君。

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然?所以,为了让它这件事变得高效和容易,我们得使用工具!

网络上死链检测的工具多如牛毛,其中不乏非常经典、好用的,但是这些工具多大有一个特点,就是都是web(网页)版的,而且只支持单页面死链检测,不支持全站检测,也不支持图片检测,鉴于此,干脆自己抽了点时间,根据自己的需要做了一个。

工具界面做的比较粗糙,因为是自己用,也没有去细细美化,截图如下:

1370006833004.png

简单说一下它的使用:

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页),然后点击后面的“开始扫描”按钮,弹出“扫描配置”对话框,在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤,多个后缀以空格隔开

链接过滤采用正则表达式过滤,链接地址前必须要加http://

配置完成后,点击“确定”,开始根据配置信息进行死链检测扫描,扫描结果如下:

1370006836903.png

1370006841366.png

生成的网站地图文件

1370006842378.png

该工具采用深度优先遍历算法跟踪网页链接,单线程工作,因此不会给目标网站带来压力,因此工具的检测速度有所下降。

工具虽然简陋,但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能,比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能,同时还捎带地提供了网站地图生成的功能,能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要,请在这里下载Java版(运行需要本机安装Java运行时环境):

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163361.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Qt多线程通信

    Qt多线程通信简述:1>Qt线程间共享数据主要有两种方式:1)使用共享内存。即使用一个两个线程都能够共享的变量(如全局变量),这样两个线程都能够访问和修改该变量,从而达到共享数据的目的。2)使用singal/slot机制,把数据从一个线程传递到另外一个线程。第一种方法在各个编程语言都普遍使用,而第二种方法是QT的特有的,本文主要介绍第二种。2>

    2022年6月19日
    210
  • 计算机网络体系结构综述(上)[通俗易懂]

    计算机网络体系结构综述(上)[通俗易懂]计算机网络体系结构标准的制定使得两台计算机能够像两个知心朋友那样能够互相准确理解对方的意思并做出优雅的回应。本文首先概述了计算机网络体系结构的提出动机,并结合日常生活中的邮政系统介绍了设计的理念,并给出了相关的基本概念和标准。进一步地,我们着重概述了计算机网络体系结构的分层原理及其最重要的组成部分——协议,使得读者能够对计算网路体系结构有一个全新的、系统的认识。

    2022年7月12日
    16
  • IOS开发之AVAudioPlayer的基本使用

    IOS开发之AVAudioPlayer的基本使用

    2021年9月14日
    58
  • 学了那么久爬虫,快来看看这些反爬,你能攻破多少?【对应看看自己修炼到了哪个等级~】

    ????在爬虫技术泛滥的今天,有不少小伙伴或是因为兴趣,或是因为工作所需,决定去学习爬虫,一入爬虫坑~????《一篇万字博文带你入坑爬虫这条不归路【万字图文】》????<-????但是,从最近我的技术交流群内粉丝们交流的一些问题中,我发现了一个很严重很严重的大问题——他们只是单纯想爬,却连一些最基础的反爬技术都不知晓。????->????《两万字博文教你python爬虫requests库【详解篇】》《万字博文教你python爬虫BeautifulSoup库【详解篇】》《万字博

    2022年4月7日
    39
  • 边界值分析法用例设计

    边界值分析法用例设计根据大量的测试统计数据 很多错误是发生在输入或输出范围的边界上 而不是发生在输入 输出范围的中间区域 因此针对各种边界情况设计测试用例 可以查出更多的错误 具有很强的发现故障缺陷能力 所谓边界值 是指相对于输入等价类和输出等价类而言 稍高于其最高值或稍低于最低值的一些特定情况 边界值分析是一种常用的黑盒测试方法 是对等价类划分方法的补充 1 边界的类型边界的类型包括数值 速度 字符 地址 位置 尺寸 数量 空间等 考虑这些数据类型的下述特征 第一个和最后一个 最小值和最大值 开始

    2025年11月5日
    5
  • ACdream 1099 瑶瑶的第K大

    ACdream 1099 瑶瑶的第K大

    2021年12月2日
    43

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号