java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」转载自http://www.yshjava.cn/post/483.html今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然…

大家好,又见面了,我是你们的朋友全栈君。

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然?所以,为了让它这件事变得高效和容易,我们得使用工具!

网络上死链检测的工具多如牛毛,其中不乏非常经典、好用的,但是这些工具多大有一个特点,就是都是web(网页)版的,而且只支持单页面死链检测,不支持全站检测,也不支持图片检测,鉴于此,干脆自己抽了点时间,根据自己的需要做了一个。

工具界面做的比较粗糙,因为是自己用,也没有去细细美化,截图如下:

1370006833004.png

简单说一下它的使用:

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页),然后点击后面的“开始扫描”按钮,弹出“扫描配置”对话框,在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤,多个后缀以空格隔开

链接过滤采用正则表达式过滤,链接地址前必须要加http://

配置完成后,点击“确定”,开始根据配置信息进行死链检测扫描,扫描结果如下:

1370006836903.png

1370006841366.png

生成的网站地图文件

1370006842378.png

该工具采用深度优先遍历算法跟踪网页链接,单线程工作,因此不会给目标网站带来压力,因此工具的检测速度有所下降。

工具虽然简陋,但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能,比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能,同时还捎带地提供了网站地图生成的功能,能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要,请在这里下载Java版(运行需要本机安装Java运行时环境):

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/163361.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 如何查看linux系统的内核版本信息_内核版本

    如何查看linux系统的内核版本信息_内核版本查看Linux内核版本和系统版本信息**一、查看Linux内核版本命令(两种方法):1、cat/proc/version2、uname-a二、查看Linux系统版本的命令(3种方法):1、lsb_release-a,即可列出所有版本信息这个命令适用于所有的Linux发行版,包括RedHat、SUSE、Debian…等发行版。2、cat/etc/redhat-release,这…

    2022年10月13日
    0
  • java中Switch(expr)里面的参数的类型是?

    java中Switch(expr)里面的参数的类型是?在Java5以前,switch(expr)中,exper只能是byte,short,char,int类型在JDK1.6:引入enumJDK1.7时:又增加了Stringpublic static void main(String[] args) { switch ("123") { case "123": System.out.println("1234"); b…

    2022年6月13日
    33
  • UNIX基本操作命令

    UNIX基本操作命令UNIX命令基础登录系统:输入密码,密码不显示退出系统:ctrl+dexitlogout创建/修改密码:passwd密码输入后不显示,新密码要输入两次,匹配成功才算是修改密码成功UNIX命令格式:命令选项参数快捷键:ctrl+c:中断当前命令执行并返回shellctrl+d:终端传输或结束文本编辑ctrl+s:临时中断命令的屏幕输出ctrl+q:恢复由ctrl+s的临时中断ctrl+u:清除输入的整个命令行backspace:删除某个错误输入的字符常用操作命令

    2022年5月31日
    429
  • linux安装PyCharm,实用功能!!!!!!「建议收藏」

    linux安装PyCharm,实用功能!!!!!!「建议收藏」linux安装PyCharm 1.下载http://www.jetbrains.com/pycharm/download/2.安装PyCharm$cdDownloads/$tarxfzpycharm-*.tar.gz$rm pycharm-*.tar.gz$cdpycharm-community-3.4.1/bin/$./pycharm.sh安…

    2022年8月25日
    4
  • Xray扫描器使用联动 burp,以及结合 fofa 批量自动化挖洞「建议收藏」

    Xray扫描器使用联动 burp,以及结合 fofa 批量自动化挖洞「建议收藏」xray简介xray(https://github.com/chaitin/xray)是从长亭洞鉴核心引擎中提取出的社区版漏洞扫描神器,支持主动、被动多种扫描方式,自备盲打平台、可以灵活定义POC,功能丰富,调用简单,支持Windows/macOS/Linux多种操作系统,可以满足广大安全从业者的自动化Web漏洞探测需求。特点xray为单文件二进制文件,无依赖,也无需安装,下载后直接使用使用go语言编写,跨平台、纯异步、无阻塞,并发能力强,扫描速度刚刚的提供多种使用

    2022年5月7日
    194
  • python+selenium UI自动化不同浏览器之间的切换「建议收藏」

    python+selenium UI自动化不同浏览器之间的切换「建议收藏」python+selenium UI自动化不同浏览器之间的切换

    2022年4月22日
    35

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号