Web-Check 用于深入了解给定网站的内部工作原理:发现潜在的攻击媒介、分析服务器架构、查看安全配置并了解网站正在使用哪些技术。
目前仪表板可以显示:IP 信息、SSL 链、DNS 记录、cookie、标头、域信息、搜索爬虫规则、页面地图、服务器位置、重定向分类、开放端口、跟踪路由、DNS 安全扩展、站点性能、跟踪器、关联主机名、碳足迹。请继续关注,很快就会添加更多内容!
目的是帮助您轻松了解、优化和保护您的网站。
演示
可以通过以下网址访问托管版本:web-check.as93.net
镜像
此存储库的源镜像到 CodeBerg,可在以下位置获取:codeberg.org/alicia/web-check
特性
以下部分概述了核心功能,并简要解释了为什么这些数据可能对您有用,并链接到更多内容以便您了解更多信息。
IP 信息
IP 地址(互联网协议地址)是分配给连接到网络/互联网的每个设备的数字标签。通过在域名系统 (DNS) 中查询该域的 A(地址)记录,可以找到与给定域关联的 IP。
查找给定服务器的 IP 是进行进一步调查的第一步,因为它允许我们探测服务器以获取更多信息。包括创建目标网络基础设施的详细地图、查明服务器的物理位置、识别托管服务,甚至发现托管在同一 IP 地址上的其他域。
有用的链接
SSL 链
SSL 证书是数字证书,用于验证网站或服务器的身份、启用安全加密通信 (HTTPS) 以及在客户端和服务器之间建立信任。网站需要有效的 SSL 证书才能使用 HTTPS 协议并加密传输中的用户 + 站点数据。SSL 证书由证书颁发机构 (CA) 颁发,证书颁发机构是可信的第三方,负责验证证书持有者的身份和合法性。
SSL 证书不仅保证了网站数据传输的安全,而且还提供了有价值的 OSINT 数据。SSL 证书中的信息可以包括颁发机构、域名、有效期,有时甚至包括组织详细信息。这对于验证网站的真实性、了解其安全设置、甚至发现关联的子域或其他服务非常有用。
有用的链接
DNS 记录
此任务涉及查找与特定域关联的 DNS 记录。DNS 是一个将人类可读的域名转换为计算机用于通信的 IP 地址的系统。存在各种类型的 DNS 记录,包括 A(地址)、MX(邮件交换)、NS(名称服务器)、CNAME(规范名称)和 TXT(文本)等。
提取 DNS 记录可以在 OSINT 调查中提供大量信息。例如,A 和 AAAA 记录可以泄露与域关联的 IP 地址,从而可能泄露服务器的位置。MX 记录可以提供有关域的电子邮件提供商的线索。TXT 记录通常用于各种管理目的,有时可能会无意中泄露内部信息。了解域的 DNS 设置也有助于了解其在线基础设施的构建和管理方式。
有用的链接
Cookie
Cookies 任务涉及检查目标网站设置的 HTTP cookie。Cookie 是用户浏览网站时网络浏览器存储在用户计算机上的小数据片段。它们保存特定于特定客户端和网站的适量数据,例如站点首选项、用户会话状态或跟踪信息。
Cookie 可以披露有关网站如何跟踪用户并与其用户互动的信息。例如,会话 cookie 可以揭示用户会话的管理方式,而跟踪 cookie 可以暗示正在使用哪种类型的跟踪或分析框架。此外,检查 cookie 政策和实践可以深入了解网站的安全设置和隐私法规的遵守情况。
有用的链接
抓取规则
robots.txt 是一个(通常)位于域根部的文件,用于实施机器人排除协议 (REP),以指示哪些页面应被哪些爬虫和机器人忽略。避免搜索引擎爬网程序超载您的网站是一种很好的做法,但不应该用于将页面排除在搜索结果之外(而是使用 noindex 元标记或标头)。
在调查过程中检查 robots.txt 文件通常很有用,因为它有时会泄露网站所有者不希望编入索引的目录和页面,可能是因为它们包含敏感信息,或者揭示了其他隐藏或隐藏的内容的存在。未链接的目录。此外,了解抓取规则可以深入了解网站的 SEO 策略。
有用的链接
标头
标头任务涉及提取和解释目标网站在请求-响应周期期间发送的 HTTP 标头。HTTP 标头是在 HTTP 响应开始时或在实际数据之前发送的键值对。标头包含有关如何处理正在传输的数据的重要指令,包括缓存策略、内容类型、编码、服务器信息、安全策略等。
分析 HTTP 标头可以为 OSINT 调查提供重要见解。标头可以显示特定的服务器配置、所选技术、缓存指令和各种安全设置。这些信息可以帮助确定网站的底层技术堆栈、服务器端安全措施、潜在漏洞和一般操作实践。
有用的链接
质量指标
使用 Lighthouse,质量指标任务可以衡量目标网站的性能、可访问性、最佳实践和 SEO。这会返回一个包含 100 个核心指标的简单清单,以及每个类别的分数,以衡量给定网站的整体质量。
可用于评估网站的技术健康状况、SEO 问题、识别漏洞并确保符合标准。
有用的链接
服务器位置
服务器位置任务根据 IP 地址确定托管给定网站的服务器的物理位置。这是通过在位置数据库中查找 IP 来完成的,该数据库将 IP 映射到已知数据中心和 ISP 的经纬度。根据纬度和经度,可以显示额外的上下文信息,例如地图上的位置,以及地址、国旗、时区、货币等。
了解服务器位置是更好地了解网站的第一步。对于网站所有者而言,这有助于优化内容交付、确保符合数据驻留要求以及识别可能影响特定地理区域的用户体验的潜在延迟问题。对于安全研究人员来说,评估特定地区或司法管辖区在网络威胁和法规方面带来的风险。
有用的链接
关联主机
此任务涉及识别并列出与网站主域关联的所有域和子域(主机名)。此过程通常涉及 DNS 枚举以发现任何链接的域和主机名,以及查看已知的 DNS 记录。
在调查过程中,了解目标网络存在的全部范围至关重要。关联的域可能会导致发现链接到主站点的相关项目、备份站点、开发/测试站点或服务。这些有时可以提供额外的信息或潜在的安全漏洞。关联域和主机名的综合列表还可以概述组织的结构和在线足迹。
有用的链接
重定向链
此任务跟踪从原始 URL 到最终目标 URL 发生的 HTTP 重定向序列。HTTP 重定向是带有状态代码的响应,建议客户端转到另一个 URL。发生重定向的原因有多种,例如 URL 规范化(定向到网站的 www 版本)、强制执行 HTTPS、URL 缩短程序或将用户转发到新的网站位置。
出于多种原因,了解重定向链可能很有用。从安全角度来看,长或复杂的重定向链可能是潜在安全风险的标志,例如链中未加密的重定向。此外,重定向会影响网站性能和 SEO,因为每个重定向都会引入额外的往返时间 (RTT)。对于 OSINT 而言,了解重定向链可以帮助识别不同域之间的关系或揭示某些技术或托管提供商的使用情况。
有用的链接
TXT 记录
TXT 记录是一种 DNS 记录,可向域外的源提供文本信息。它们可用于多种目的,例如验证域所有权、确保电子邮件安全,甚至防止对您的网站进行未经授权的更改。
TXT 记录通常会揭示给定域正在使用哪些外部服务和技术。它们可能会泄露有关域的电子邮件配置、Google Workspace 或 Microsoft 365 等特定服务的使用情况,或 SPF 和 DKIM 等现有安全措施的详细信息。了解这些详细信息可以深入了解组织使用的技术、电子邮件安全实践和潜在漏洞。
有用的链接
服务器状态
检查服务器是否在线并响应请求。
开放端口
服务器上的开放端口是可用于与客户端建立连接的通信端点。每个端口对应一个特定的服务或协议,例如HTTP(端口80)、HTTPS(端口443)、FTP(端口21)等。可以使用端口扫描等技术来确定服务器上的开放端口。
了解服务器上打开的端口可以提供有关该服务器上运行的服务的信息,这对于了解系统的潜在漏洞或了解服务器所提供的服务的性质很有用。
有用的链接
路由追踪
Traceroute 是一种网络诊断工具,用于实时跟踪信息包从一个系统到另一个系统所采取的路径。它记录沿途的每一跳,提供有关路由器的 IP 和每个点的延迟的详细信息。
在 OSINT 调查中,traceroute 可以提供有关支持网站或服务的网络基础设施的路由路径和地理位置的见解。这有助于识别网络瓶颈、潜在的审查或网络流量操纵,并全面了解网络的结构和效率。此外,在路由跟踪期间收集的 IP 地址可能会为进一步的 OSINT 调查提供额外的查询点。
碳足迹
此任务计算网站的估计碳足迹。它基于正在传输和处理的数据量以及托管和交付网站的服务器的能源使用情况。网站越大、功能越复杂,其碳足迹可能就越高。
从开源情报的角度来看,了解网站的碳足迹并不能直接提供对其内部运作或其背后组织的见解。然而,在更广泛的分析中,它仍然是有价值的数据,特别是在考虑环境影响的情况下。例如,对于对数字基础设施的可持续性感兴趣并希望让组织对其环境影响负责的活动家、研究人员或道德黑客来说,它可能很有用。
有用的链接
服务器信息
此任务检索有关托管目标网站的服务器的各种信息。这可以包括服务器类型(例如 Apache、Nginx)、托管提供商、自治系统编号 (ASN) 等。这些信息通常是通过 IP 地址查找和 HTTP 响应标头分析相结合来获取的。
在 OSINT 环境中,服务器信息可以提供有关网站背后组织的宝贵线索。例如,托管提供商的选择可能表明组织运营的地理区域,而服务器类型可能暗示组织使用的技术。ASN 还可用于查找同一组织托管的其他域。
域名查询
此任务检索目标域的 Whois 记录。Whois 记录是丰富的信息源,包括域名注册者的姓名和联系信息、域的创建和到期日期、域的名称服务器等。该信息通常通过查询 Whois 数据库服务器来获取。
在 OSINT 环境中,Whois 记录可以提供有关网站背后实体的宝贵线索。他们可以显示域名首次注册的时间以及域名何时到期,这可以提供对实体运营时间表的深入了解。联系信息虽然经常被编辑或匿名,但有时可能会导致额外的调查途径。名称服务器还可以用于将同一实体拥有的多个域链接在一起。
域名信息
此任务检索目标域的 Whois 记录。Whois 记录是丰富的信息源,包括域名注册者的姓名和联系信息、域的创建和到期日期、域的名称服务器等。该信息通常通过查询 Whois 数据库服务器来获取。
在 OSINT 环境中,Whois 记录可以提供有关网站背后实体的宝贵线索。他们可以显示域名首次注册的时间以及域名何时到期,这可以提供对实体运营时间表的深入了解。联系信息虽然经常被编辑或匿名,但有时可能会导致额外的调查途径。名称服务器还可以用于将同一实体拥有的多个域链接在一起。
DNS 安全扩展
如果没有 DNSSEC,MITM 攻击者就有可能欺骗记录并将用户引导至网络钓鱼站点。这是因为 DNS 系统不包含内置方法来验证对请求的响应是否未被伪造,或者该过程的任何其他部分是否未被攻击者中断。DNS 安全扩展 (DNSSEC) 通过使用公钥对 DNS 记录进行签名来保护 DNS 查找,以便浏览器可以检测响应是否已被篡改。此问题的另一个解决方案是 DoH(基于 HTTPS 的 DNS)和 DoT(基于 TLD 的 DNS)。
DNSSEC 信息可让您深入了解组织的网络安全成熟度和潜在漏洞,特别是围绕 DNS 欺骗和缓存中毒的漏洞。如果没有实施 DNS 安全性(DNSSEC、DoH、DoT 等),这可能会为攻击者提供入口点。
网站特性
检查站点上存在哪些核心功能。如果某个功能被标记为死亡,则意味着它在加载时没有被积极使用。
这对于了解网站的功能以及需要寻找哪些技术很有用。
HTTP 严格传输安全
HTTP 严格传输安全 (HSTS) 是一种 Web 安全策略机制,有助于保护网站免受协议降级攻击和 Cookie 劫持。网站可以通过符合一组要求并将其自身提交到列表来包含在 HSTS 预加载列表中。
网站启用 HSTS 很重要,原因有以下几个:
- 用户添加书签或手动输入http://example.com,并且容易受到中间人攻击 HSTS 自动将 HTTP 请求重定向到 HTTPS目标域
- 旨在纯 HTTPS 的 Web 应用程序无意中包含 HTTP 链接或通过 HTTP HSTS 提供内容 会自动将 HTTP 请求重定向到目标域的 HTTPS
- 中间人攻击者尝试拦截来自受害用户使用无效证书并希望用户接受错误证书 HSTS 不允许用户覆盖无效证书消息
DNS 服务器
此检查确定所请求的 URL/IP 解析到的 DNS 服务器。还会启动基本检查以查看 DNS 服务器是否支持 DoH,以及是否容易受到 DNS 缓存中毒的影响。
技术栈
检查网站是使用哪些技术构建的。这是通过获取并解析站点,然后将其与 Wappalyzer 维护的正则表达式位列表进行比较来识别不同技术留下的独特指纹来完成的。
识别网站的技术堆栈有助于通过暴露潜在漏洞来评估其安全性,为竞争分析和开发决策提供信息,并可以指导量身定制的营销策略。这些知识的道德应用对于避免数据盗窃或未经授权的入侵等有害活动至关重要。
有用的链接
列出的页面
此作业查找并解析站点列出的站点地图。该文件列出了网站上的公共子页面,作者希望搜索引擎能够抓取这些子页面。站点地图有助于搜索引擎优化,但也有助于一目了然地查看网站的所有公共内容。
了解网站面向公众的内容的结构,对于网站所有者来说,请检查您网站的站点地图是否可访问、可解析并包含您希望的所有内容。
有用的链接
security.txt
security.txt 文件告诉研究人员如何负责任地披露在您的网站上发现的任何安全问题。该标准是在 RFC 9116 中提出的,并指定该文件应包含联系人(电子邮件地址)以及可选的其他信息,例如安全披露策略的链接、PGP 密钥、提供的语言、策略到期时间等。该文件应位于域的根目录下,即 /security.txt 或 /.well-known/security.txt。
这很重要,因为如果没有明确的联系点,安全研究人员可能无法报告关键的安全问题,或者可能使用不安全或可能的公共渠道来报告关键安全问题。从 OSINT 的角度来看,您还可以收集有关站点的信息,包括其安全状况、CSAF 提供商以及来自 PGP 公钥的元数据。
有用的链接
- 安全txt.org
- RFC-9116 提案
- RFC-9116 历史
- Security.txt(维基百科)
- 示例 security.txt (Cloudflare)
- 创建 security.txt 的教程 (Pieter Bakker)
链接页面
显示在站点上找到的所有内部和外部链接,由附加到锚元素的 href 属性标识。
对于网站所有者来说,这对于诊断 SEO 问题、改进网站结构、了解内容如何相互连接非常有用。外部链接可以显示合作伙伴关系、依赖关系和潜在的声誉风险。从安全角度来看,出站链接可以帮助识别该网站在不知情的情况下链接到的任何潜在恶意或受损网站。分析内部链接可以帮助了解网站的结构,并有可能发现不打算公开的隐藏或易受攻击的页面。对于 OSINT 调查员来说,它可以帮助全面了解目标,发现相关实体、资源,甚至网站潜在的隐藏部分。
有用的链接
社交标签
网站可以包含某些元标签,告诉搜索引擎和社交媒体平台要显示哪些信息。这通常包括标题、描述、缩略图、关键字、作者、社交帐户等。
将此数据添加到您的网站将促进 SEO,作为 OSINT 研究人员,了解给定的 Web 应用程序如何描述自身可能会很有用
有用的链接
电子邮件配置
DMARC(基于域的消息身份验证、报告和一致性):DMARC 是一种电子邮件身份验证协议,可与 SPF 和 DKIM 配合使用,以防止电子邮件欺骗和网络钓鱼。它允许域所有者指定如何通过 DNS 中发布的策略处理未经身份验证的邮件,并提供一种方式让接收邮件服务器向发件人发送有关电子邮件合规性的反馈。BIMI(消息识别品牌指示器):BIMI 是一种新兴的电子邮件标准,使组织能够自动在客户的电子邮件客户端中显示徽标。BIMI 将徽标与域的 DMARC 记录联系起来,为收件人提供了另一个级别的视觉保证,表明电子邮件是合法的。DKIM(域名密钥识别邮件):DKIM 是一种电子邮件安全标准,旨在确保邮件在发送服务器和收件人服务器之间传输时不会被更改。它使用链接到发送者域的数字签名来验证发送者并确保消息完整性。SPF(发件人策略框架):SPF 是一种电子邮件身份验证方法,旨在防止电子邮件欺骗。它通过创建 DNS 记录来指定哪些邮件服务器有权代表域发送电子邮件。这有助于防止垃圾邮件,因为它提供了一种让接收邮件服务器检查来自某个域的传入邮件是否来自该域管理员授权的主机的方法。
此信息对研究人员很有帮助,因为它有助于评估域的电子邮件安全状况、发现潜在漏洞并验证电子邮件的合法性以进行网络钓鱼检测。这些详细信息还可以深入了解目标组织的托管环境、潜在服务提供商和配置模式,从而协助调查工作。
有用的链接
防火墙检测
WAF 或 Web 应用程序防火墙通过过滤和监控 Web 应用程序与 Internet 之间的 HTTP 流量来帮助保护 Web 应用程序。它通常可以保护 Web 应用程序免受跨站点伪造、跨站点脚本 (XSS)、文件包含和 SQL 注入等攻击。
了解站点是否使用 WAF 以及它正在使用哪种防火墙软件/服务非常有用,因为这可以深入了解站点针对多种攻击媒介的防护,但也可能揭示防火墙本身的漏洞。
有用的链接
HTTP 安全特性
正确配置的安全 HTTP 标头可以为您的站点添加一层针对常见攻击的保护。需要注意的主要标头有: HTTP 严格传输安全 (HSTS):强制使用 HTTPS,减少中间人攻击和协议降级尝试。内容安全策略(CSP):限制网页资源以防止跨站脚本和数据注入攻击。X-Content-Type-Options:防止浏览器通过 MIME 嗅探声明内容类型的响应,从而遏制 MIME 类型混淆攻击。X-Frame-Options:通过控制浏览器是否应在<frame>
、<iframe>
、<embed>
或<object>
中呈现页面,保护用户免受点击劫持攻击。
检查安全标头非常重要,因为它可以深入了解站点的防御态势和潜在漏洞,从而实现主动缓解并确保符合安全最佳实践。
有用的链接
存档历史
从 Wayback 机器获取档案的完整历史记录。
这对于了解站点的历史以及它如何随时间变化非常有用。它还可用于查找网站的旧版本或查找已删除的内容。
有用的链接
全球排名
此检查显示所请求网站的全球排名。这仅适用于前 1 亿列表中的网站。我们使用来自 Tranco 项目的数据(见下文),该项目整理了来自 Umbrella、Majestic、Quantcast、Chrome 用户体验报告和 Cloudflare Radar 的热门网站。
了解网站的总体全球排名有助于了解该网站的规模以及将其与其他网站进行比较。它对于了解网站的相对受欢迎程度以及识别潜在趋势也很有用。
有用的链接
块检测
使用 10 多个最流行的隐私、恶意软件和家长控制阻止 DNS 服务器检查对 URL 的访问。
有用的链接
恶意软件和网络钓鱼检测
检查某个网站是否出现在多个常见恶意软件和网络钓鱼列表中,以确定其威胁级别。
了解某个网站是否被这些服务中的任何一个列为威胁对于了解网站的声誉以及识别潜在趋势非常有用。
有用的链接
TLS 密码套件
这些是服务器用来建立安全连接的加密算法的组合。它包括密钥交换算法、批量加密算法、MAC算法和PRF(伪随机函数)。
从安全角度来看,这是需要测试的重要信息。因为密码套件的安全性取决于其包含的算法。如果密码套件中的加密或身份验证算法版本存在已知漏洞,则密码套件和 TLS 连接可能容易受到降级或其他攻击
有用的链接
TLS 安全配置
这使用 Mozilla 的 TLS Observatory 指南来检查 TLS 配置的安全性。它会检查是否存在可能使站点容易受到攻击的错误配置,并提供有关如何修复的建议。它还会针对过时的和现代的 TLS 配置提供建议。
了解站点的 TLS 配置问题将帮助您解决潜在的漏洞,并确保站点使用最新、最安全的 TLS 配置。
TLS 握手模拟
这模拟了不同客户端(浏览器、操作系统)如何与服务器执行 TLS 握手。它有助于识别兼容性问题和不安全的配置。
有用的链接
截屏
此检查会截取所请求的 URL/IP 解析到的网页的屏幕截图并显示它。
这对于查看给定网站的外观可能很有用,不受浏览器、IP 或位置的限制。
在这里阅读更多信息:web-check.xyz/about
用法
部署
#1 选项:Netlify
单击下面的按钮,部署到 Netlify 👇
#2 选项:Vercel
单击下面的按钮,部署到 Vercel 👇
#3 选项:Docker
运行docker run -p 3000:3000 lissy93/web-check
,然后打开localhost:3000
Docker 选项
可以从以下位置获取 Docker 镜像:
- DockerHub:https://hub.docker.com/r/lissy93/web-check
- GHCR:https://github.com/Lissy93/web-check/pkgs/container/web-check
- 克隆本仓库自己构建镜像:
docker build -t web-check .
#4 选项:从源文件开始
安装开发部分中列出的先决条件,然后运行:
git clone https://github.com/Lissy93/web-check.git # Download the code from GitHub cd web-check # Navigate into the project dir yarn install # Install the NPM dependencies yarn build # Build the app for production yarn serve # Start the app (API and GUI)
配置
默认情况下,无需配置。
但是,您可以设置一些可选的环境变量,以便您可以访问一些额外的检查,或者提高某些使用外部 API 的检查的速率限制。
开发
- 克隆存储库,
git clone git@github.com:Lissy93/web-check.git
- 进入目录,
cd web-check
- 安装依赖项:
yarn
- 启动开发服务器,使用
yarn dev
您需要安装Node.js(V 18.16.1 或更高版本),以及yarn和git。有些检查还需要chromium
,traceroute
和dns
安装在您的环境中。如果这些包不存在,这些作业将被跳过。
来自: