盗墓OSINT

  • 深度调查过程中经常会遇到您想要的信息/内容/网站已被删除的棘手情况,别怕,办法还是有的,怎么做?

想象一下,您正在调查一个网站。您已经获得了域名,但其内容不可用或已被删除。这种情况在 OSINT 调查中有可能经常出现。不过办法还是有的,本文来说说它可以怎么办。

首先,检查域名注册可能会对您有所帮助;另外有很多网站可以帮助你:

如果您经常使用 Google,可能会注意到这个方便的技巧:

  • URL旁边有一个小三角形图标;
  • 单击三角形,它会为您提供查看 URL 缓存版本的选项,或者它为您提供类似的版本(不一定总是很好);
  • 找到感兴趣的网站的缓存版。

对于那些使用 Bing 和 Yandex 的人来说它们也为你提供了同样的东西。

关于 Google Cache 内容的一个重要注意事项是,它将显示来自 Google 缓存的文本内容。但是,如果您不在URL中添加“&strip = 1”,您的浏览器将从实际站点提取实时 JavaScript、图像和其他内容。当您研究恶意软件站点、煽动仇恨的群组、民族国家内容、和有组织犯罪时,这对您的 OPSEC(操作安全性)来说非常重要,因为你肯定不希望他们知道你正在研究他们

以下使用动画 GIF 说明这一点,步骤如下:

  1. 访问感兴趣的网站:http://cached.sec487.info/
  2. 在 Google 上搜索该网站;
  3. 使用 Google 缓存来检索网站,现在,请查看右侧的黄色图像;
  4. 使用“仅文字”Google 缓存内容;
  5. 将“&strip = 1”添加到网址,以提取仅限 Google 缓存的内容;
  6. 使用开发人员工具查看您的浏览器使用仅限Google缓存的内容进行的网络通话(它只会抓取Google 网站上的内容);
  7. 然后尝试相同的操作,但这次不要在URL中添加“&strip = 1”。

这里有一个动图演示:https://osintcurio.files.wordpress.com/2019/02/cached.gif?w=644&zoom=2

其次,档案馆是众所周知的好办法。Archive.org(存档超过3450亿页)和 Archive.today (确保在深灰色框中搜索URL。使用红色框将存档您的页面而不是搜索存档)这是两个存档大量网页的站点。我们以前介绍给。顺便说一句,Archive.today与archive.is相同,由于最近冰岛提起的投诉,该URL可能会在不久后停止运作。

同样有趣的是:检查您是否可以找到在网站上显示的旧图像中的 EXIF 元数据。这可能会给你带来一些很好的新研究机会。

有些网站可以帮助您找到与您正在研究的网站类似的网站。这可能不会导致找到您想要查看的确切网站,但是,也许它们已经在其他网站复制了布局,或者它们可能使用了新域名。比如Alexa、Similarweb,Similarsitesearch 或 Similarsites(可能还有更多)都可以帮你寻找类似的网站。

有些网站可以帮助您为您感兴趣的域名创建常见域名拼写错误列表(比如这样)。但是你也可以使用一种非常酷的工具:DNStwistDNStwist 可以查看您的域名可能存在的错别字,如果网站仍在运行,还可以向您提供 WhoIs信息。尽管如此,这确实需要一些命令行技能才能使用。

如果您更喜欢使用基于Web的工具而不是命令行工具,请查看 dnstwister.report。它与 DNStwist 的作用相同,唯一的区别是,无论何时输入域名,它都会在后台运行 DNStwist。虽然这种设置非常快,不需要基础知识,但您仍然会因此失去了一些匿名性,因为您要求第三方在您的目标域名上运行 DNStwist

动图示范这一搜索:https://cdn-images-1.medium.com/max/1600/1*1Abx-kZ8wxEHozkJAfTUGQ.gif

不要忘记子域名!有时网站可能看似空洞,但子域名仍然可能充满了许多有趣的东西。Pentest-tools.comFindsubdomains.com 都允许您搜索子域名。请注意前者有一点搜索限制。

另一个信息来源是可以在多个站点上找到的证书透明度日志。例如,当您对旧(子)域名感兴趣时,可以通过像 crt.sh 这样的站点查看这些报告,以查找要转移的旧的、不存在的子域名。例如,可以查看包含“twitter.com”在内的透明度报告中的所有证书,在查看结果时,旧的和​​已不存在的子域名将显示在历史记录中。

查找过期证书甚至隐藏子域名的另一种方法是使用 Censys.io。要查看已扫描的过期 Twitter 证书,可以这样查询 Censys:

parsed.names:twitter.com AND tags.raw:“expired”

运行此查询并查看几行后,会看到另一个无效的子域示例:

通过在crt.sh或 Censys 中打开证书本身,可以获得更多的信息;通常会引导您访问更多的子域,有时还可以获得有关其所用环境的更详细信息。

— — 如果你正在研究的社交媒体网站/帖子已被删除 — — 

如果您足够幸运能够获得一些信息,包括用户名、用户ID或帖子的链接,这在搜索该内容时会有很大帮助。

比如我们介绍过的 Google“dorks”。Google dorks 只是在 Google 搜索引擎上执行的高级搜索。请查看您目前所获得的信息; 如果您有用户ID,请尝试搜索类似 inurl 的内容:userID(或用户名)也许ID或名称已在其他网站上使用过。详见:《高级运算符辅助开源调查

或者,如果您也知道他们使用了什么平台,请尝试搜索 NameOfPlatform“userID”(或“username”)。而且还有很多其他选择,见上面链接,都可以试试。

当有人更改了用户名(因此看起来内容好像被删除)时,按用户ID搜索会非常方便。这是一个唯一的编号,由您使用的平台给出,用户无法更改 ID。这适用于 Instagram; 因为有很多网站显示 Instagram 的内容,你可以很幸运地在那里找到信息。

很多人喜欢在其他平台上使用相同的用户名像 Namechk,Namecheckr 和 Usersearch 这样的网站都可以让你检查用户名是否在各种平台上使用过。您可以跟踪同一用户的其他配置文件。如果你很幸运; 他们还可能会将某些帖子自动转发到该平台。

Google+ 将在2019年4月初关闭。这意味着他们的平台将不再可搜索。但Archive.org是一个很棒的团队,因为他们正在开发一个项目,以便尽可能归档 Google+ 内容

他们以前还归档过 MySpace,这是一个在 Facebook 出现之前非常受欢迎的社交网络,例如,荷兰 DJ Hardwell 的 MySpace 个人资料在Archive.org中有多个条目。Hyves(在 Facebook 出现之前在荷兰很受欢迎的平台)现在是一个游戏平台,也有 DJ Hardwell 的多个条目

如果有特定帖子已被删除,检索信息可能会有点困难。有时 Google Cache 和 Archive 会提供结果,如果没找到,您最好的机会是搜索可能已经发表过帖子的人,并且可能被保存了的屏幕截图。当然如果你是警察和间谍,网站会提供缓存给你。

— — 如果你正在研究的Tor网站已被删除 — — 

虽然互联网的很大一部分存档得都很好,但对于 Darkweb 来说却不一样。但是,有几个有趣的事您值得了解。

有几个项目,比如 onion.link 有时能帮你显示网站副本;尝试使用 Tor2Web 代理软件通过普通网络上的搜索引擎也能搜索到 Darkweb。

在 Google,Bing 或 Duckduckgo 中搜索完整的洋葱网址时,可能会找到该网页的副本。如果你很幸运,还有可能找到一个缓存版本。

有很多站点可以跟踪 Darkweb 上发生的任何事情。其中一些保留了流行的 Darkweb 网站的图表,并发布了特定页面的截图(例如 Darkwebnews)可以检查是否有人存档/缓存了像 Darkwebnews 这样的网站,您可能能够找到您要查找的内容。

此外,Deepdotweb.com和 Reddit (或 Dreadditevelidot.onion,通过Tor)等网站都有关于各种 Darkweb 页面的信息。也许某人已经发布了您感兴趣的网站的帖子,并且可能包含截图。

或尝试免费的 Hunchly 每日暗网报告。每天您都会收到一个 Excel 电子表格的链接,但要小心,它不会被过滤,所以你可能会遇到非法内容。虽然这可能不会显示任何屏幕截图,但它会为您提供有关该网站上的内容的一些线索。

— — 预防措施 — — 

因为做调查报告需要时间,如果您担心在调查过程中内容或平台被删除,你可以采取一些预防措施。

如果您无法获得 Hunchly 许可证,您可以随时使用 Archive.org(他们有Chrome和FireFox的插件)或 Archive.is(将顶部的按钮拖到您的书签)来存档你正在做的事。缺点是,您存档的信息将公开提供给其他用户。但至少你知道你的数据不会丢失

如果您担心某些内容可能会被删除,您可以随时截取屏幕截图。为此目的,也有许多附加组件、应用程序和其他软件。

在 Chrome 扩展 SingleFile 让您保存您正在浏览的、之后离线浏览的或采取截图的 MHTML 文件;Scroll ++在此也是一样的,而且它在Firefox也能用。

此外,在进行在线研究时,让 Hunchly 跟踪您的调查几乎是您不可或缺的好处。它将跟踪您正在研究的所有内容,保存它们,允许您随时搜索它们等等。它的创建者贾斯汀塞茨(Justin Seitz)撰写了相关博客,并提供免费的网络研讨会,介绍如何以最有效的方式使用 Hunchly。

总之,巧妙地存档和检索数据,可以帮助您的 OSINT 研究更加成功。

广告

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据