很多隐藏在互联网深层的不可见网页都有什么？为什么谷歌无法搜索深网？
为什么Google搜索不到deep web？
互联网中只有4%-20%的网页是可见的，96%的网页隐藏在深处。这一点在《深网和暗网的区别是什么》中有所提及。其实最主要的原因是，Google等搜索引擎在搜索网页时，在没有这个文件的情况下会检查第一个名为robots.txt的文件，也就是说只能索引这个网页中没有密码保护的信息。
1、Pipl
Pipl设置的Robots文件可以与许多deep web数据库进行交互，因此可以对出版物、法庭记录和个人数据等深层资源进行索引。
2、My life
我的生活上大约有2.25亿个公共页面，包含了大量的个人信息，比如邮箱地址、家庭信息、电话号码、家庭住址等。，连你曾经生活过的地方都能找到，而且里面有18岁以上美国公民的信息。
3、Yippy
Yippy主要使用其他搜索引擎来获取结果信息，但特别的是，它不会留下任何网页浏览记录，包括查看电子邮件或合同条款。
4、Surfwax
Surfwax还有很多其他功能，不是简单的直接搜索。其中，焦点词功能可以独立设置搜索范围，识别其他相关内容，显示检索所需时间，从而更恰当地提供最佳搜索结果。
5、Way Back Machine
这是一个互联网档案馆的前端，包含100T的信息，只能通过URL访问。然而，Way Back Machine允许公众上传数据，但大多数数据都是由爬虫检索的，其中包含1500亿条捕获的信息。
6、Google Scholar
这是一个允许访问学术文件、出版物和其他学术资料的网页。可以通过关键词搜索，也可以配备谷歌学术，直接搜索时可以自动访问期刊和数据库。
科普：什么是深网、暗网与黑网？
近年来，听说了很多关于暗网的报道，一直搞不太清楚一些关系和名词，今天就一起来了解一下。
互联网是巨大的，我们日常访问的其实只是冰山上面的部分，但在冰山的下面藏着不比互联网小的深网(Deep Web)、暗网(Darknet)和黑网(Dark Web)。
对我们大多数人来说，网络限于12个到50个网站的日常浏览。很多还会以搜索引擎搜索的形式出现。据统计全球大约有10亿网站存在于全球服务器上，但即便是这个量级，也只是万维网(WWW)的冰山一角。深网包涵子集黑网，即是未被搜索引擎(如Google，百度、Bing等)索引的万维网的一部分；而暗网是一种使用正常模式无法访问的网络。我之前也容易将它们混淆，你呢？
简单理解，没有被搜索引擎爬虫爬到的都成为深网。例如，搜索引擎将无法访问托管某些由政府主导的秘密任务数据的服务器和网站；还有一些需要付费服务维护的网络；即搜索引擎爬虫无法触及到的网络统称为深网，它是一个比较宽泛的说法。
Darknet是建立在现有互联网之上的加密网络，并且需要特定的软件或工具来访问暗网。因为在互联网上使用的常规协议可能不应用于暗网。它为用户提供匿名性。比如Tor或洋葱路由，需要Tor浏览器进入Tor的网络。
当然Tor可以用来访问日常的互联网网站，但它也有许多隐藏的网站和服务，无法在常规互联网上访问。Tor使用其称为Tor隐藏服务协议来工作。而限制在Tor的网站有一个特殊的.onion地址。因此，Tor的暗网也被称为洋葱。
F2F是另一种暗网。两个熟悉的人直接通过互联网相互通信。他们可能通过P2P连接共享一些文件。这样的网络，不能被其他人访问，可以被加密或密码保护。
黑网是深网的一个子集。也就是说，在暗网上运行的服务和网站是黑网。暗网在技术架构上支撑黑网的体系。
如果你的理解更深刻或简洁，不妨留言告诉更多的朋友。
暗*网是什么意思？怎么进入，里面是什么内容？
就是指隐藏在暗处的网站，国内无法进入，里面有很多违法内容。
互联网是一个多层结构，“表层网”处于互联网的表层，能够通过标准搜索引擎进行访问浏览。藏在“表层网”之下的被称为“深网”。深网中的内容无法通过常规搜索引擎进行访问浏览。显著特点是使用特殊加密技术刻意隐藏相关互联网信息。
正常的互联网访问行为都是透明的，也就是说，用户通过互联网访问服务器的访问记录都是可以回溯审查的，这也是公安、国安部门侦查互联网犯罪的重要手段。
例如，互联网用户A通过互联网访问网站B，网站B的服务器部署了流量监控程序，这样就可以通过该程序找到用户A上网所使用的IP地址，进而可以确定其上网终端的地址，从而找到用户A的真实身份以及藏身地点。
然而Tor的出现使这一切都变得复杂，Tor的工作原理是在用户A访问网站B的路由要经过一系列中间节点加密传输，终将网站B的内容返回到用户A，这样一来，追踪溯源就变得极为困难。
tor浏览器怎么联网
最近热播的电视剧《破冰行动》，讲述的是缉毒警不畏牺牲，粉碎地下毒网的故事。剧中，毒贩用“暗网”这一互联网手段，联系卖家，构建贩毒网络。进入暗网并不容易，需要密钥，而密钥不是所有人都能得到的。
那么，这神秘莫测的暗网究竟是什么？
用特定软件、配置等才能访问
暗网又被称为隐藏网（Hidden Web），普通用户无法通过常规互联网手段搜索和访问它，它是深网（Deep Web）的重要组成部分。与之相对的是公众所熟悉的、通过搜索引擎和网址便能访问的表网（Surface Web）。
通俗地说，暗网就是那些具有非公开访问机制，普通搜索引擎无法搜索其内容的网站。资料显示，表网只承载了全球网络内容的不到10%，剩下的90%则“藏”于深网之中。
“暗网需要使用特定软件、配置或授权才能访问。”天津大学智能与计算学部教授王文俊在接受科技日报记者采访时表示。
暗网通常存储于网络数据库中，但无法通过超链接访问，而是必须通过动态网页技术来访问。暗网的内容十分丰富，九成以上是动态内容，其余的包括未被链接内容、私有网站、受限存取内容、脚本化内容以及非HTML／文本内容等。
如何才能获取这些内容呢？北京理工大学软件学院副教授闫怀志告诉科技日报记者，主要有两种途径。“一是构建针对性的暗网爬虫和搜索引擎，二是使用暗网所有者提供的信息对接手段。从技术实现角度来说，暗网通常采用特定的编码关键词技术，利用‘洋葱路由（Tor）’‘隐形网计划（I2P）’等工具构建‘隐藏的服务器’。”闫怀志说。
支持匿名交谈，通信高度保密
王文俊说，Tor是由美国海军研究实验室开发出来的匿名系统，用于避免在网上的活动被追踪到。普通用户下载安装相应软件后，便可访问暗网。
I2P则是利用“洋葱路由”的变体技术——大蒜路由，对网络中端到端的信息通道采用单向加密的匿名通信系统,通信隧道只掌握每一跳节点相邻节点的信息，但无法获知通信双方的通信关系，因而保证通信的匿名性。
而用户则需要通过VPN、Tor浏览器等才能实现匿名访问暗网。“Tor浏览器堪称是一枚能打开暗网世界大门的钥匙，它在密码学层面几乎不可破译。Tor浏览器就好像给用户戴了一张面具，用它浏览网站，没人会知道其真实身份。”闫怀志坦言。
暗网之所以吸引人，是因为用户之间的通信高度加密，它允许用户匿名交谈、共享文件。“其中Tor浏览器和Tor服务器被广泛使用，由于暗网通过大量中间服务器传输用户数据，传输信息只能由后续节点解密，因而暗网用户身份和IP地址无法被外界获取，也就无法跟踪相关用户。”王文俊表示。
王文俊解释道，暗网作为网络用户身份的匿名化通信系统，不仅从网络协议的改进、IP地址的动态化等方面进行技术伪装，还会对用户内容信息进行加密。量子保密通信是指以具备信息理论安全性证明的QKD技术作为密钥分发功能组件，结合适当的密钥管理、安全的密码算法和协议而形成的加密通信安全解决方案。而暗网则与其不同，它对用户身份、信息的保密更多基于网络协议和IP地址的代理转换，从而隐匿用户身份，让检测机构无法轻易获取到用户登录地址。
普通用户和犯罪分子共存
王文俊介绍道，历史上著名的暗网交易平台有以毒品交易为主的“丝绸之路”网站、被称为“暗网之王”的毒品交易市场Agora等。
闫怀志称，暗网的形成有两种途径。其一是由于某些客观原因，网站自身不规范或缺少统一规划，导致常规的搜索引擎无法对其进行识别，使其成为搜索盲区，从而无法供公众访问，客观上形成了暗网。其二是网站所有者主观上不愿被公众访问，比如出于隐私保护、版权保护以及负面信息隐藏等原因。
人们通常使用暗网做什么？
王文俊告诉科技日报记者，Tor服务器提供的服务有儿童色情内容、非法毒品和其他商品交易的黑市、僵尸网络运营、政治讨论论坛、欺诈相关服务和邮购服务等。
值得注意的是，使用暗网的用户通常是一些非常注重隐私、需保持匿名状态的人，除非法交易者外，还有些用户利用Tor来规避审查，或利用Tor进行威胁信息挖掘。
也就是说，在暗网中普通用户和违法犯罪分子共存。其实，暗网里面的普通用户，有的是为了规避上网行为限制，有的则是为了记录、存储、传播并分享信息等。
有网的地方就有“江湖”，暗网更不例外。
“各色人等涌入暗网之后，导致暗网中鱼龙混杂。而在普通公众的认知里，暗网通常是涉黑涉恐、杀人越货、买卖销赃等罪恶孳生地，导致暗网成为违法犯罪平台的代名词。”闫怀志直言。
他告诉科技日报记者，暗网确实在众多影响世界的重大恶性事件中，起到了“根据地”的作用，比如涉恐组织的网站，几乎都植根于暗网。
加密货币助推暗网走向成熟
暗网历史与万维网本身历史一样悠久。
1994年，美国学者吉尔·埃尔斯沃思（Jill Ellsworth）博士首先提出了隐藏网概念，而实用的暗网技术则最早源于美国海军研究实验室。1996年，出于军事目的，该实验室提出如下构想：在某个系统中，所有的用户在联网时均处于匿名状态，用户身份对服务器保密。时至今日，暗网已发展成为数据规模超过表网400倍的另一种网络。
王文俊介绍道，2000年暗网进入发展起步期，开始为大量非法信息传递提供便利，包括非法色情材料和盗版内容。而随着Tor的发布，暗网实现了彻底的匿名操作。2010年，Tor开始与加密货币结合，诞生了第一个黑市。“加密货币一直是暗网走向成熟的最大助推因素。”王文俊说。
暗网号称是犯罪者天堂,也被比作“暗黑版淘宝”。不法分子可通过加密货币购买服务，如军火枪支、毒品，甚至人口买卖等，具有匿名属性的加密货币让双方绕开了政府和银行的监管。特别是恐怖分子利用暗网进行交流和协调时，难以被相关机构识别、跟踪。
2017年7月，由美国与荷兰主导，多国警方协同关闭了以毒品交易为主的暗网平台“阿尔法湾”和“汉萨市场”。
暗网危害众多，最严重的，莫过于其在很大程度上规避了政府监管，成了法外之地。“暗网已成为涉黑涉恐、反政府、反社会、网络黑产交易等不法行为的重要‘栖身地’，给社会和公众安全带来了巨大风险和威胁。”闫怀志直言。
虽然暗网通常难以被追踪，对其实施监管较困难，但世界各国都在加大对暗网打击力度。
比如，可通过监控Tor等浏览器的下载信息来顺藤摸瓜，跟踪暗网用户并监控其在暗网中的行为；也可主动创建暗网陷阱，对犯罪分子等用户开放，坐等违法犯罪分子入瓮；还可让政府监管人员扮演成暗网用户进行卧底，深入虎穴，成功取证。
0条大神的评论