某个网站发布了新的网页，互联网搜索引擎是怎样知道的？

Edesigner. · 发表于 2020-6-24 09:29:33

全球那么多的网站，他一个一个扫描？而且如果有新的站点加入他又是怎样知道域名？知道域名了，有新的网页发布他又是如何知道？另外谷歌不是已经退出了大陆吗？怎么还能搜索到？谁来科普一下具体的原理？

Edesigner. · 发表于 2020-6-24 09:32:25

谷歌更聪明，多少个帖子，多少位作者都识别出来了。

glacier1 · 发表于 2020-6-24 09:32:36

爬虫。。。。

Edesigner. · 发表于 2020-6-24 09:37:28

glacier1 发表于 2020-6-24 09:32
爬虫。。。。

说说原理，好让以后有需要的网友也能从这里得到认识。

vtte · 发表于 2020-6-24 09:44:57

楼主你通过非法定信道连接国际互联网，赶紧改正。

Edesigner. · 发表于 2020-6-24 09:51:17

vtte 发表于 2020-6-24 09:44
楼主你通过非法定信道连接国际互联网，赶紧改正。

我让不在大陆的朋友帮我搜索后截图给我的。

shawn_bu · 发表于 2020-6-24 10:09:41

爬虫，除非网页没有其他外链。不然爬虫就可以从其他链接爬到这个网页。但是没链接的网页给谁看呢，只有知道URL才能打开。

wye11083 · 发表于 2020-6-24 10:13:08

shawn_bu 发表于 2020-6-24 10:09
爬虫，除非网页没有其他外链。不然爬虫就可以从其他链接爬到这个网页。但是没链接的网页给谁看呢，只有知道 ...

你忘了暗网了？

shawn_bu · 发表于 2020-6-24 10:15:12

wye11083 发表于 2020-6-24 10:13
你忘了暗网了？

没研究过暗网，暗网是啥？

yplin27 · 发表于 2020-6-24 10:20:06

新网站可以ping搜索引擎提醒它索引，旧网站基本上更新频繁就索引快

albert.hu · 发表于 2020-6-24 11:24:59

搜索引擎的爬虫会根据网站的评级，自动定时过来搜集新的url

eva015401 · 发表于 2020-6-24 14:53:23

爬虫，巨大的爬虫收集页面。

阿莫论坛20周年了！感谢大家的支持与爱护！！