Kituro 发表于 2020-2-29 16:22:17

Scenery Infinity - 全网地景资源查找

本帖最后由 Kituro 于 2020-3-1 15:26 编辑

Scenery Infinity(以下简称SI)是一个类似AVSIM的程序,我通过爬虫程序将各个资源站上的所有关于地景的帖子的标题与链接全部爬取下来,存储到一个文件中,使用时通过查询数据库来获取相应的地景信息



目前支持FS9,FSX,FSX:SE,P3D,XPlane 10/11
来源站:fsx.org.cn - 飞行宝,Sinofsx - 模拟飞行论坛,FSCenter - 模拟飞行中心,aircn.org - AIRCN模拟飞行网,FSXChina - FSXChina模拟飞行
先上效果图:








查找一些很冷门的资源:



目前数据库收录了包含所有平台的地景与机场总计2571个
国外的由于墙与网速,制度等原因,这个方法不好使,爬出来很多无用的东西关于simmarket的适配会进一步跟进
基本是全网最全的地景搜索吧。。。
程序所给的游戏版本不一定正确!例如sino把fsx/p3d的地景放在一个板块内,无法区分到底是FSX的地景还是P3D的地景
大多数地景都能兼容,但可能有些地景版本太老不支持P3D又或者不支持FSX,所有这里的版本号仅供参考

开发这个的初衷是有时候想飞一些航线,却找不到可用的地景资源,这个时候一般都用百度
可是百度排序的权重是按点击量来的,导致很难找到需要的资源
于是就用python写了SI,代码不多,300行不到,准备在github开源
目前程序处于早期开发版本,有很多bug,可能会遇到打不开或者报错的情况,欢迎各位反馈
这里先在sino发布,修复一些bug,稍微稳定后会在CFR和FSCenter同步上线

关于对网站的影响与法律问题:
先上结论:这个程序完全合法!不会对网站的服务器造成过多的负担!
SI分为两部分,一部分是Spider模块,不会对外发布,作用是爬取网站的帖子数据,生成一个数据库文件
第二部分是Scanner模块,作用是在数据库里查找地景的帖子数据,这部分是公开的
(如无意外,我每周会更新一次数据库文件。)
在爬取每个网站的帖子数据前我都查阅了网站的robots协议(robots.txt),经过确认后才进行数据的爬取
这个操作在本质上和使用百度搜索其实是一模一样的,百度也是释放成千上万只爬虫在网络上爬取数据,汇总后加上权重进行呈现
换言之,你用搜索引擎能搜得到的东西,我使用爬虫爬取都是完全合法的

下载链接(早期版本,不收金币):
链接:https://pan.baidu.com/s/1gQiFjeNHcWnxYRQCNaXS0w
提取码:voc8
注意contents.pkl必须与exe文件放在同一目录下
程序开始运行时可能有5s作用的数据读取时间,命令行上没有东西是正常的,等待几秒后就可以使用了

注意!我身边没有第二台电脑来测试兼容性,很可能出现打开失败的情况,敬请您反馈!



=V= 发表于 2020-2-29 16:31:44

泰巨了太强了我完事了

JimJ 发表于 2020-2-29 16:31:54

非常感謝!太强大了!

Kituro 发表于 2020-2-29 16:54:22

金嘉懿_ZSnHU 发表于 2020-2-29 16:31
非常感謝!太强大了!

你好,请问一下运行的怎样,有没有报错?

Kituro 发表于 2020-2-29 16:56:35

金嘉懿_ZSnHU 发表于 2020-2-29 16:31
非常感謝!太强大了!

不得不说实在流氓。。这才10mb都不到啊。。

Kituro 发表于 2020-2-29 17:00:08

金嘉懿_ZSnHU 发表于 2020-2-29 16:31
非常感謝!太强大了!
会退出?指整个程序消失了?

F19A333 发表于 2020-2-29 17:44:09

东西的确很不错。
一些小建议:
1、大小写,大小写搜索结果不一样。
2、搜索好像只是局限于国内把,建议搜索包括SM、F1等其他各大正版购买地点。

Kituro 发表于 2020-2-29 17:51:57

F19A333 发表于 2020-2-29 17:44
东西的确很不错。
一些小建议:
1、大小写,大小写搜索结果不一样。


我貌似投了个反对?手滑了。。。
搜索确实做的不是很好,会改进
国外网站会进一步跟进,我这边访问simmarket没有问题,不知道全国各地的延迟如何。。。

F19A333 发表于 2020-2-29 18:52:56

Kituro 发表于 2020-2-29 17:51
我貌似投了个反对?手滑了。。。
搜索确实做的不是很好,会改进
国外网站会进一步跟进,我这边访问simmar ...

话说可以尝试加入SM以后搜索下通航机场,因为通航机场没有ICAO、没有IATA,只剩下名称

Kituro 发表于 2020-2-29 19:41:18

F19A333 发表于 2020-2-29 18:52
话说可以尝试加入SM以后搜索下通航机场,因为通航机场没有ICAO、没有IATA,只剩下名称 ...

这个因为simmarket是国外的,通航机场比较麻烦(搜索的时候可能要翻译)
幸好以前写了一个爬有道翻译的小程序,直接import就可以了哈哈哈

顺便一说,真的强烈要求sino上线回帖查看功能,不然帖子一会儿就沉了,极大打击我们的创作热情。。。
感谢您提出的建议!

F19A333 发表于 2020-2-29 19:52:17

Kituro 发表于 2020-2-29 19:41
这个因为simmarket是国外的,通航机场比较麻烦(搜索的时候可能要翻译)
幸好以前写了一个爬有道翻译的小 ...

习惯就好 佛系了

Z168 发表于 2020-2-29 20:01:04

这东西太巨了吧,支持一下

你的名字老迪 发表于 2020-2-29 23:15:51

TJL优秀啊....

nbw 发表于 2020-3-1 01:19:06

太优秀了,为楼主点赞

丿失色的灬天空 发表于 2020-3-1 10:45:11

非常感谢,收下啦
页: [1]
查看完整版本: Scenery Infinity - 全网地景资源查找