Web Scraper是一款可以从网页中提取数据的chrome网页数据提取插件,是一款非常好用的爬虫工具。只需点击,点击,点击,四步使用者就能通过该插件来建立页面数据提取规则,从而快速对网页中需要的内容进行提取,最后还能把抓取的结果导出为Excel可以识别的CSV格式。
Web Scraper插件使用方法:
1、先下载好插件,然后再标签页输入【chrome://extensions/】进入chrome扩展程序,解压你在本页下载的Web Scraper插件,并拖入扩展程序页即可。
2、插件安装完成后,在浏览器中会出现其按钮标记。用户可以先在设置页面中对该插件的储存设置和储存类型功能进行设置。
3、用户可以使用Web Scraper插件来抓取页面,其操作方法如下:
1)、打开你要抓取的网页。
首先要使用该插件来提取网页数据需要在开发者工具模式中使用,使用快捷键Ctrl+Shift+I/F12或者点击右键,选择“检查(Inspect)”,在开发者工具下面就能看到WebScraper的Tab。如下图所示:
2)、新建一个Sitemap。点击Create New Sitemap,里面有两个选项,import sitemap是指导入一个现成的sitemap,咱小白一般没有现成的,所以一般不选这个,选create sitemap 就好。
然后进行这两个操作:
(1)Sitemap Name:代表你这个Sitemap是适用于哪一个网页的,所以你可以根据网页来自命名,不过需要使用英文字母,比如我抓的是今日头条的数据,那我就用toutiao来命名;
(2)Sitemap URL:把网页链接复制到Star URL这一栏,比如图片里我把「吴晓波频道」的主页链接复制到了这一栏,而后点击下方的create sitemap来新建一个Sitemap。
3)、设置这个Sitemap
整个Web Scraper的抓取逻辑是这样:设置一级 Selector,选定抓取范围;在一级 Selector 下设置二级 Selector,选定抓取字段,然后抓取。
对于文章而言,一级 Selector 就是你要把这一块文章的要素圈出来,这个要素可能包含了 标题、作者、发布时间、评论数等等,然后我们再在二级 Selector 中挑出我们要的要素,比如标题、作者、阅读数。
软件截图
精品软件
用户评论
网络软件分类
网络软件排行
装机必备
更多PDF-XChange Editor(PDF编辑转换word工具)
文件处理Curio for Mac(思维导图软件) v11.4.3 官方最新版
图形图像