请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 669|回复: 0

Python爬虫抓取多个URL写入本地文件

[复制链接]
发表于 2019-7-5 12:50:01 | 显示全部楼层 |阅读模式
1. Pycharm中运行Scrapy

windows环境下cmd中通过scrapy startproject 项目名,创建scrapy项目

修改Run…中的Script path为cmdline.py文件路径F:\programs\python\Lib\site-packages\scrapy\cmdline.py

Parameters为crawl 爬虫文件名

working directory为scrapy项目所在文件夹

每次执行该run命令即可运行scrapy

2.items.py

class Csdn02Item(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    title = scrapy.Field()#标题

    updatetime = scrapy.Field()#发表时间

    readcount = scrapy.Field()#阅读数

    author = scrapy.Field()#作者

    ranking = scrapy.Field()#博客排名

    curl = scrapy.Field()#博文链接

    context = scrapy.Field()#博文内容

3.pipelines.py



4.自定义的爬虫代码mycsdn.py



河马代理IP联系扣扣:337292404
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!十年老站!

GMT+8, 2024-3-29 20:29 , Processed in 0.124800 second(s), 21 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2022 苏苏网赚论坛 版权所有 | 10年老品牌

快速回复 返回顶部 返回列表