Scrapy学习笔记

发表于 | 分类于

摘要：Scrapy 的安装及创建工程

1 Anaconda安装Scrapy

  1. 首先查看anaconda中是否装有scrapy工具包，具体方法如下：
    Anaconda Prompt / cmd命令中，输入 conda list,查看所有已经安装的工具包及版本号

    如果没有发现scrapy，则执行第2步。

  2. 输入 conda install -c scrapinghub scrapy ，等待片刻后，提示需要安装的相关工具包

  3. proceed下输入y，回车， 自动进行安装相关的库。

  4. 再一次通过conda list 查看，就可以看到scrapy已经在list中了。安装成功。

2 创建Scrapy项目

  1. 打开Anaconda Prompt，切换到想要创建的目录下面

    1
    2
    3
    4
    5
    cd D:\WorkSpace\Spider\
    # 执行下面语句创建scrapy工程
    scrapy startproject baidu_search
    # 将会自动生成了baidu_search目录和下面的文件
    创建baidu_search/baidu_search/spiders/baidu_search.py文件

    参考资料

  2. 进入baidu_search/baidu_search/ 目录下，执行

    1
    scrapy crawl baidu_search

    ​