当前位置 博文首页 > 文章内容

    爬虫的基本原理

    作者:糖丝橙 栏目:IT相关内容 时间:2020-05-04 9:58:19

    本站于2023年9月4日。收到“大连君*****咨询有限公司”通知
    说我们IIS7站长博客,有一篇博文用了他们的图片。
    要求我们给他们一张图片6000元。要不然法院告我们

    为避免不必要的麻烦,IIS7站长博客,全站内容图片下架、并积极应诉
    博文内容全部不再显示,请需要相关资讯的站长朋友到必应搜索。谢谢!

    另祝:版权碰瓷诈骗团伙,早日弃暗投明。

    相关新闻:借版权之名、行诈骗之实,周某因犯诈骗罪被判处有期徒刑十一年六个月

    叹!百花齐放的时代,渐行渐远!



    什么是爬虫?

         请求网站并提取数据的自动化程序

         爬虫的基本流程

    1:向服务器发起请求

         通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器的响应。

    2:获取响应内容 

         如果服务器正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML、JSON、二进制文件(如图片、视频等类型)。 

    3:解析内容 

         得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是JSON,可以直接转成JOSN对象进行解析,可能是二进制数据,可以保存或者进一步处理 

    4:保存内容 

         保存形式多样,可以保存成文本,也可以保存至数据库,或者保存成特定格式的文件。

    什么是Response和Request ?

    9de16c50a00004e8503b023024a9ac74.png

    Request中包含哪些内容?

    1:请求方式 

         主要是GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPTIONS等。 

    2:请求URL 

         URL全称是统一资源定位符,如一个网页文档、一张图片、一个视频等都可以用URL来唯一来确定 

    3:请求头 

         包含请求时的头部信息,如User-Agent、Host、Cookies等信息 

    4:请求体 

         请求时额外携带的数据,如表单提交时的表单数据

    Response中包含哪些内容?

    1:响应状态 

         有多种响应状态,如200代表成功,301代表跳转,404代表找不到页面,502代表服务器错误等 

    2:响应头 

         如内容类型、内容长度、服务器信息、设置cookies等等 

    3:响应体 

         最主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。 

    08fb39ed10e6853f56427fe75c995d06.png


    能抓到怎样的数据?

    1:网页文本 
         如HTML文档、JSON格式文本等 
    2:图片文件 
         获取的是二进制文件,保存为图片格式 
    3:视频 
         同为二进制文件,保存为视频格式即可 
    4:其他 
         只要能够请求到的,都能够获取到 
    示例代码:

    732ac4a54cc42e58bc4a6babf1608405.png

    解析的方式

    c9dd8647b790e286a04b1b7737e187df.png

    为什么我们抓到的有时候和浏览器看到的不一样?

    有时候,网页返回是JS动态加载的,直接用请求库访问获取到的是JS代码,不是渲染后的结果。 

    18ae758a12b800a3c819e68d47acbaef.png

    怎样保存数据?

    b4fb3b3c5f803871742e44d512e5fe4d.png


    文章来源:CSDN博客

    原文链接:https://blog.csdn.net/qq_29186489/article/details/78587634

    如有侵权,请联系本人删除