房屋千千万，如何找到便宜实惠的呢，python采集数据并做数据可视化~

前言

嗨喽，大家好呀！这里是魔王呐~

创新互联公司是一家集网站建设,荷塘企业网站建设,荷塘品牌网站建设,网站定制,荷塘网站建设报价,网络营销,网络优化,荷塘网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

环境使用:

Python 3.8
Pycharm

模块使用:

requests >>> pip install requests 数据请求模块
parsel >>> pip install parsel 数据解析模块
csv 内置模块

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
点击齿轮, 选择add
添加python安装路径

pycharm如何安装插件?

选择file(文件) >>> setting(设置) >>> Plugins(插件)
点击 Marketplace 输入想要安装的插件名字比如:翻译插件输入 translation / 汉化插件输入 Chinese
选择相应的插件点击 install(安装) 即可
安装成功之后是会弹出重启pycharm的选项点击确定, 重启即可生效

思路分析

这有自己的一套模板 <通用>

一. 数据来源分析

确定自己采集数据是什么, 并且这些数据可以从那里获取到

链家网站数据, 静态网页.... <你所看到的数据, 都来于网页源代码>

二. 代码实现步骤过程

发送请求, 对于url地址发送请求https://cs.lianjia.com/ershoufang/.html
获取数据, 获取网页源代码数据
解析数据, 提取我们想要的数据内容
保存数据, 把数据保存到表格里面

代码

一、采集数据

1.1 导入模块

# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
import re
import csv
f= open('二手房多页.csv', mode='a', encoding='utf-8', newline='')
csv_writer= csv.DictWriter(f, fieldnames=[
'标题',
'卖点',
'总价',
'单价',
'户型',
'楼层',
'共有楼层数',
'装修',
'朝向',
'建造时间',
'面积',
'小区',
'区域',
'所属区',
'梯户比例',
'是否有电梯',
'房屋属性',
'详情页',
])
csv_writer.writeheader()