前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

成都创新互联公司是一家专注于网站制作、做网站与策划设计,江汉网站建设哪家好?成都创新互联公司做网站,专注于网站建设十余年,网设计领域的专业建站公司;建站业务涵盖:江汉等地区。江汉做网站价格咨询:18980820575

代码提供者：青灯教育-巳月

知识点:

• 动态数据抓包
• requests发送请求
• 结构化+非结构化数据解析

准备工作

下面的尽量跟我保持一致哦~不然有可能会发生报错 ????

开发环境:

• python 3.8
  运行代码
• pycharm 2021.2
  辅助敲代码
• requests
  第三方模块 pip install 模块名

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)

2. 点击齿轮, 选择add

3. 添加python安装路径

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)

2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese

3. 选择相应的插件点击 install(安装) 即可

4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

软件、解答、源码、教程可以加Q群:免费获取~

代码

采集排名数据

import requests
import re
import csv
def replace(str_):
    str_ = re.findall('
(.*?)
', str_)[0]
    return str_
   
with open('rank.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['country', 'rank', 'region', 'score_1', 'score_2', 'score_3', 'score_4', 'score_5', 'score_6', 'stars', 'total_score', 'university', 'year'])
url = 'https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/_indicators.txt'
response = requests.get(url=url)
json_data = response.json()
data = json_data['data']
for i in data:
    country = i['location'] # 国家/地区
    rank = i['overall_rank']    # 排名
    region = i['region']    # 大洲
    score_1 = replace(i['ind_76'])  # 学术声誉
    score_2 = replace(i['ind_77'])  # 雇主声誉
    score_3 = replace(i['ind_36'])  # 师生比
    score_4 = replace(i['ind_73'])  # 教员引用率
    score_5 = replace(i['ind_18'])  # 国际教室
    score_6 = replace(i['ind_14'])  # 国际学生
    stars = i['stars']  # 星级
    total_score = replace(i['overall']) # 总分
    university = i['uni']   # 大学
    university = re.findall('
(.*?)