SEO外包平台,我们为您提供专业的企业网站SEO整站优化外包服务 SEO设置

SEO外包平台

专注于企业网站SEO整站优化外包服务

Python爬取某网站数据分析报告,不满十八岁禁止观看

作者:jcmp      发布时间:2021-04-25      浏览量:0
声明:此文并不是标题党,如果你不满18岁

声明:此文并不是标题党,如果你不满18岁,请马上关闭,在父母陪同下观看也不行。

1、检验两者之间是否存在某种程度的相关。

2、爬虫

当然本文的目的主要还是出于 纯粹的技术讨论与实践 ,数据抓取和分析处理均使用 Python 完成,其中主要用到的数据处理和可视化工具包分别是Pandas和Plot.ly+Pandas。

由于网站使用较传统的论坛框架,经测试也没有防爬虫的措施,因此可以大胆地使用多线程,对于网页内容分析也可以直接用正则匹配完成:

import requests as req

3、import re

from threading import Thread

4、def parser(url):

5、res = req.get(url)

html = res.text.encode(res.encoding).decode()。

titles = re.findall(RE_TITLE, html)。

6、v = []

7、if titles is not None:

8、for title in titles:

if len(title) == 2 and title[-1] != 'admin':

if title[0][-1] != '>':

9、v.append(title)

10、return v

11、def worker(rag):

12、"""

将每个线程的数据临时存储到一个新的文本文件中即可。

13、"""

with open('{}+{}.txt'.format( rag), 'w+') as result:

14、for p in range(

15、rag):

url = ENT_PAT.format(p)

for title in parser(url):

result.write("{}|{}

16、".format(*title))

17、def main():

18、threads = []

for i in range(len(SECTIONS)-1):

threads.append(Thread(target=worker, args=(SECTIONS[i:i+2],)))。

19、for thr in threads:

20、thr.start()

21、if name == ' main ':

22、main()

以上就是爬虫部分的代码(当然隐去了最关键的网址信息,当然这对老司机们来说并不是问题)。

23、Pandas

Pandas 可以看做是在 Python 中用于存储、处理数据的 Excel,与 R 语言中的 data.frame 的概念相似。首先将所有单独存储的文件中的数据导入到 Pandas:

24、import os

25、import pandas as pd

26、title, user = [], []

for root, _, filenames in os.walk('raws'):

27、for f in filenames:

with open(os.path.join(root, f), 'r') as txt:

for line in txt.readlines():

if line and len(line.split("|")) == 2:

t, u = line.split("|")

28、title.append(t)

user.append(u.strip())

data = pd.DataFrame({"title": title, "user": user})。

29、保存到 csv 文件备用

data.to_csv("91.csv", index=False)。

接下来以同样的方式将国内主要城市数据、2016主要城市 GDP 排行数据加载到 Pandas 中备用。

30、数据分析

首先需要明确以目前的数据可以探讨哪些有趣的问题:

31、各个城市的发帖总数;

32、各个城市的活跃用户数量;

33、以上两个数据结果与 GDP 之间的关系;

发帖形式分类(虽然这个问题的答案可能更有趣,以目前的数据量很难回答这问题,而且需要涉及到较复杂的 NLP,先写在这里);

34、最活跃的用户来自哪里。

35、首先加载备用的数据:

36、import pandas as pd

TABLE_POSTS = pd.read_csv("91.csv")。

TABLE_CITY = pd.read_csv("TABLE_CITY.csv")。

TABLE_GDP = pd.read_csv("TABLE_GDP.csv")。

37、匹配标题中是否存在城市的名称:

38、# 先替换可能出现的“昵称”

TABLE_POSTS.title = TABLE_POSTS.title.str.replace("帝都", "北京")。

TABLE_POSTS.title = TABLE_POSTS.title.str.replace("魔都", "上海")。

def query_city(title):

for city in TABLE_CITY.city:

39、if city in title:

40、return city

41、return 'No_CITY'

TABLE_POSTS['city'] = TABLE_POSTS.apply(

lambda row: query_city(row.title),

42、axis=1)

43、过滤掉没有出现城市名的数据:

posts_with_city = TABLE_POSTS.loc[TABLE_POSTS.city != 'No_CITY']

以城市名进行 groupby,并按发帖数之和倒序排列:

posts_with_city_by_posts = posts_with_city.groupby(by="city").count().sort_values("title", ascending=False)[['title']].head(20)。

现在已经可以直接回答第一个问题了,用 Plot.ly 将 Pandas 中的数据可视化出来,有两种方式,我们选择较简单的 cufflinks 库,直接在 DataFrame 中绘制:

import cufflinks as cf

cf.set_config_file(world_readable=False,offline=True)。

posts_with_city_by_posts.head(10).iplot(kind='pie',

44、labels='city',

45、values='title',

textinfo='label+percent',

colorscale='Spectral',

46、layout=dict(

title="City / Posts",

47、width="500",

48、xaxis1=None,

49、yaxis1=None))

Python爬取某网站数据分析报告,不满十八岁禁止观看

前6名基本上不出什么意外,但是大山东排在第7名,这就有点意思了。为了排除某些“特别活跃”用户的干扰,将用户重复发帖的情况去除,只看发帖用户数量:

50、# 去除 user 栏中的重复数据

uniq_user = posts_with_city.drop_duplicates('user')。

同样按照城市 groupby,然后倒序排列

posts_with_city_by_user = uniq_user.groupby(by="city").count().sort_values("title", ascending=False)[['title']].head(15)。

posts_with_city_by_user.head(10).iplot(kind='pie',

51、values='title',

52、labels='city',

textinfo='percent+label',

colorscale='Spectral',

layout=dict(title="City / Users",

53、width="500",

54、xaxis1=None,

55、yaxis1=None))

Impressive,山东。 至少说明还是比较含蓄,不太愿意写明具体的城市?是这样吗,这个问题可以在最后一个问题的答案中找到一些端倪。

接下来要和 GDP 数据整合到一起,相当于将两个 DataFrame 以城市名为键 join 起来:

posts_with_city_by_user_and_gdp = posts_with_city_by_user.merge(TABLE_GDP, left_on='city', right_on='city', how='inner')。

由于有些漏掉的排行数据,同时由于人口数据较大,需要进行一定的预处理和标准化处理:

posts_with_city_by_user_and_gdp['norm_title'] =

posts_with_city_by_user_and_gdp.title/posts_with_city_by_user_and_gdp['pop']

posts_with_city_by_user_and_gdp['norm_rank'] =

posts_with_city_by_user_and_gdp['rank'].rank()。

posts_with_city_by_user_and_gdp['x'] =

posts_with_city_by_user_and_gdp.index.max() - posts_with_city_by_user_and_gdp.index + 1。

posts_with_city_by_user_and_gdp['y'] =

posts_with_city_by_user_and_gdp['norm_rank'].max() - posts_with_city_by_user_and_gdp['norm_rank'] + 1。

绘制气泡图,气泡大小为用户数量与人口数的比,坐标值越大排行越高:

可以看到基本上存在一定程度的相关,但是到这里我们发现更有趣的数据应该是那些出现在 GDP 排行榜上却没有出现在网站排行上的城市,是不是说明这些城市更加勤劳质朴,心无旁骛地撸起袖子干呢?

good_cities = posts_with_city_by_user.merge(TABLE_GDP, left_o。

="city", right_on="city", how="right")。

good_cities[list(good_cities.title.isnull())][['city', 'rank', 'pop', 'title']]

注:由于 posts_with_city_by_user 只截取了前15,实际上青岛是排在前20的,从下一个结果中就能看出来…

最后一个问题,最活跃的老司机们都来自哪个城市?

user_rank = pd.DataFrame(TABLE_POSTS.user.value_counts().head(20))。

user_rank.reset_index(level=0, inplace=True)。

user_rank.columns = ['user', 'count']

user_rank.merge(posts_with_city[['user', 'city']], left_on='user', right_on='user', how='inner').drop_duplicates(['user','city'])。

56、总结

以上就是全部数据与分析的结果。其实大部分只是一个直观的结果展示,既没有严谨的统计分析,也没有过度引申的解读。只有经过统计检验才能得出拥有可信度的结论,在一开始已经说明了本文只是 纯粹的技术讨论与实践 ,所抓取的10000多条数据也只是网站中某个板块,因此对于以上结果不必太过认真。