博思学习平台课程数据爬取与清洗入库

更新时间2020-01-06 07:00:21

项目1：博思学习平台课程数据爬取与清洗入库
子项目一：创建保存博思课程数据的course数据库
1、创建数据库course
2、创建商品信息表ifly_course_info(编号id,课程名name,图片pic,类别type，参与人数num)
子项目二：cookie模拟登录博思学习平台
1、获取登录的cookie信息
2、找到博思课程页面里的获取课程信息的url
3、利用scrapy框架cookie模拟登录，访问获取博思课程信息的url
子项目三：数据清洗入库
1、将正在课程数据信息（课程名，类别，图片链接, 参与人数）存入ifly_course_info表
2、保存图片到本地
3、查询ifly_ course _info表中的数据，分析开放的课程多少门和授权的课程多少门。 并将参与人数前5名的课程形成柱状图。（matplotlib或echarts图均可）

博思学习平台课程数据爬取与清洗入库 子项目一:创建保存博思课程数据的course数据库 1、创建数据库course 2、创建商品信息表ifly_course_info(编号id,课程名name,