【匹配关键知识点】
Python语言入门,Python网络编程、爬虫与机器学习,Python数据分析案例分享,基于spark集群的python数据分析实战等内容。
【课程时间】
13天(8小时/天)
【课程简介】
随着大数据时代的快速到来,以及大数据在生产生活中迅速应用,大数据领域如雨后春笋般的出现大量的新技术,如Hadoop、Spark等技术,其中Python语言已经成为大数据技术中最为重要的一部分,被越来越多的企业所使用。Python语言的功能涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作,应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳,从实际业务案例为入口,使学员从理论层到实操层面系统的学习数据处理技术,使学员深入理解Python语言等数据分析工具。通过本课程的学习,学员即可以正确的分析企业的数据,为管理者、决策层提供数据支撑。
【课程收益】
1、Python语言入门;
2、Python网络编程;
3、Python网络爬虫;
4、Python机器学习;
5、Python数据分析案例分享;
6、基于spark集群的python数据分析实战;
【课程特点】
Python语言入门,Python网络编程、爬虫与机器学习,Python数据分析案例分享,基于spark集群的python数据分析实战等内容。
【课程对象】
数据分析师、技术经理、产品经理、产品助理等
将承担数据分析师职责的业务人员或信息化人员
希望加强数据分析能力的软件开发人员
系统集成企业售前工程师、售前顾问及方案制作人员
【学员基础】
具有2年以IT部门工作经验,将负责数据分析等相关任务的技术人员
【课程大纲】(13天*8小时)
时间 | 内容 | 案例实践与练习 |
Day1~Day3 Python语言入门 |
| 案例练习:通过Python语言实现运营商数据分析处理案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:Python语言实现运营商数据分析处理 |
Day4~Day5 Python网络编程 |
| 案例练习:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:网络编程 |
Day6~Day7 Python网络爬虫 |
| 案例研讨:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:网络爬虫的实现 |
Day8 Python的NumPy模块 |
| 案例练习:通过NumPy的案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:NumPy的数据处理 |
Day9 Python的Pandas模块 |
| 案例练习:通过Pandas使用案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:Pandas的使用方法 |
Day10 Python机器学习 |
| 案例练习:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:Python语言实现基于聚类的图像分割方法 |
Day11 Python机器学习 |
| 案例练习:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨: Python语言实现基于聚类的图像分割方法 |
Day12 Python数据分析案例分享 |
| 案例练习:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:Python语言实现基于神经网络的人脸识别方法 |
Day13 基于spark集群的python数据分析实战 |
| 案例练习:通过基于Python开发Spark 程序实战案例:数据聚类分析案例剖析,剖析数据分析过程,体会数据分析的难点和要点。
研讨:数据聚类分析案例 |
数据分析概述:
1、大数据企业应用障碍分析
数据的产生、导入与预处理:
案例练习:通过数据整理的编程和应用案例的剖析数据分析过程,体会数据分析的难点和要点。
案例练习:通过案例的剖析数据分析过程,体会数据分析的难点和要点。
案例练习:通过淘宝双十一案例的剖析数据分析过程,体会数据分析的难点和要点。
案例研讨:通过数据挖掘案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:数据挖掘
案例练习:通过企业实践案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:企业实践案例分享
案例练习:通过数据模型的应用案例剖析案例的剖析数据分析过程,体会数据分析的难点和要点。
研讨:数据模型的应用案例剖析
数据分析与挖掘基础:
1、课堂实操:数据整理的编程和应用
2、企业OLAP模型设计案例剖析
3、实例分享:淘宝双十一
4、实例分享:腾讯QQ
5、实例分享:百度文库
6、实例分享:打车大战
7、实验:Pig的实用案例
8、实验:Hive安装部署
9、实验:Sqoop安装
10、实验:Sqoop Shell
11、实验:FLume大数据架构案例分享及实战演练
12、实验:企业实践案例分享
R语言数据分析实战:
1、实验:安装R语言
2、实验:R语言编程案例
3、实验: R语言的绘图功能
4、实操:R和MySQL的交互
5、实操:R和Oracle的交互
6、实操:R和Excel的交互
7、案例:蒙特卡罗模拟的应用
8、案例1:汽车数据描述统计分析
9、案例2:财政收入与税收描述统计分析
10、案例:蒙特卡罗模拟的应用
11、实操:R语言实现蒙特卡罗求圆周率
12、实操:R语言一元线性回归模型检验
13、实操:R语言实现多元线性回归
14、实操:R语言非线性回归
15、案例:用户离网预测
16、案例:中国税收收入增长案例分析
17、案例:新教学方法的效果
18、案例:信用卡违约预测
19、案例分享:文章分类
大数据工具介绍之Hadoop:
1、实例分享:马云预测经济危机案例剖析
2、实例分享:双十一亿背后的开源技术
3、实验:Hadoop集群部署
4、实验:CLI操作HDFS
5、实验:Java操作HDFS
6、实验:MapReduce命令操作
7、实验:MapReduce程序打包并在命令行运行
8、实验:动手编写MapReduce程序
大数据工具介绍之Spark:
1、编程实战:第一个 Scala 程序
2、编程实战:编程Scala程序实例
3、编程实战:Scala函数编程实例
4、编程实战:Scala语言复杂数据类型编程实战
5、编程实战:用SBT对Scala项目打包与发布
6、实验:Spark集群部署
7、实验:Scala编写Spark程序
8、实验:Python编写Spark程序
9、实验:Spark Shell
10、编程实战:Spark基础操作编程实战
11、企业级案例:Spark Streaming与Kafka整合实现数据实时数据分析处理设计与分析
Pyspark集群调度与数据处理:
1、编程实战:Spark基础操作编程实战
2、PySpark MLlib实战案例:数据聚类分析案例剖析
3、案例:Python编写Spark大数据程序
大数据可视化:
1、可视化案例实战:数据占比柏拉图绘制
2、可视化案例实战:仪表盘制作
3、实验:柏拉图制作
4、实验:仪表盘制作
5、实验:玫瑰图制作
6、实验:热力图制作
7、实验:地图制作
8、实验:文字云制作
9、淘宝24小时生活数据可视化案例
10、无线淘宝数据可视化案例
11、Google公司数据可视化案例
12、Facebook用户画像可视化案例
13、个人用户画像案例
14、如何撰写一份优秀的数据分析报告
Python与数据分析实战:
1、案例实战:正则表达式在爬虫中应用实例
2、案例:Python语言实现运营商数据分析处理
3、实验:Python语言自定义函数
4、案例:Python语言实现蒙特卡罗求圆周率
5、课堂实操:数据整理的编程和应用
6、案例:Python语言实现购物蓝关联规则分析
7、课堂实操:Python语言实现随机森林模型
8、课堂实操:Python语言实现金融数据时间序列建模
9、课堂实操:基于余弦相似度的精准营销
10、案例分享:文章分类
11、案例:Python编写Spark大数据程序