python

  • python
    01-28 01:19
    Python 爬虫工程师必学 App数据抓取实战 完整版 第1章 课程介绍 介绍课程目标、通过课程能学习到的内容、学会这些技能能做什么,对公司业务有哪些帮助,对个人有哪些帮助。介绍目前app数据抓取有哪些困难,面临的挑战,本实战课程会利用哪些工具来解决这些问题,以及本实战课程的特点 ... 1-1 python爬虫工程师必备技能--App数据抓取实战课程导学 试看 第2章 windows下搭建开发环境 介绍项目开发需要安装的开发软件,讲解了安卓模拟器对比以及夜神安卓模拟器安装、介绍、简单使用和Genymotion安卓模拟器简单分析 介绍App应用抓包工具对比以及fiddler(windows环境安装)、mitmproxy(windows\linux环境安装)、packetcapture(安卓环境)抓包工具安装、介绍、简单使用 介绍移动端自动化控制工具,appium... 2-1 夜神模拟器安装&介绍 试看 2-2 夜神模拟器设置介绍&在夜神模拟器内部安装App 试看 2-3 介绍genymotion和模拟器的安装(选择观看) 2-4 fiddler软件介绍&下载&安装&软件设置 2-5 mitmproxy介绍&安装&如何在linux操作系统中安装 2-6 mitmproxy在Linux操作系统中的使用 2-7 packet capture开头,抓包工具介绍,安装,使用 2-8 介绍appium环境搭建的两种方法 2-9 安装docker以及docker运行ubuntu以及简单命令维护 第3章 爬虫必备利器、抓包工具的使用 本章着重介绍两款抓包工具的使用fiddler和mitmproxy。 首先介绍了fiddler抓包工具的工作界面、断点拦截、重定向、移动端设备抓包等功能 其次介绍了mitmproxy抓包工具的三个组件mitmproxy,mitmdump,mitmweb,介绍了mitmproxy工作界面、断点拦截、重定向、移动端设备抓包等功能 ... 3-1 fiddler抓包工具介绍,file&&edit功能使用 3-2 tooles功能使用 3-3 rules功能使用&工具栏详讲 3-4 会话列表-请求头、响应头介绍 3-5 请求前断点设置,响应后断点,命令行请求前后断点设置,网页重定向 3-6 手机安装证书,设置fiddler抓取移动端数据包 3-7 mitmproxy软件移动设备安装证书、移动设备抓包 3-8 mitmproxy数据包过滤 3-9 mitmdump详讲 第4章 app应用数据抓取入门 通过fiddler抓包工具分析 豆果美食app应用的数据请求接口以及app响应的数据,使用Python多线程编写爬虫抓取豆果美食app应用数据,并将数据保存到mongodb中 4-1 抓取前设置,启动豆果美食app并抓包 4-2 分析fiddler抓取到的豆果美食数据包 4-3 编写爬虫脚本1-项目需求、请求函数编写、请求头伪造 4-4 编写爬虫脚本2-食材页面解析、队列逻辑编写 4-5 编写爬虫脚本3-获取菜谱列表数据逻辑编写 4-6 编写爬虫脚本4-详情页数据抓取逻辑编写 4-7 编写爬虫脚本5-数据入库逻辑编写 4-8 编写爬虫脚本6-多线程逻辑编写 4-9 编写爬虫脚本7-伪装爬虫-编写代理逻辑 4-10 本章爬虫总结 第5章 移动端自动化控制工具详讲 本章首先介绍了android开发环境的安装,为讲解uiautomatorviewer工具做准备,android开发环境安装成功后介绍了uiautomatorviewer工具对app应用界面进行分析,节点定位、xpath编写 介绍了appium-desktop工具的录制功能,对app界面进行分析及行为录制以及介绍如何设置appium-desktop服务端 讲解了通过python+appium-desktop... 5-1 安装JDK环境 5-2 安装sdk工具包 5-3 adb工具详讲1 5-4 adb工具详讲2 5-5 adb工具详讲3 5-6 sdk下uiautomatorviewer工具使用 5-7 appium介绍 5-8 inspector介绍 5-9 inspector录制功能 5-10 登录考研帮app并实现模拟滑动操作 第6章 app应用数据抓取实战进阶 本章介绍了抖音app应用数据抓取、通过使用fiddler抓包工具对抖音app应用数据接口进行分析,分析获取数据请求接口及构造参数等,通过使用python+mitmdump对抖音app应用数据进行解析,通过编写python爬虫逻辑,通过appium-desktop工具控制app翻页滑动等操作,使用mitmdump对数据包进行解析,并将数据保存到mongodb中 ... 6-1 抖音数据抓取实战介绍 6-2 解析抖音分享页面数据1 6-3 解析抖音分享页面数据2 6-4 解析抖音分享页面数据3 6-5 抖音分享id存储数据库逻辑代码编写1 6-6 抖音分享id存储数据库逻辑代码编写2 6-7 ssl pining技术分析与xponsed框架安装 6-8 抖音分析接口数据分析 6-9 抖音appium模拟滑动操作1 6-10 抖音appium模拟滑动操作2 6-11 多设备端并发抓取抖音粉丝数据 6-12 抖音视频抓取&signarure加密字段破解-1 6-13 抖音视频抓取&signarure加密字段破解-2 6-14 抖音视频抓取&signarure加密字段破解-3 6-15 第六章总结 第7章 打造多任务端app应用数据抓取系统 本章介绍多任务app抓取系统架构系统的、组件、功能介绍、实现原理等,接下来讲解了在docker中安装appium环境容器,用于模拟多个appium服务端抓取多个安卓模拟器中应用数据 启动多个容器,编写python测试demo,控制多个容器中的多个app行为,通过抓包分析抖音、快手、今日头条等app,分析请求接口,相应数据,以及相应的处... 7-1 打造多任务端app应用数据抓取系统-系统介绍 7-2 docker系统管理-基础概念 7-3 docker系统管理-基础命令-1 7-4 docker系统管理-基础命令-2 7-5 docker系统管理-基础命令以及docker-appium镜像下载 7-6 创建appium容器以及设置appium容器连接安卓模拟器 7-7 docker镜像的创建使用docker commit命令 7-8 docker镜像的创建使用dockerfile 7-9 打造多任务端app应用数据抓取系统-1 7-10 打造多任务端app应用数据抓取系统-2 7-11 打造多任务端app应用数据抓取系统-3 7-12 打造多任务端app应用数据抓取系统-4 7-13 第七章小结 第8章 第八章 课程回顾与总结 回顾常用的APP抓包工具的使用技巧,appium desktop服务端设置及APP界面定位技巧 ,appium+docker多任务APP抓取系统的难点及项目中开发技巧,项目开发逻辑及项目中遇到的难点等 8-1 10、第八章总结
    • 648
  • python
    11-04 01:57
    全面系统的学习Python爬虫入门视频课程,从零开始掌握Python爬虫项目的编写,学会独立开发常见的爬虫项目,让掌握好Python基础的你,把Python用起来! 1、学完能够从零开始掌握Python爬虫项目的编写,学会独立开发常见的爬虫项目;" 2、学完能够掌握常见的反爬处理手段,比如验证码处理、浏览器伪装、代理IP池技术、用户代理池技术等; 3、学完能够熟练使用正则表达式、XPath表达式进行信息提取; 4、学完掌握抓包技术,掌握屏蔽的数据信息如何进行提取,学会自动模拟加载行为、进行网址构造、自动模拟进行Ajax异步请求数据; 5、熟练掌握urllib模块,熟练使用Scrapy框架进行爬虫项目开发。 〖课程目录〗:. R* ~* w2 O9 J% i/ [( \ C) ~ 第一章 1-1爬虫概念-课程内容1(21分钟) 1-1爬虫概念-课程内容2(19分钟)6 {& I1 h! g- D8 y$ v 1-1爬虫概念-课程内容3(15分钟) 1-2http协议介绍1(22分钟)6 j- c G' P1 k% l 1-2http协议介绍2(20分钟), V# k" ]9 O8 s$ F' F2 Y0 c) x& R1 C 1-2http协议介绍3(22分钟) 1-3抓包工具使用-urlopen1(15分钟) 1-3抓包工具使用-urlopen2(20分钟) 1-3抓包工具使用-urlopen3(18分钟)' }$ }: b, a* R. c6 A 1-3抓包工具使用-urlopen4(18分钟) 029 ~6 P- y/ u- a" g 第二章 1-4urlrequest-urlparse-构建请求对象1(20分钟) 1-4urlrequest-urlparse-构建请求对象2(17分钟)/ L* |0 F9 d( {; K8 ?8 M6 F) H/ i M 1-4urlrequest-urlparse-构建请求对象3(17分钟)% m$ s( g% u/ K1 Q9 c4 T 1-4urlrequest-urlparse-构建请求对象4(21分钟)1 D- j+ e6 h; j( R& g+ C 2-1post1(21分钟)2 x3 _4 o3 R- r! d2 F1 y, z5 v4 Y 2-1post2(21分钟) 2-1post3(23分钟) g# h+ S) g1 C" z+ x 2-2ajax-get-post和百度贴吧1(19分钟) 2-2ajax-get-post和百度贴吧2(18分钟)% R2 o$ |. a: ~& [, b 2-2ajax-get-post和百度贴吧3(21分钟)' i! O) t1 t- ^1 `# G" W5 M7 u 03 第三章7 M0 N- t- v2 F+ E; P, O# ^ 2-2ajax-get-post和百度贴吧4(18分钟) 2-3Error-handler-代理1(20分钟) 2-3Error-handler-代理2(23分钟) 2-3Error-handler-代理3(23分钟) 2-4代理-模拟登录1(17分钟)/ q5 K4 e! d- s; O7 [! | 2-4代理-模拟登录2(19分钟)1 o) b* e% E; `9 J; k 2-4代理-模拟登录3(18分钟) 3-1cookie登录-正则表达式1(25分钟) 3-1cookie登录-正则表达式2(20分钟) 3-1cookie登录-正则表达式3(22分钟)$ |; k. b0 a( m. V* n; [ 049 \# i8 L) {4 I; l" E3 _0 Z7 W) S1 @ 第四章 3-2正则表达式-糗图1(19分钟)2 v( ~1 `7 c( [ i+ P7 I9 n# n( p 3-2正则表达式-糗图2(25分钟) 3-2正则表达式-糗图3(25分钟)% |0 P! X7 C' e& J9 S+ K 3-3正则提取励志1(21分钟) 3-3正则提取励志2(21分钟)5 l0 N2 K4 w" F' K l8 l 3-3正则提取励志3(21分钟) 3-4bs基本用法1(21分钟) 3-4bs基本用法2(22分钟) 3-4bs基本用法3(22分钟)0 S# n) H0 C8 i# S3 U( ]- b$ P! L 3-4bs基本用法4(18分钟) 055 i% ~* z" W% t- r 第五章7 z" U0 M4 y) g% U5 r% q 1-2智联爬取1(16分钟): l, ]* @4 ~3 B1 P3 ^ 1-2智联爬取2(22分钟) 1-2智联爬取3(19分钟) 1-2智联爬取4(16分钟): {9 v2 \( X) [0 U; W9 \ 1-3xpath简单使用1(20分钟)* x+ P' N7 J" } 1-3xpath简单使用2(20分钟)1 p7 \* x8 \1 J( A 1-3xpath简单使用3(22分钟)% V V) c' h2 V1 x9 P 1-4xpath代码使用-好段子爬取1(19分钟) 1-4xpath代码使用-好段子爬取2(22分钟) 1-4xpath代码使用-好段子爬取3(20分钟) 06 j1 ?: z7 }6 A 第六章 1-4xpath代码使用-好段子爬取4(21分钟)3 |7 t) P$ C0 t9 Z% D+ c 5-1图片懒加载1(22分钟) 5-1图片懒加载2(23分钟) 5-1图片懒加载3(23分钟)6 l& N6 f# t* X! i* k0 { 5-2jsonpath-淘宝评论1(23分钟) 5-2jsonpath-淘宝评论2(23分钟)4 ]8 `# ` T( J 5-2jsonpath-淘宝评论3(25分钟)/ ?0 L* Z& c- P O* @, x 5-3淘宝抓取-selenium认识1(22分钟) 5-3淘宝抓取-selenium认识2(20分钟) 5-3淘宝抓取-selenium认识3(20分钟) 07 第七章 5-4phantomjs-复杂登录1(19分钟) 5-4phantomjs-复杂登录2(21分钟) 5-4phantomjs-复杂登录3(19分钟)' _2 x l; J/ ]1 w. O 5-4phantomjs-复杂登录4(21分钟) 6-1headlessChrome-requests-get-post1(22分钟) 6-1headlessChrome-requests-get-post2(24分钟)+ s; Z: |6 s3 O+ A8 {' z, s2 \ 6-1headlessChrome-requests-get-post3(22分钟)% J; G# r( c% u/ S$ g 6-2requests-proxy-cookie1(21分钟) 6-2requests-proxy-cookie2(19分钟) 6-2requests-proxy-cookie3(18分钟)# l3 n. @& Z) m% A 080 f; W( a; w) B G: N: G( Y 第八章. y/ s, P# p9 e- k. Y. f* b8 S' O 6-3公交线路爬取1(16分钟) 6-3公交线路爬取2(22分钟) 6-3公交线路爬取3(19分钟) 6-4验证码登录-tesseract1(18分钟)+ P( x c. D4 ]2 j5 s0 O 6-4验证码登录-tesseract2(18分钟) 6-4验证码登录-tesseract3(17分钟): m6 K8 }0 D, g6 m 6-4验证码登录-tesseract4(20分钟); @1 D3 f6 N. i8 T: c* m p# r' N! i 7-1云打码-视频下载1(25分钟)& L2 z2 U0 ^6 a2 w* H' _; }$ A- h 7-1云打码-视频下载2(21分钟)( q4 A" Y* ?/ V5 u6 x' g" J4 g8 A 7-1云打码-视频下载3(22分钟)+ E: n: w* u# W$ s 09 第九章 7-2视频下载1(20分钟) 7-2视频下载2(20分钟)$ d+ G, _- U, z* U9 W+ H 7-2视频下载3(20分钟) 7-2视频下载4(18分钟)) K: J4 {. g9 `# U$ b6 g8 p 7-3线程回顾1(22分钟) 7-3线程回顾2(24分钟) 7-3线程回顾3(20分钟) 7-4多线程爬取1(21分钟) 7-4多线程爬取2(19分钟) 7-4多线程爬取3(20分钟)3 E& c. ?& R z 10 第十章 7-4多线程爬取4(21分钟)1 H6 |$ G. ?; t( G$ A5 B 7-4多线程爬取5(22分钟)
    • 646
  • python
    02-02 08:58
  • python
    11-04 01:58
    本教程讲解的内容是Python的基础知识,教程中包含了操作系统,python环境搭建,Python的基本语法、类型和对象、流程控制、函数、函数式编程、面向对象、文件操作等内容。本教程由浅入深,贴近真实开发,完全为Python新手量身定做,也适合老手用来巩固补充基础知识,查漏补缺。 〖课程目录〗: 01.尚硅谷_Python核心基础_课程简介 02.尚硅谷_Python核心基础_计算机简介 03.尚硅谷_Python核心基础_命令行简介, S5 B( \" ]! v, ]9 N 04.尚硅谷_Python核心基础_常用DOS命令: q: K* ]9 J/ M. x# l 05.尚硅谷_Python核心基础_环境变量" U. j/ j; ~2 P" v% n4 p: ^. J+ h 06.尚硅谷_Python核心基础_Path环境变量% J( u7 s) q { 07.尚硅谷_Python核心基础_进制介绍) q! x5 I, M6 S! n7 h( } 08.尚硅谷_Python核心基础_文本和字符集 09.尚硅谷_Python核心基础_sublime的使用5 }+ w9 ^5 d! h! ^ 10.尚硅谷_Python核心基础_sublime的基本设置! G, |% [. K' g. w 11.尚硅谷_Python核心基础_计算机语言简介* d9 X9 {) P/ [4 C) B 12.尚硅谷_Python核心基础_编译型语言和解释型语言( I) L6 d) ?; X# _4 f 13.尚硅谷_Python核心基础_Python简介' W7 ^1 `7 M( N. `4 V) R: N 14.尚硅谷_Python核心基础_Python环境搭建1 o2 T N& e# f+ ] 15.尚硅谷_Python核心基础_Python的交互模式 16.尚硅谷_Python核心基础_文件的扩展名8 D3 d0 ?& Z# g" z. [& K7 ^$ A# s 17.尚硅谷_Python核心基础_Sublime和Python的整合 18.尚硅谷_Python核心基础_几个基本概念 19.尚硅谷_Python核心基础_Python的基本语法8 X* s/ S5 \1 ?& l3 ^ 20.尚硅谷_Python核心基础_字面量和变量 e1 |# L+ A3 R1 ^" E 21.尚硅谷_Python核心基础_变量和标识符* v$ a8 Y1 r+ A( a- a1 H# `$ K4 y 22.尚硅谷_Python核心基础_数值9 Y" i% Q1 X0 A1 k( V6 q/ c 23.尚硅谷_Python核心基础_字符串简介; m' m( A8 D! J 24.尚硅谷_Python核心基础_格式化字符串9 L( @2 a! Q# ~% G1 w 25.尚硅谷_Python核心基础_字符串复制 26.尚硅谷_Python核心基础_布尔值和空值 27.尚硅谷_Python核心基础_类型检查 28.尚硅谷_Python核心基础_对象介绍 c7 W7 i% \0 P5 ]0 G; ?4 {" s 29.尚硅谷_Python核心基础_对象的结构" c6 t6 S* i! G 30.尚硅谷_Python核心基础_变量和对象+ X7 H8 @7 {0 ^) |, Y4 C 31.尚硅谷_Python核心基础_类型转换 32.尚硅谷_Python核心基础_算术运算符 33.尚硅谷_Python核心基础_赋值运算符 34.尚硅谷_Python核心基础_关系运算符! b) |5 }. t3 B% c+ _ 35.尚硅谷_Python核心基础_逻辑运算符 36.尚硅谷_Python核心基础_非布尔值的逻辑运算符& g$ ?) m W7 ?8 F 37.尚硅谷_Python核心基础_条件运算符 38.尚硅谷_Python核心基础_运算符的优先级' Z$ j9 w. {0 z: c7 g, K 39.尚硅谷_Python核心基础_if语句 40.尚硅谷_Python核心基础_if语句2 41.尚硅谷_Python核心基础_input函数 42.尚硅谷_Python核心基础_if-else语句 43.尚硅谷_Python核心基础_if-elif-else语句 44.尚硅谷_Python核心基础_if练习(1) 45.尚硅谷_Python核心基础_if练习(2) 46.尚硅谷_Python核心基础_while语句8 x/ j# V7 H. r! B) @4 d) n6 T 47.尚硅谷_Python核心基础_while练习(1)8 K: K- n% P0 X) q9 D 48.尚硅谷_Python核心基础_水仙花数+ K9 x# I9 Q* h. h4 C 49.尚硅谷_Python核心基础_质数练习 50.尚硅谷_Python核心基础_循环嵌套 51.尚硅谷_Python核心基础_练习! K# d) Z% B- i7 R 52.尚硅谷_Python核心基础_break和continue D' h8 ^2 Q- [5 H2 b 53.尚硅谷_Python核心基础_质数练习第一次优化5 h5 N8 x4 `# u, ~, ? 54.尚硅谷_Python核心基础_质数练习第二次优化 55.尚硅谷_Python核心基础_《唐僧大战白骨精》分析 56.尚硅谷_Python核心基础_游戏的欢迎信息 57.尚硅谷_Python核心基础_完成游戏 58.尚硅谷_Python核心基础_列表的简介" }, f: o( p L0 _8 b- A 59.尚硅谷_Python核心基础_切片. {+ @* B8 d! Y Q 60.尚硅谷_Python核心基础_通用操作" r' q! ~2 m+ u P 61.尚硅谷_Python核心基础_序列' W# @( G; l, p3 ?* ~* w9 F 62.尚硅谷_Python核心基础_修改列表3 n1 G! i8 _# s5 x 63.尚硅谷_Python核心基础_列表的方法6 f* }; B9 _! S3 H 64.尚硅谷_Python核心基础_遍历列表 65.尚硅谷_Python核心基础_EMS项目练习_添加员工 66.尚硅谷_Python核心基础_EMS项目练习_删除员工 R4 Q: e C D4 k# H 67.尚硅谷_Python核心基础_EMS项目练习_添加员工 68.尚硅谷_Python核心基础_range 69.尚硅谷_Python核心基础_元组 70.尚硅谷_Python核心基础_可变对象$ w! _8 c* P: ?5 Q' r 71.尚硅谷_Python核心基础_==和is- \) ~9 ]' y6 E 72.尚硅谷_Python核心基础_字典简介 73.尚硅谷_Python核心基础_字典的使用(1)& E. h+ f# Z, F2 C u. R3 X 74.尚硅谷_Python核心基础_字典的使用(2)1 \% R+ T A( _2 C 75.尚硅谷_Python核心基础_字典的遍历 76.尚硅谷_Python核心基础_集合的介绍0 S" y4 f; P# D7 W) F 77.尚硅谷_Python核心基础_集合的运算 78.尚硅谷_Python核心基础_函数简介 79.尚硅谷_Python核心基础_函数的参数 80.尚硅谷_Python核心基础_参数传递的方式& c* ~3 b+ _8 U% Z: Q* ~# p 81.尚硅谷_Python核心基础_实参的类型( e3 b0 R* |3 C3 _% |( X. o1 d 82.尚硅谷_Python核心基础_不定长参数 83.尚硅谷_Python核心基础_参数解包 84.尚硅谷_Python核心基础_返回值 85.尚硅谷_Python核心基础_文档字符串' n% E, O% \8 _0 e 86.尚硅谷_Python核心基础_作用域9 r# Q) V: F) H 87.尚硅谷_Python核心基础_命名空间 88.尚硅谷_Python核心基础_递归% a3 Y: ?2 Q; a, O: M+ I/ h 89.尚硅谷_Python核心基础_递归练习* I$ t" X; Y: e* k 90.尚硅谷_Python核心基础_高阶函数3 N1 @+ I' d$ _ 91.尚硅谷_Python核心基础_匿名函数6 _5 h# n. M! v; a 92.尚硅谷_Python核心基础_sort 93.尚硅谷_Python核心基础_闭包5 J0 u& v; g, L 94.尚硅谷_Python核心基础_装饰器引入 95.尚硅谷_Python核心基础_装饰器使用 96.尚硅谷_Python核心基础_面向对象 97.尚硅谷_Python核心基础_类的简介 98.尚硅谷_Python核心基础_对象的创建流程 99.尚硅谷_Python核心基础_类的定义 100.尚硅谷_Python核心基础_属性和方法 101.尚硅谷_Python核心基础_类的特殊方法init' q3 o6 r+ f2 H$ a 102.尚硅谷_Python核心基础_练习 103.尚硅谷_Python核心基础_封装简介 104.尚硅谷_Python核心基础_隐藏类中的属性 105.尚硅谷_Python核心基础_property装饰器; D" S, x- S& b, H% ^4 B! J 106.尚硅谷_Python核心基础_继承简介 107.尚硅谷_Python核心基础_方法的重写 108.尚硅谷_Python核心基础_super()5 x0 B4 x6 U7 j, t! p8 I+ F7 k 109.尚硅谷_Python核心基础_多重继承 110.尚硅谷_Python核心基础_多态 111.尚硅谷_Python核心基础_属性和方法 112.尚硅谷_Python核心基础_垃圾回收 113.尚硅谷_Python核心基础_特殊方法 114.尚硅谷_Python核心基础_模块化简介4 v+ W7 o& M5 l' T0 H1 [8 @ 115.尚硅谷_Python核心基础_模块的创建 116.尚硅谷_Python核心基础_模块的使用, O- w0 c A! y3 K 117.尚硅谷_Python核心基础_包 118.尚硅谷_Python核心基础_Python标准库 119.尚硅谷_Python核心基础_异常简介) y2 l7 J# p; z- i 120.尚硅谷_Python核心基础_异常传播 121.尚硅谷_Python核心基础_异常对象 122.尚硅谷_Python核心基础_自定义异常对象& s: F, r z2 U) m4 G/ E 123.尚硅谷_Python核心基础_文件_打开! _9 c6 f" e# E" I: ?; ?( X 124.尚硅谷_Python核心基础_文件_关闭 125.尚硅谷_Python核心基础_文件_简单读取 126.尚硅谷_Python核心基础_文件_读取大文件% e8 N6 e% t$ N! J$ h( e, a& W; F 127.尚硅谷_Python核心基础_文件_readline% m' Q2 ], p+ _' m9 Q1 u% M 128.尚硅谷_Python核心基础_文件_写入+ ~! ^5 T1 ~ L6 b" I# P3 G 129.尚硅谷_Python核心基础_文件_二进制文件 130.尚硅谷_Python核心基础_文件_seek()和tell()! L9 O+ i! h% T5 y1 V 131.尚硅谷_Python核心基础_文件的其他操作'
    • 643
  • python
    08-14 05:49
    超强大的Python数据分析课程-偏机器学习方向 Python数据分析经典案例课程 ===============课程目录=============== ├─Tensorflow课程.zip ├─机器学习经典案例.zip ├─课时01.课程简介.flv ├─课时02.课程数据,代码下载.swf ├─课时03.使用Anaconda搭建python环境.flv ├─课时04.Kobe.Bryan生涯数据读取与简介.flv ├─课时05.特征数据可视化展示.flv_d.flv ├─课时06.数据预处理.flv_d.flv ├─课时07.使用scikit-learn建立分类模型.flv_d.flv ├─课时08.数据简介及面临的挑战.flv_d.flv ├─课时09.数据不平衡问题解决方案.flv_d.flv ├─课时10.逻辑回归进行分类预测.flv_d.flv ├─课时11.使用阈值来衡量预测标准.flv_d.flv ├─课时12.使用数据生成策略.flv_d.flv ├─课时13.数据简介与特征课时化展示.flv_d.flv ├─课时14.不同特征的分布规则.flv_d.flv ├─课时15.决策树模型参数详解.flv_d.flv ├─课时16.决策树中参数的选择.flv_d.flv ├─课时17.将建立好决策树可视化展示出来.flv_d.flv ├─课时18.船员数据分析.flv_d.flv ├─课时19.数据预处理.flv_d.flv ├─课时20.使用回归算法进行预测.flv_d.flv ├─课时21.使用随机森林改进模型.flv_d.flv ├─课时22.随机森林特征重要性分析.flv_d.flv ├─课时23.级联模型原理.flv_d.flv ├─课时24.数据预处理与热度图.flv_d.flv ├─课时25.二阶段输入特征制作.flv_d.flv ├─课时26.使用级联模型进行预测.flv_d.flv ├─课时27.数据简介与特征预处理.flv_d.flv ├─课时28.员工不同属性指标对结果的影响.flv_d.flv ├─课时29.数据预处理.flv_d.flv ├─课时30.构建预测模型.flv_d.flv ├─课时31.基于聚类模型的分析.flv ├─课时32.tensorflow框架的安装.flv_d.flv ├─课时33.神经网络模型概述.flv_d.flv ├─课时34.使用tensorflow设定基本参数.flv_d.flv ├─课时35.卷积神经网络模型.flv_d.flv ├─课时36.构建完整的神经网络模型.flv_d.flv ├─课时37.训练神经网络模型.flv_d.flv ├─课时38.PCA原理简介.flv_d.flv ├─课时39.数据预处理.flv_d.flv ├─课时40.协方差分析.flv_d.flv ├─课时41.使用PCA进行降维.flv_d.flv ├─课时42.数据简介与故事背景.flv_d.flv ├─课时43.基于词频的特征提取.flv_d.flv ├─课时44.改进特征选择方法.flv_d.flv ├─课时45.数据清洗.flv_d.flv ├─课时46.数据预处理.flv_d.flv ├─课时47.盈利方法和模型评估.flv_d.flv ├─课时48.预测结果.flv_d.flv
    • 642
  • python
    08-15 02:02
    老男孩最新周末班Python开发与Python爬虫实战视频教程,较以往的Python全栈开发课程来看,更为干练和精准一些。课程将开发教学的目标放在了Python的开发流程和和爬虫的重点教学之上,更好的适用于同学们的快速学习和掌握。Python教程的具体内容包括了Python的所有基础开发技术,Python面向对象,Python高级开发技术,MySQL数据库,Python Web和Django,Python爬虫实战教学课程,更多有专门的章节对课程的作业进行讲解,极大的增加了学习效率。 ===============课程目录=============== 22部分大章节目录 ├<L00 作业讲解> ├<L01 注释、变量、数据类型、变量缓存、类型转换> ├<L02 运算符、if判断、while、for循环、字符串相关函数> ├<L03 format格式化、list列表、深浅拷贝、dict字典、set集合、文件操作、函数操作> ├<L04(上)函数名、全局局部、函数嵌套、闭包、lambda函数、递归> ├<L04(下)迭代器、map、reduce、sorted、filter、列表、字典、集合推导式、生成器函数> ├<L05 内置函数、pickle、json、math、random、time、os、zipfile模块> ├<L06 面向对象初识、三大特性、装饰器> ├<L07 单例模式、魔术方法(__new__、__add__、__str__、__repr__、__call__、__del__)、装饰器、re正则表达式> ├<L08 网络基本概念、TCP、UDP、黏包、SocketSever> ├<L09 进程、join、守护进程、锁、信号量、事件> ├<L10 生产者消费者模型、线程、守护线程、线程锁、信号量、队列、协程、线程池、进程池> ├<L11 MySQL数据库、增删改查、数据类型、约束、单表查询、多表查询> ├<L12 socket回顾、HTML基本标签、常用标签> ├<L13 CSS介绍及常用语法> ├<L14 JavaScript简介及常用操作> ├<L15 jQuery简介及常用操作> ├<L16 数据结构与算法> ├<L17 MTV与MVC、Django简介、路由、视图、模板> ├<L18 Django之ORM、AJAX初识> ├<L19 Django之Cookie、Session、中间件、auth组件> ├<L20 Django之CBV、分页器、Admin组件、Xadmin> ├<L21 Django-rest-framework> ├<L22 爬虫> ├<L23_爬虫> ├<L24_爬虫> 详细的具体课程目录,目录过长,未全部列出 ─L00 作业讲解 │ ├─L01 作业 │ │ -03-28_L001作业讲解.wmv │ │ L001作业.doc │ │ L001答案.doc │ │ │ ├─L02 作业 │ │ 0404_L002作业讲解1.mp4 │ │ 0411_L002作业讲解2.mp4 │ │ L002作业.doc │ │ L002答案.docx │ │ 第二次作业讲解.py │ │ │ ├─L03 作业 │ │ 0418_L003作业讲解1.mp4 │ │ 0425_L003作业讲解2.mp4 │ │ L003作业.doc │ │ L003答案.py │ │ │ ├─L04 作业 │ │ 0509_L004(上)作业讲解.mp4 │ │ L004(上)作业.doc │ │ L004(上)作业答案.py │ │ │ ├─L04(下) 作业 │ │ 0516_L004(下)作业讲解.mp4 │ │ L004(下)作业答案.py │ │ L004(下)小练习.doc │ │ │ ├─L05 购物车作业 │ │ 0523_购物车作业讲解.mp4 │ │ 购物车作业.txt │ │ 购物车作业答案.py │ │ │ ├─L06 作业 │ │ 0530_L006作业讲解.mp4 │ │ L006作业.py │ │ L006答案.py │ │ │ ├─L07 作业 │ │ 0606_L007作业讲解.mp4 │ │ L007作业.py │ │ L007答案.py 目录过长,中间省略 │ ├─L11 MySQL作业 │ │ 0704_MySQL作业讲解.mp4 │ │ 0704_pymysql安装.mp4 │ │ sql作业答案.md │ │ sql作业题目.md │ │ student_system.sql │ ├─代码 │ │ 01 js事件.html │ │ 02 二级联动.html │ │ 03 冒泡现象.html │ │ 04 引入jquery文件.html │ │ 05 jquery的选择器.html │ │ 06 绑定事件.html │ │ 07 事件委派.html │ │ 08 文本操作.html │ │ 09 属性操作.html │ │ 10 value操作.html │ │ 11 节点操作.html │ │ 12 each循环.html │ │ 13 tab切换换案例.html │ │ 14 动画效果.html │ │ 15 动画效果2.html │ │ 16 bootstrap的栅格系统.html │ │ jquery3.6.js │ │ __init__.py │ │ │ └─视频 │ 01 上节回顾_LZz3S.mp4 │ 02 js的事件.mp4 │ 03 js的事件2.mp4 │ 04 jquery的选择器.mp4 │ 05 事件绑定.mp4 │ 06 jquey的load事件.mp4 │ 07 事件委派.mp4 │ 08 文本操作.mp4 │ 09 属性与class操作.mp4 │ 10 节点操作.mp4 │ 11 each循环.mp4 │ 12 tab切换案例.mp4 │ 13 jquery的动画效果.mp4 │ 14 bootstrap插件.mp4 │ ├─L16 数据结构与算法 │ │ 后台开发架构简介.mp4 │ │ 周末班三期0804算法笔记.txt │ │ 开发优化和线上问题处理流程.mp4 │ │ 数据结构概念.mp4 │ │ 数据结构面试题(链表相关).mp4 │ │ 算法概念及排序算法.mp4 │ │ 算法面试题讲解.mp4 │ │ 老男孩–Python游戏后端架构简介.pptx │ │ 老男孩–Python程序猿开发杂谈.pptx │ │ 老男孩–Python算法.pptx │ │ │ ├─L17 MTV与MVC、Django简介、路由、视图、模板 │ ├─课上代码 │ │ │ └─课上视频 │ 01-http协议介绍和MTV与MVC介绍.mp4 │ 02-Django的下载与新建项目.mp4 │ 03-app与Django简单应用.mp4 │ 04-路由层之分组.mp4 │ 05-路由层之路由分发.mp4 │ 06-路由层之反向解析和名称空间.mp4 │ 07-视图层.mp4 │ 08-模板层之变量.mp4 │ 09-模板层之过滤器.mp4 │ 10-模板层之标签.mp4 │ 11-模板层之自定义标签和过滤器.mp4 │ 12-模板层之模板继承和本周作业安排.mp4 │ ├─L18 Django之ORM、AJAX初识 │ ├─课上代码 │ │ │ └─课上视频 │ 01-orm的简单使用(新建模型_新增操作).mp4 │ 02-必知必会的13条.mp4 │ 03-双下划线的模糊查询和编辑与删除操作.mp4 │ 04-一对多与多对多(新增与编辑操作).mp4 │ 05-基于对象的查询.mp4 │ 06-基于双下划线的查询.mp4 │ 07-查询的案例讲解(聚合和分组).mp4 │ 08-F对象与Q对象.mp4 │ 09-ajax讲解.mp4 │ ├─L19 Django之Cookie、Session、中间件、auth组件 │ ├─课上代码 │ │ │ ├─课上笔记 │ │ │ └─课上视频 │ 01-cookie讲解.mp4 │ 02-session讲解.mp4 │ 03-中间件(process_request和process_response).mp4 │ 04-中间件(process_view和process_exception).mp4 │ 05-session源码解析.mp4 │ 06-session源码截图解析.mp4 │ 07-auth用户认证组件(1).mp4 │ 08-用户认证组件(2).mp4 │ 09-本周作业.mp4 │ ├─L20 Django之CBV、分页器、Admin组件、Xadmin │ ├─课上代码 │ │ │ ├─课上笔记 │ │ L20.md │ │ │ └─课上视频 │ 01-CBV的简单使用.mp4 │ 02-给CBV加装饰器.mp4 │ 03-CBV加装饰器(源码解析).mp4 │ 04-分页器的基本语法.mp4 │ 05-分页器的基本使用.mp4 │ 06-Django自带分页器解决(分页问题).mp4 │ 07-自定制分页器的使用.mp4 │ 08-分页器笔记整理.mp4 │ 09-django自带的admin后台管理.mp4 │ 10-admin笔记梳理.mp4 │ 11-Xadmin的使用.mp4 │ 12-Xadmin笔记梳理和本周作业.mp4 │ ├─L21 Django-rest-framework │ ├─课上代码 │ │ │ ├─课上笔记 │ │ │ L21.md │ │ │ │ │ └─assets │ │ 1567913333298.png │ │ │ └─课上视频 │ 01-drf简介和简单使用.mp4 │ 02-序列化器之序列化.mp4 │ 03-序列化器之数据校验.mp4 │ 04-序列化器之数据保存.mp4 │ 05-序列化器之模型类序列化器.mp4 │ 06-两个视图基类(APIView与GenericAPIView).mp4 │ 07-五个视图扩展类.mp4 │ 08-视图扩展子类.mp4 │ 09-视图集的讲解.mp4 │ 10-路由类和多个序列化器列的使用.mp4 │ 11-扩展功能(6个).mp4 │ 12-本周作业.mp4 │ ├─L22 爬虫 │ │ │ └─视频 │ 01 爬虫概述.mp4 │ 02 requests模块基本使用(一).mp4 │ 03 requests模块基本使用(二).mp4 │ 04 聚焦爬虫与数据解析之正则解析.mp4 │ 05 数据解析之bs4解析.mp4 │ 06 数据解析之xpath解析.mp4 │ ├─L23_爬虫 │ │ │ └─视频 │ 01 昨日回顾与今日内容.mp4 │ 02.模拟登陆与代理.mp4 │ 03 cookie和代理.mp4 │ 04 selenium介绍.mp4 │ 05 单线程 异步协程.mp4 │ 06 多任务异步协程.mp4 │ └─L24_爬虫 │ └─视频 01 昨日回顾与今日内容_D4xta.mp4 02 scrapy初识.mp4 03 scrapy持久化存储.mp4 04 全站数据爬取与五大核心组件.mp4 05 中间件拦截请求.mp4 06 数据分析之numpy.mp4 07 数据分析之pandas.mp4 08 金融知识与股票分析案例.mp4
    • 641
  • python
    11-11 01:40
    21世纪,属于人工智能的时代已经到来。诸多应用领域都有着人工智能的身影,如:搜索引擎、无人驾驶、百度大脑、讯飞语音以及苹果的Siri。本课程带你从零基础入门,本课程从理论到项目实战,层层深入学习,步步进阶。课程主要从高等数学必知必会、Python高级应用、Python项目、机器学习算法、机器学习项目、深度学习、推荐算法及数据挖掘、综合项目实战以及职业素养等全方位讲解,更加注重于实际操作以及开发经验的讲解,对学生的日常工作或未来发展将起到十分重要的指导作用。完美学习计划,成就精英人工智能工程师 课程目录 ├──1、数学基础 | └──01、数学基础 ├──2、数学基础 | └──2、数学基础 ├──3、Python基础 | └──3、Python基础 ├──4、python高级应用 | └──4、python高级应用 └──5、机器学习 ├──6、机器学习 | └──6、机器学习 ├──7、机器学习 | └──7、机器学习 ├──8、机器学习 | └──8、机器学习 ├──9、机器学习 | └──9、机器学习 ├──10、数据挖掘与项目实战 | └──10、数据挖掘与项目实战 ├──11、数据挖掘与项目实战 | └──11、数据挖掘与项目实战 ├──12、深度学习 | └──12、深度学习 ├──13、深度学习 | └──13、深度学习 ├──14、深度学习 | └──14、深度学习 ├──15、自然语言处理 | └──15、自然语言处理 ├──16、图像处理 | └──16、图像处理 ├──17、图像处理 | └──17、图像处理 ├──18、企业项目实战 | └──18、企业项目实战
    • 640
  • python
    11-30 07:03
  • python
    12-08 07:44
    非常值得学习参考的Python顶级爬虫实战课程,课程有前期的基础铺垫,方便不同技术阶段的同学们进行学习(非零基础),课程更精华之处当然在于后期项目的开发部分,是一般不太容易学习到的项目课程。课程分为四个大的部分,Python爬虫技术的准备课程,Python爬虫的Scrapy框架详解,Python爬虫进阶操作,分布式爬虫及实训项目,这项目中就包括了非常多大型的实操项目,等待同学们去挑战。 ===============课程目录=============== ├─1-1什么是爬虫.mp4 ├─1-1什么是爬虫?.html ├─1-2初识Python爬虫(1).html ├─1-2初识Python爬虫.mp4 ├─1-3使用Requests爬取豆瓣短评.html ├─1-3使用Requests爬取豆瓣短评.mp4 ├─1-4使用Xpath解析豆瓣短评.html ├─1-4使用Xpath解析豆瓣短评.mp4 ├─1-5使用pandas保存豆瓣短评数据.html ├─1-5使用pandas保存豆瓣短评数据.mp4 ├─1-6浏览器抓包及headers设置(案例一:抓取知乎).mp4 ├─1-6浏览器抓包及headers设置(案例一:爬取知乎).html ├─1-7数据入库之MongoDB(案例二:爬取拉勾).html ├─1-7数据入库及MongoDB(案例二:爬取拉勾).mp4 ├─1-8使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝商品).html ├─1-8使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝).mp4 (2)\第2章Python爬虫之Scrapy框架;目录中文件数:12个 ├─2-1爬虫工程化及Scrapy框架初窥.html ├─2-1爬虫工程化及Scrapy框架初窥.mp4 ├─2-2Scrapy安装及基本使用.html ├─2-2Scrapy安装及基本使用.mp4 ├─2-3Scrapy选择器的用法.html ├─2-3Scrapy选择器的用法.mp4 ├─2-4Scrapy的项目管道.html ├─2-4Scrapy的项目管道.mp4 ├─2-5Scrapy的中间件.html ├─2-5Scrapy的中间件.mp4 ├─2-6Scrapy的Request和Response详解.html ├─2-6Scrapy的Request和Response详解.mp4 (3)\第3章Python爬虫进阶操作;目录中文件数:4个 ├─3-1网络进阶之谷歌浏览器抓包分析.html ├─3-1网络进阶之谷歌浏览器抓包分析.mp4 ├─3-2数据入库之去重与数据库.html ├─3-2数据入库之去重与数据库.mp4 (4)\第4章分布式爬虫及实训项目;目录中文件数:10个 ├─4-1大规模并发采集——分布式爬虫.html ├─4-1大规模并发采集——分布式爬虫.mp4 ├─4-2实训项目(一)——58同城出租信息抓取(上).html ├─4-2实训项目(一)——58同城出租信息抓取(上).mp4 ├─4-3实训项目(一)——58同城出租信息抓取(下).html ├─4-3实训项目(一)——58同城出租信息抓取(下).mp4 ├─4-4实训项目(二)——去哪儿网模拟登陆.html ├─4-4实训项目(二)——去哪儿网模拟登陆.mp4 ├─4-5实训项目(三)——京东商品数据抓取.html ├─4-5实训项目(三)——京东商品数据抓取.mp4
    • 635
  • python
    01-29 07:20
    Python网络数据采集中文版 PDF电子书下载 内容简介 · · · · · · 本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理:如何用Python从网络服务器请求信息,如何对服务器的响应进行基本处理,以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站,自动化处理,以及如何通过更多的方式接入网络。 作者简介 · · · · · · Ryan Mitchell 数据科学家、软件工程师,目前在波士顿LinkeDrive公司负责开发公司的API和数据分析工具。此前,曾在Abine公司构建网络爬虫和网络机器人。她经常做网络数据采集项目的咨询工作,主要面向金融和零售业。另著有Instant Web Scraping with Java。 目录 · · · · · · 译者序  ix 前言  xi 第一部分 创建爬虫 第1章 初见网络爬虫  2 1.1 网络连接  2 1.2 BeautifulSoup简介  4 1.2.1 安装BeautifulSoup  5 1.2.2 运行BeautifulSoup  7 1.2.3 可靠的网络连接  8 第2章 复杂HTML解析  11 2.1 不是一直都要用锤子  11 2.2 再端一碗BeautifulSoup  12 2.2.1 BeautifulSoup的find()和findAll()  13 2.2.2 其他BeautifulSoup对象  15 2.2.3 导航树  16 2.3 正则表达式  19 2.4 正则表达式和BeautifulSoup  23 2.5 获取属性  24 2.6 Lambda表达式  24 2.7 超越BeautifulSoup  25 第3章 开始采集  26 3.1 遍历单个域名  26 3.2 采集整个网站  30 3.3 通过互联网采集  34 3.4 用Scrapy采集  38 第4章 使用API  42 4.1 API概述  43 4.2 API通用规则  43 4.2.1 方法  44 4.2.2 验证  44 4.3 服务器响应  45 4.4 Echo Nest  46 4.5 Twitter API  48 4.5.1 开始  48 4.5.2 几个示例  50 4.6 Google API  52 4.6.1 开始  52 4.6.2 几个示例  53 4.7 解析JSON数据  55 4.8 回到主题  56 4.9 再说一点API  60 第5章 存储数据  61 5.1 媒体文件  61 5.2 把数据存储到CSV  64 5.3 MySQL  65 5.3.1 安装MySQL  66 5.3.2 基本命令  68 5.3.3 与Python整合  71 5.3.4 数据库技术与最佳实践  74 5.3.5 MySQL里的“六度空间游戏”  75 5.4 Email  77 第6章 读取文档  80 6.1 文档编码  80 6.2 纯文本  81 6.3 CSV  85 6.4 PDF  87 6.5 微软Word和.docx  88 第二部分 高级数据采集 第7章 数据清洗  94 7.1 编写代码清洗数据  94 7.2 数据存储后再清洗  98 第8章 自然语言处理  103 8.1 概括数据  104 8.2 马尔可夫模型  106 8.3 自然语言工具包  112 8.3.1 安装与设置  112 8.3.2 用NLTK做统计分析  113 8.3.3 用NLTK做词性分析  115 8.4 其他资源  119 第9章 穿越网页表单与登录窗口进行采集  120 9.1 Python Requests库  120 9.2 提交一个基本表单  121 9.3 单选按钮、复选框和其他输入  123 9.4 提交文件和图像  124 9.5 处理登录和cookie  125 9.6 其他表单问题  127 第10章 采集JavaScript  128 10.1 JavaScript简介  128 10.2 Ajax和动态HTML  131 10.3 处理重定向  137 第11章 图像识别与文字处理  139 11.1 OCR库概述  140 11.1.1 Pillow  140 11.1.2 Tesseract  140 11.1.3 NumPy  141 11.2 处理格式规范的文字  142 11.3 读取验证码与训练Tesseract  146 11.4 获取验证码提交答案  151 第12章 避开采集陷阱  154 12.1 道德规范  154 12.2 让网络机器人看起来像人类用户  155 12.2.1 修改请求头  155 12.2.2 处理cookie  157 12.2.3 时间就是一切  159 12.3 常见表单安全措施  159 12.3.1 隐含输入字段值  159 12.3.2 避免蜜罐  160 12.4 问题检查表  162 第13章 用爬虫测试网站  164 13.1 测试简介  164 13.2 Python单元测试  165 13.3 Selenium单元测试  168 13.4 Python单元测试与Selenium单元测试的选择  172 第14章 远程采集  174 14.1 为什么要用远程服务器  174 14.1.1 避免IP地址被封杀  174 14.1.2 移植性与扩展性  175 14.2 Tor代理服务器  176 14.3 远程主机  177 14.3.1 从网站主机运行  178 14.3.2 从云主机运行  178 14.4 其他资源  179 14.5 勇往直前  180 附录A Python简介  181 附录B 互联网简介  184 附录C 网络数据采集的法律与道德约束  188 作者简介  200 封面介绍  200
    • 635