Ivan

[数据分析] 链家二手房成交信息分析（二）

数据清洗接上篇，我们已经拿到了各区二手房成交信息excel，下图所示为其中一个区的房源详细信息每个房源包含名称、成交日期、成交价格、每平米单价、户型、建筑面积等信息。其中不乏有不满足要求的数据，如“浏览”一栏含有“暂无数据”字段，“供暖方式”有些为空等，这些非数值型数据不方便进行统计，后面的脚本会对其进行归一化处理。数据统计有了excel数据之后，便要分析各数据之间的关联。最终的目的是将这些内在的关联通过可视化图表展示出来。我简单选取了几个属性：日期、成交价格、小区、建筑面积、每平米单价，作为统计的材料。将这几个热点属性组合、关联，得到了大约6个统计栏目。1.各区二手房成交数、2.全市各月二手房成交数 3.全市二手房价格区间 4.2017-2019年各区二手房每平米单价均值走势 5.全市二手房面积区间 6.全市最受欢迎的小区。统计的数据最后是需要提供给图表用于显示的，因此选择json作为......

Posted by ivan on 2020-02-10 19:32:15 ID:32 Page View:5602

数据分析

[软件安装] CentOS7安装Redis

下载redis安装包wget http://download.redis.io/releases/redis-5.0.7.tar.gz 解压压缩包tar -zxvf redis-5.0.7.tar.gz yum安装gcc依赖yum install gcc注意：yum使用python2编写，如果安装了python3并设置为默认版本会报错。如果报错，请编辑/usr/bin/yum文件，将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.7 ，其中2.7为当前计算机上的python2版本。接着打开/usr/libexec/urlgrabber-ext-down文件，同理将第一行改为如上文本。vim /usr/bin/yum#!/usr/bin/python 改为 #!/usr/bin/python2.7vim /usr/libexec/urlgrabber......

Posted by ivan on 2020-02-04 20:55:48 ID:31 Page View:4987

软件安装

[数据分析] 链家二手房成交信息分析（一）

数据爬取网页分析打开链家北京二手房成交首页：https://bj.lianjia.com/chengjiao，如下图所示：这里我们随便点击一个区，观察url变为https://bj.lianjia.com/chengjiao/加区拼音的格式，如下图所示，东城区的url为：https://bj.lianjia.com/chengjiao/dongcheng,再点击区下面的随便一个街道，url变为https://bj.lianjia.com/chengjiao/加镇/街道拼音的格式，如东城区安定门街道的url为https://bj.lianjia.com/chengjiao/andingmen/按F12打开控制台，检视页面元素发现各个区的url存在于属性为“data-role=ershoufang”的div标签的a子标签中，如下图：这时，我们的思路是获取所有区对应的二手房成交信息的url，通过......

Posted by ivan on 2020-01-30 17:28:08 ID:29 Page View:5076

数据分析

[日志] 2020骑行之(壹)

周末与mao老师进行了2020新年第一骑，全程ftp拉满，期待下一次！山顶“破雾”而出的阳光…?

Posted by ivan on 2020-01-16 00:32:32 ID:28 Page View:5068

日志

[日志] 2019年终总结

2019,世界动荡不安、人生复杂烦乱 0x01研路 0x02煎熬 0x03习惯 0x10淡然

Posted by ivan on 2020-01-07 21:48:06 ID:27 Page View:5453

日志

[JavaScript] xxqg-helper v3.1

公告本助手只供个人学习Auto.js使用，不得传播和用于违法或商业用途，否则造成的一切后果自负！为了方便使用，本项目没有分模块，所有代码都在一个js文件中因学业繁重，除非App遇到重大更新，本项目将不再维护！望体谅！注意事项 1.常见问题见下方，有好的方案请自行讨论修改2.华为等部分手机不支持控制台窗口，如报错中含有console关键字请将start_app()函数中关于console的函数删除3.请尽量使用Auto.js4.0.0beta或4.0.1beta版本，否则部分手机会有兼容性问题4.尽量不要在凌晨运行，凌晨主页当天新闻没有刷新，早上9-10点之后运行，当天的文章会出来很多5.运行时请保持网络畅通，请在WIFI网络下使用，否则中途加载页面或控件过慢会报错6.请更新App至最新版！使用方式下载Auto.js 4.0.0版本apk并安装打开Auto.js导入最新版xxqg.j......

Posted by ivan on 2019-12-31 19:42:20 ID:26 Page View:13520

JavaScript

[JavaScript] xxqg-helper v2.0-v2.8

公告！本助手只供个人学习Auto.js使用，不得传播用于违法或商业用途，否则造成的一切后果自负！下个版本增加答题，正在借鉴大佬的注意事项，必看! 1.部分手机收藏和分享按钮控件找不到，运行到收藏分享步骤时会报错，请将articleStudy()函数中的CollectAndShare(i)函数删除;或者打开 Auto.js悬浮窗查看自己手机收藏按钮属性中的’depth’,修改代码中的’depth’为自己手机实际值2.华为部分机型console不支持，如报错中含有’huawei’关键字请将主函数中console.show()函数删除3.请更新auto.js版本至4.0.0beta或 4.0.1beta,否则部分手机会有兼容性问题，进入文章页会找不到按钮等控件会自动退出！4.尽量不要在凌晨运行，凌晨当天新闻没有刷新，请在早上10点之后运行！，10点之后当天的文章会出来很多5.运行时请保持......

Posted by ivan on 2019-09-16 23:58:09 ID:25 Page View:20649

JavaScript

[Python] 字符串图片隐写

Img-Stegano

Img-SteganoPython字符串图片隐写，每像素占用rgb三通道各一位，需安装OpenCV图像处理库 Origin隐写术是一门关于信息隐藏的技巧与科学，所谓信息隐藏指的是不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容。隐写术的英文叫做Steganography，来源于特里特米乌斯的一本讲述密码学与隐写术的著作《Steganographia》，该书书名源于希腊语，意为“隐秘书写” Detail图片是由一个个像素组成的，每个像素由（r,g,b）3个通道的值表示（png格式图片，多一个alpha透明度值）。单个r、g、b通道可由一个字节（8位表示），其范围在0~255之间。当改变每个通道最低位的值时，对于整个图片来说，肉眼是几乎看不出变化的。因此，可将一组待隐藏字符串转换为二进制格式，再将每个二进制数一位一位地存储在图片的像素中，每个像素可存3bit（rgb各一个bit）......

Posted by ivan on 2019-07-09 21:40:07 ID:23 Page View:4843

Python

[前端] HTML页面加载顺序

从上至下运行先解析head标签中的代码，head标签中会包含一些引用外部文件的代码，从开始运行就会下载这些被引用的外部文件,当遇到script标签的时候浏览器暂停解析（不是暂停下载），将控制权交给JavaScript引擎（解释器）如果<script>标签引用了外部脚本，就下载该脚本，否则就直接执行，执行完毕后将控制权交给浏览器渲染引擎。<br>当head中代码解析完毕，会开始解析body中的代码如果此时head中引用的外部文件没有下载完，将会继续下载浏览器解析body代码中的元素，会按照head中声明一部分样式去解析如果此时遇到body标签中的<script>，同样会将控制权交给JavaScript引擎来解析JavaScript,解析完毕后将控制权交还给浏览器渲染引擎。当body中的代码全部执行完毕、并且整个页面的css样式加载完毕后，css会重新渲染整个页面的html元素。<br>按......

Posted by ivan on 2019-07-04 22:27:47 ID:21 Page View:4974

前端