如何解决租房烦恼?阿里工程师写了一套神奇的代码

赞赏 2017-08-11

阿里妹导读:租房的烦恼,相信大家或多或少都有过。独自一人在大都市打拼,找个温暖的小窝实属不易,租个称心又价格公道的房子是件重要的事儿。


本文作者、阿里工程师鹿星,也是众多北漂中的一员。如何从各大租房网的房源里面,找到最称心如意的小窝?今天让鹿星带大家看看数据能不能做出最优选择。文末有代码。


选择困难症


毕业到现在两年多了,一直住的自如合租房,但因为各种原因住处已经换过4次,每次换租都是一件头疼的事。从茫茫房海中找一间中意的房间,实在是一件费时费力的活,对于我这种买东西直奔目的地的人来说,在这么多房间里对比各种房间属性选出最优的根本就是一种折磨(这里不得不说一下自如网的选房功能,列表筛选无法准备知道房间地点,而地图找房功能的筛选项又太少,实在无法满足我的需求),所以我每次都是草草选一个,将就着住。


最近在经历了又一次换租后,我萌生了把自如所有在租的房间数据都爬下来,找出最符合我预期的房间的想法,制作好一套流程以后再要换租的时候就可以无脑操作了。


爬取数据


分析之前需要从自如网上爬数据,我用的是Python的Scrapy爬虫框架,但第一遍采集后发现房间数量要比自如网上能查到的数量少,找了下原因发现是自如的房间列表页中有些房间条目是js动态生成的,因为Scrapy没有js引擎,只能爬取静态页面,这部分数据自然就没采集下来。利用scrapy-splash来提供js渲染服务,最终完整采集到了所有在租的自如房间数据,共7907条。采集到的数据样例如下。每一行是一个json格式的字符串


{"floorTotal": "6", "rooms": "2", "lng": "116.422213", "direction": "南", "floorLoc": "5", "halls": "1", "rentType": "整", "time_unit": "每月", "title": "青年沟2居室", "privateBathroom": "0", "confStatus": "1", "district": "东城", "lat": "39.968073", "area": "64.17", "privateBalcony": "0", "confType": "", "link": "http://www.ziroom.com/z/vr/60563968.html", "confGen": "", "price": "6590", "nearestSubWayDist": "367"}

{"floorTotal": "18", "rooms": "3", "lng": "116.400737", "direction": "西", "floorLoc": "6", "halls": "1", "rentType": "合", "time_unit": "每月", "title": "望陶园小区3居室-02卧", "privateBathroom": "0", "confStatus": "1", "district": "东城", "lat": "39.870957", "area": "10.7", "privateBalcony": "0", "confType": "布丁", "link": "http://www.ziroom.com/z/vr/60570725.html", "confGen": "4.0", "price": "2490", "nearestSubWayDist": "517"}


租金的整体印象


我只关心合租房的数据,再做脏数据过滤,共得到4762条合租房数据。合租房房租的平均值和中位数非常接近,整体数据基本无偏,即低价位和高价位的房间数量差不多。


房间类型

数量

最高价格(/)

最低价格(/)

均价(/)

价格中位数(/)

合租

4,762

6,290

890

2,480

2,430


不同价格的房间数量分布如图1,基本符合正态分布。

 


图 1 合租房不同价格区间的房间数量分布


神秘的最贵房间


从上图可以看到一间房超过了6000元,这勾起了我的好奇心,什么房间能这么贵。这间6290元月租金的房间链接是http://www.ziroom.com/z/vr/60558368.html,如下图。除了紧邻西单商场其它属性都没什么突出的。去链家上看了一下这个西黄城根45号院,小区均价14.6万元/平米,好吧,似乎明白为啥这屋子这么贵了。

 


为了膜拜一下这个西黄城根45号院,我又在自如上搜了这个小区的所有在租房间,如下。突然发现好像就这间很贵,而其它房间价格虽然也不算低,但也不像这间这么离谱,有些房间的属性甚至看起来还比这间更好。这个房间总感觉是被自如标错价了,难不成它有什么隐藏属性(住进去每天精神值MAX)。



 

租金地图


房间价格在地图上的分布如图2。红色表示大于3000元/月的房间,绿色表示2000-3000元/月的房间,紫色表示小于2000元/月的房间。颜色越深表示同一个位置重叠有越多房屋,可见总体上北京北边比南边贵,东边比西边贵。而要想租到月租2000以下的房间,就得考虑去往五环之外了。

 


图 2 合租房价格在地图上的分布


谁最重要?


接下来看一下自如对房间定价时考虑的因素主次。使用随机森林算法对房间每月租金进行预测,选取如下14个特征:房间面积、自如配置版本(1.0,2.0等)、配置类型(布丁、拿铁等)、朝向、房间所在楼层、房间所在楼的总楼层、离最近地铁站的距离、是否有独立阳台、是否有独立卫生间、几室、几厅、所在北京区县、相对天安门的方位角、与天安门的距离。对其中的自如配置版本、配置类型、朝向、所在北京区县这四个类别特征使用One-Hot Encoding进行编码,最终扩展为41个特征。使用2/3的数据训练模型,1/3的数据进行测试,在测试集上得到拟合优度R2=0.86,不同特征对租金的影响程度Top10如下:


特征

重要性

与天安门的距离

34.87%

房间面积

10.48%

离最近地铁站的距离

10.35%

相对天安门的方位角

9.05%

是否有独立卫生间

8.17%

是否在朝阳区

3.43%

是否在海淀区

2.77%

房间所在楼的总楼层

2.52%

房间是否朝北

2.21%

是否有独立阳台

2.15%


可见所在方位、房间面积大小、交通方便程度、有没有独卫是影响房间租金的主要因素。话说以前我还一直觉得房间加上朝南的属性会更贵,现在看来好像是我的错觉?


终极目标


最后,回到本次分析的终极目标,找出最符合我预期的房间。我需要做的就是综合我自己的关注属性值对房间进行排序,我最关心的房间属性是[房间面积,房间租金,到公司的距离],这里我使用的是灰度关联分析法对房间进行打分,详细计算过程网上都有,这里我就不再罗列了。


首先我过滤掉属性值超出我心理预期范围的房间,将价格大于等于2200元/月,面积小于等于8m2的房间过滤掉。过滤后的数据集中选5条数据如下:


房间编号

房间面积(m2)

房间租金(元)

到公司的距离(m)

1

8.50

1,490

21,006.99

2

9.50

2,130

12,011.88

3

14.00

1,760

25,967.01

4

8.40

1,960

25,684.91

5

14.01

2,130

24,231.67


对这三个属性值无量纲化,这里我使用的是离差标准化,如下。标准化后x_i^,的取值范围为[0,1]。

无量纲化后数据如下:

房间编号

房间面积无量纲化

房间租金无量纲化

到公司的距离无量纲化

1

0.018265

0.461538

0.504624

2

0.063927

0.953846

0.226250

3

0.269406

0.669231

0.658123

4

0.013699

0.823077

0.649392

5

0.269863

0.953846

0.604419


然后设定最优序列,最理想的状态当然是房间面积最大,租金最小,到公司距离最近了。因此最优序列为[1,0,0],计算每个属性与最优序列相应属性之间的关联系数如下:


房间编号

房间面积关联系数

房间租金关联系数

到公司的距离关联系数

1

0.337442

0.520000

0.497699

2

0.348172

0.343915

0.688468

3

0.406308

0.427632

0.431733

4

0.336406

0.377907

0.435012

5

0.406459

0.343915

0.452727


由于我对不同属性的关注程度不同,因此这里需要设定每个属性的权重,权重值使用目标优化矩阵确定。


房间属性

房间面积

房间租金

到公司的距离

合计

调整

房间面积


0

0

0

1

房间租金

1


0

1

2

到公司的距离

1

1


2

3


因此房间面积权重为1/6,房间租金权重为1/3,到公司的距离权重为1/2,则每个房间的关联系数=房间面积关联系数/6+房间租金关联系数/3+到公司的距离关联系数/2,计算结果如下:


房间编号

房间关联系数

1

0.478423

2

0.516901

3

0.426128

4

0.399543

5

0.408745


计算出所有房间的关联系数,从大到小排列后取Top10如下:



这下可以挑选房间的范围就大大缩小了,以后要是再租房感觉烦恼少好多。当然由于自如网上房间信息变动较快,随时都会有人下定,这套流程还得随租随用,不然筛选出房间后过个两三天再看,说不定房间早就被别人抢了。

希望每位小伙伴都能找到温暖的小窝,让每一个奋斗的日子都有舒服的归所。


源码下载:(最好在电脑上下载,部分APP内不支持直接下载)

http://techforum-img.cn-hangzhou.oss-pub.aliyun-inc.com/%E7%88%AC%E8%99%AB%E5%92%8C%E5%88%86%E6%9E%90%E4%BB%A3%E7%A0%81.zip


登陆后阅读全文
阅读 2040 赞赏 0 有用 9 没用 2 收藏 1 分享

   



1 条留言

琅琊阁主的头像
源码下载不了啊,下载不了啊
17年8月11日
作者回复
链接写错了,已修正
17年8月11日
列位于大天的头像

列位于大天

六合八荒唯我独尊

有料推荐

这世界欠我一个这样的老公!

高校学生模仿“世界名画”摆拍,可以说是戏精本精了

iPhone X 跌破发行价,苏宁200亿入股恒大 | 财经日日评

果然是高手!这次在日本,特朗普竹杠敲得不是一般狠

资深黄牛现身说法:iPhone X价格秒变不停,就像炒股一样

长一样的双胞胎也能识别?蚂蚁金服发布「眼纹识别」技术

苏联是怎么被阿富汗拖垮的?

美团或入局「分时租赁」共享汽车,王兴要大笔投入「泛出行」领域了? | 36氪独家

你或许被“一盘番茄炒蛋”刷屏了,但有人辛酸,有人质疑

iPhone X发售前夜,黄牛与苹果公司的不安

他的文章

【面试107问】谷歌等巨头机器学习面试题:从逻辑回归到智力测验

牛津大学研发类脑光子芯片,运算速度超人脑1000倍

【深度学习框架的未来】李沐:AWS开源端到端AI框架编译器NNVM

【AI拯救爱情】婚姻/恋爱关系垂危,AI帮你重返爱河

【谷歌新项目公开】无需学编程,用手机摄像头和浏览器即可机器学习

手把手搭建游戏AI—如何使用深度学习搞定《流放之路》

4亿欧元的天价收购的DeepMind去年巨亏1.6亿美元,他为谷歌带来了什么?

【ICML+NIPS过去12年数据】机器学习被引次数最高作者Top 20

【大咖解读Bengio笔记】邓侃:用深度学习模型,解构并重构人类思维

深度线性神经网络也能做非线性计算,OpenAI使用进化策略新发现

手机扫一扫
分享文章