[实战演练]python3使用requests模块爬取页面内容

[实战演练] python3使用requests模块爬取页面内容
17年10月31日 阅读 (1735) 有用 (1)

行进中换轮胎——万字长文解析美团和大众点评两大数据平台是怎么融合的

互联网格局复杂多变,大规模的企业合并重组不时发生。原来完全独立甚至相互竞争的两家公司,有着独立的技术体系、平台和团队,如何整合,技术和管理上的难度都很大。2015年10月,美团与大众点评合并为今天的“美团点评”,成为全球规模最大的生活服务平台。主要分布在北京和上海两地的两支技术团...
17年8月25日 阅读 (2930) 有用 (36)

用uid分库,uname上的查询怎么办?

用户中心是几乎每一个公司必备的基础服务,用户注册、登录、信息查询与修改都离不开用户中心。 当数据量越来越大时,需要多用户中心进行水平切分。最常见的水平切分方式,按照uid取模分库,通过uid取模,将数据分布到多个数据库实例上去,提高服务实例个数,降低单库数据量,以达到扩容的目的。
17年8月24日 阅读 (1778) 有用 (11)

如何解决租房烦恼?阿里工程师写了一套神奇的代码

阿里妹导读:租房的烦恼,相信大家或多或少都有过。独自一人在大都市打拼,找个温暖的小窝实属不易,租个称心又价格公道的房子是件重要的事儿。
17年8月11日 阅读 (2024) 有用 (9)

微信含emoji表情昵称入库失败:HY000,1366, Incorrect string value

最近日志中发现,如下错误: PHP Fatal error: Uncaught Comm_Db_PdoMysqlException: HY000,1366, Incorrect string value: '\xF0\x9F\x90\x9C\xF0\x9F...�...
17年7月28日 阅读 (2426) 有用 (7)

介绍 mysql 中的 character set 与 collation

使用 mysql 创建数据表的时候, 总免不了要涉及到 character set 和 collation 的概念, 之前不是很了解。 这两天不是很忙, 就自己整理了一下。
17年7月26日 阅读 (1487) 有用 (3)

爬虫工程师如何绕过验证码?寻找阿登高地之路

马奇诺防线是二战前法国耗时十余年修建的防御工事,十分坚固,但是由于造价昂贵,仅修建了法德边境部分,绵延数百公里,而法比边界的阿登高地地形崎岖,不易运动作战,且比利时反对在该边界修建防线,固法军再次并没过多防备,满心期望能够依靠坚固的马奇诺防线来阻挡德军的攻势。没想到后来德军避开德...
17年7月21日 阅读 (2253) 有用 (4)

KDD论文解读 | 想要双11抢单快?靠这个级联式电商搜索技术提速9MS

6月29日,阿里巴巴在杭州召开2017天猫双十一发布会,宣布启动:双11超级IP计划。今年晚会将由北京卫视、浙江卫视、深圳卫视三台同时直播。淘宝直播、优酷等在内的多家平台同步跟上,让澳门、香港、新加坡等地也能同步收看天猫双11晚会,相信今年的双11一定会成为举世瞩目的全球狂欢节。
17年7月19日 阅读 (1552) 有用 (5)

或许你不知道的10条SQL技巧((sql 优化 sql索引优化))

这几天在写索引,想到一些有意思的TIPS,希望大家有收获。(sql 优化 sql索引优化)
17年7月16日 阅读 (4109) 有用 (53)

sysbench 在美团点评中的应用

如何快速入门数据库?以我个人经验来看,数据库功能和性能测试是一条不错的捷径。当然从公司层面,数据库测试还有更多实用的功能。这方面,美团点评使用的是知名工具 sysbench,主要是用来解决以下几个问题:
17年7月14日 阅读 (1300) 有用 (2)