0
| 本文作者： 李勤 | 2019-04-26 18:37 |
4 月 26 日，周五，宜出行，忌上班。
有些人的“五一”假期來得比法定放假早，比如雷鋒網(wǎng)編輯。。。隔壁的媒體同行，他居然告訴我，自己已經(jīng)無心上班，思想比身體先一步開啟了假期模式。
然后他掏出手機，炫耀了一把搶到的特價機票。
噢，你要說到特價機票，那就是戳到我的業(yè)務(wù)點了，讓網(wǎng)絡(luò)安全科普作者小李分析一下特價機票可能是怎么來的吧！
一個很大的可能性是，你是從爬蟲二道販子手里買的！
國務(wù)院辦公廳發(fā)布“關(guān)于調(diào)整2019年五一勞動節(jié)假期”的通知幾十分鐘后，各個航空公司的 B2C 網(wǎng)站和旅游網(wǎng)站的機票查詢量暴增，其中國際航班增長了 10 倍。在暴增的機票查詢數(shù)據(jù)背后，有普大喜奔的人民群眾，更有非法代理人操控的惡意“爬蟲”。
原來，部分航空服務(wù)代理人通過“爬蟲”非法抓取航空公司 B2C 網(wǎng)站或官方 App 等平臺上的機票信息，然后非法倒賣給他人以牟取利益。
為了搞清楚這個惡意爬蟲是怎么爬取特價機票信息，再化身二道販子牟利，編輯特意請教了有反爬蟲實戰(zhàn)經(jīng)驗的頂象公司，據(jù)說，最近他們協(xié)助警察蜀黍端掉了一起爬蟲案，這個涉案的山東某機構(gòu)專門爬取各大航空公司票務(wù)數(shù)據(jù)倒賣給其他中小代理人（該機構(gòu)的業(yè)務(wù)已被關(guān)停）。
他們是怎么開啟神（違法）操作的？
部分代理人利用“爬蟲”爬取下票務(wù)信息后，再利用虛假的身份信息預(yù)訂機票，但不付款。然后，在航空公司允許的訂票賬期內(nèi)，他們把這些機票轉(zhuǎn)售給真正需要購票的用戶。
在轉(zhuǎn)售之前，這就導(dǎo)致部分機票并未售出，但是用戶在航空公司查看時卻顯示已售罄，該行為稱之為“虛假占座”。
惡意爬蟲“長什么樣”
怎么判斷“占座”的不是普通用戶而是爬蟲黨呢？
惡意“爬蟲”有這么幾個特征：
1、訪問的目標網(wǎng)頁比較集中：“爬蟲”代理人目標明確，主要是爬取班次、價格、數(shù)量等核心信息，因此只瀏覽訪問幾個固定頁面，不訪問其他頁面。
2、查詢訂票等行為很有規(guī)律：由于“爬蟲”是程序化操作，按照預(yù)先設(shè)定的流程進行訪問等，因此呈現(xiàn)出毫無思維、但很有規(guī)律、有節(jié)奏且持續(xù)的行為。
3、同一設(shè)備上有規(guī)?；脑L問和操作：“爬蟲”的目的是最短時間內(nèi)抓取最多信息，因此同一設(shè)備會有大量離散的行為，包括訪問、瀏覽、查詢等。
4、訪問來源IP地址異常：正常情況下用戶在查詢、購買時，用戶的 IP 地址比較穩(wěn)定，如果是“爬蟲”“虛假占座”，IP 來源地址呈現(xiàn)不同維度上的聚集，而瀏覽、查詢、購票等操作時不停變化 IP 地址。
5、設(shè)置UA模擬瀏覽器和頻繁使用代理 IP ：很多“爬蟲”程序偽裝成瀏覽器進行訪問，比如在程序頭或者UA中默認含有類似python-requests/2.18.4等固定字符串；并且通過購買或者租用的云服務(wù)、改造路由器、租用IP代理、頻繁變更代理 IP 等進行訪問。
6、操作多集中非業(yè)務(wù)時間段：“爬蟲”程序運行時間多集中在無人值守階段。此時系統(tǒng)監(jiān)控會放松，而且平臺的帶寬等資源占用少，爬蟲密集的批量爬取不會對帶寬、接口造成影響。以下是頂象反欺詐中心監(jiān)測到，凌晨1-5點是惡意“爬蟲”的運行高峰時段。
“虛假占座”看上去只是讓薅羊毛的正常用戶買不上機票而已，對航空公司有什么影響嗎？（賣給誰不是賣？）
當然有！
大家想一想，首先，惡意“爬蟲”的虛假身份信息是從哪里來的，這里是不是有用戶信息的泄漏？
第二，這種虛假占座浪費了航空公司帶寬資源，白白消耗航空查詢費用，擾亂了航空公司的正常運營。
第三，更關(guān)鍵的是，由此帶來訂票量的波動導(dǎo)致航空公司收益管理系統(tǒng)算法產(chǎn)生誤判，給出不符合實際情況的運價調(diào)整，損傷了用戶權(quán)益以及平臺的口碑。
也就是說，從爬蟲二道販子手里買到特價機票一時爽，長期下來還是普通用戶買了單。
雷鋒網(wǎng)注：該文核心觀點及分析來源于微信公眾號“頂象業(yè)務(wù)安全”，作者：小象，雷鋒網(wǎng)經(jīng)授權(quán)轉(zhuǎn)載及改編。指路原文：《你購買的“五一”機票 可能是“二手”轉(zhuǎn)售》。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
