沒(méi)錯(cuò),當(dāng)寧為看著視頻中霍志恒的字幕,聽(tīng)著他擲地有聲的聲音時(shí),大腦里突然出現(xiàn)了一個(gè)在解決n-s方程過(guò)程中衍生出的互聯(lián)網(wǎng)實(shí)用技術(shù)——湍流算法。
這種感覺(jué)又很奇特。
就好像視頻中視頻主的那些言語(yǔ)不停的啟發(fā)著他,然后一個(gè)完整算法結(jié)構(gòu)便結(jié)合著之前他所汲取的知識(shí),展現(xiàn)在他的腦中。
緊跟著便又是靈感迸發(fā)的感覺(jué)。
如果不把這靈感記錄下來(lái),寧為感覺(jué)自己會(huì)立刻瘋掉。
于是他從床上跳了起來(lái)。
“咋了,寧娃娃,是不是被我的文采斐然嚇尿了?”
“呸,你們聊你們的,別理我,我有個(gè)想法要記錄下來(lái)!”寧為隨口應(yīng)付了徐瑞軒一句,然后坐到了自己的電腦前,飛快的打開(kāi)了電腦,然后點(diǎn)開(kāi)瀏覽器。
首先他要確定的是,他腦海中突然出現(xiàn)的這個(gè)依托于n-s方程衍生出的湍流算法的確還沒(méi)被發(fā)明出來(lái)。
很快,寧為便確定了,的確沒(méi)有!
因?yàn)槿绻@個(gè)湍流算法已經(jīng)問(wèn)世,大家就不會(huì)依然對(duì)那些惡意網(wǎng)絡(luò)爬蟲(chóng)無(wú)計(jì)可施,只能縫縫補(bǔ)補(bǔ)的處理。
沒(méi)錯(cuò),此時(shí)寧為腦海中蹦出的湍流算法就是專(zhuān)門(mén)針對(duì)處理惡意網(wǎng)絡(luò)爬蟲(chóng)的一種智能算法。
互聯(lián)網(wǎng)時(shí)代的網(wǎng)絡(luò)上充斥著各種網(wǎng)絡(luò)爬蟲(chóng)。
所謂網(wǎng)絡(luò)爬蟲(chóng)其實(shí)就是一種按照一定規(guī)則,自動(dòng)批量抓取網(wǎng)絡(luò)信息的程序跟腳本。最廣泛的應(yīng)用大概就屬搜索引擎,通過(guò)網(wǎng)絡(luò)爬蟲(chóng)技術(shù),這些搜索引擎會(huì)以一定的頻率,通過(guò)這些網(wǎng)絡(luò)爬蟲(chóng)將搜集到的信息錄入到數(shù)據(jù)庫(kù)中,以保證用戶(hù)從引擎入口檢索時(shí),能更多更準(zhǔn)確的從互聯(lián)網(wǎng)龐雜的信息中找到仔細(xì)想要的東西。
這種類(lèi)型的網(wǎng)絡(luò)爬蟲(chóng)一般稱(chēng)為通用網(wǎng)絡(luò)爬蟲(chóng)。
另一類(lèi)則是聚焦爬蟲(chóng)。
這是一種針對(duì)特定網(wǎng)站或者特定信息不停抓取的技術(shù)。
一般來(lái)說(shuō)能夠遵守robots協(xié)議來(lái)使用這項(xiàng)技術(shù)都是沒(méi)問(wèn)題的。
但事實(shí)上,網(wǎng)絡(luò)上遍布的許多網(wǎng)絡(luò)爬蟲(chóng),干的都不是人事。
跟所有人息息相關(guān)網(wǎng)絡(luò)爬蟲(chóng)案例就是黃牛搶票。
比如全球被各種網(wǎng)絡(luò)爬蟲(chóng)光顧最多的就是12306。
每到節(jié)假日,尤其是五一、十一、春運(yùn)這樣的出行高峰,熱門(mén)地區(qū)的火車(chē)票總會(huì)特別難搶?zhuān)踔潦敲肟铡6疫@個(gè)時(shí)候12306軟件都很難打開(kāi),基本也都是拜這種網(wǎng)絡(luò)爬蟲(chóng)所賜。
根據(jù)統(tǒng)計(jì),華夏12306點(diǎn)擊量最高峰曾達(dá)到59億次/小時(shí),平均每秒就有160多萬(wàn)次點(diǎn)擊。顯然不是正常用戶(hù)能刷出來(lái)的數(shù)字。
官方程序也通過(guò)各種升級(jí)驗(yàn)證碼,來(lái)防止黃牛搶票,甚至有一段時(shí)間,那些堪稱(chēng)變態(tài)級(jí)別的驗(yàn)證碼甚至難道讓一個(gè)普通人無(wú)所適從。
即便現(xiàn)在推出人票合一的功能了,但無(wú)數(shù)搶票軟件依然利用加價(jià)購(gòu)買(mǎi)搶票包的方式提供這種服務(wù)。
除此之外,各大航空公司也是非法網(wǎng)絡(luò)爬蟲(chóng)的重災(zāi)區(qū),尤其是經(jīng)常放出特價(jià)機(jī)票的那些航司。幾乎每次特價(jià)機(jī)票剛一放出就會(huì)被這種爬蟲(chóng)嗅探,然后直接預(yù)定但不付款。
對(duì)于航司來(lái)說(shuō),一般這種特價(jià)票預(yù)定之后會(huì)有半小時(shí)的時(shí)間給買(mǎi)家付款,半小時(shí)內(nèi)不付款就會(huì)再次進(jìn)入票池,但爬蟲(chóng)技術(shù)卻能在這些特價(jià)票進(jìn)入到票池后0.01秒之內(nèi)再次搶到手,直到黃牛黨找到愿意加價(jià)的買(mǎi)家,用買(mǎi)家身份信息購(gòu)票并付款。