前些日子,客戶的一個(gè)網(wǎng)站,是一個(gè)內(nèi)網(wǎng)??蛻舴从痴f(shuō)是,自己網(wǎng)站上的信息泄漏到了網(wǎng)上。客戶發(fā)過(guò)來(lái)關(guān)鍵詞,我在谷歌里面檢索,確實(shí)搜到了信息。可前幾天我在網(wǎng)站中做了設(shè)置,加了robots文件,做了這樣的設(shè)置:User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /User-agent: GooglespiderDisallow: /User-agent: googlespiderDisallow: /可還是能在谷歌上通過(guò)檢索搜到本網(wǎng)站的信息。谷歌進(jìn)行搜索時(shí),求各位大神,想想辦法。還有就是,通過(guò)網(wǎng)址,人們就可以直接下載,但是網(wǎng)站不想這樣,因?yàn)楸揪W(wǎng)站是一個(gè)內(nèi)網(wǎng),必須通過(guò)驗(yàn)證登陸,我應(yīng)該怎樣設(shè)置,才能在通過(guò)網(wǎng)址下載時(shí),先進(jìn)行登陸操作。
怎樣不讓百度或者是谷歌等搜索引擎抓取到自己網(wǎng)站上的信息?
鴻蒙傳說(shuō)
2018-07-23 09:10:39