爬蟲采集亞馬遜數(shù)據(jù)庫

  

做亞馬遜懂技術的很多人都在用爬蟲采集亞馬遜數(shù)據(jù)庫，但很多新手不是很理解，下面一米亞馬遜采集軟件就來和大家介紹一下。


爬蟲采集亞馬遜數(shù)據(jù)庫


scrapy-amazon(亞馬遜爬蟲)


基于scrapy的亞馬遜的爬蟲


默認python3環(huán)境，python2未測試


默認抓取手機版亞馬遜


默認采集亞馬遜指定關鍵詞所有商品


采集屬性包括商品名稱、鏈接、圖片地址、ASIN、商品描述、評論等等


爬取到的數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫


未開源版本新增功能


支持采集指定不同國家的亞馬遜(美國亞馬遜、日本亞馬遜等等)


支持指定代理IP訪問,減少亞馬遜Robot Check幾率


支持采集、發(fā)布日志保存到文件,方便查詢


接入百度翻譯、有道翻譯、騰訊翻譯,自定義語種實現(xiàn)偽原創(chuàng)


支持采集到的數(shù)據(jù)清洗偽原創(chuàng)一鍵發(fā)布到wordpress(帶特色圖片)


支持發(fā)布去重、減少網(wǎng)站被K幾率


一米軟件提醒您：建議自行指定IP池，隨機更換User-Agent，防止被封

相關資訊

推薦軟件