1樓：卞凌絲
1、scrapy的開發者已經把python3的支援放在很重要的位置上了，谷歌程式設計之夏上有個專案就是移植scrapy到上。2、但是要支援python3還是有很多難關去攻克，主要來自scrapy依賴的一些庫twisted和mitmproxy等。
2樓：匿名使用者
是不是得落地，存檔案或者db，不然一直存記憶體了。
基於python的scrapy爬蟲，關於增量爬取是怎麼處理的
3樓：匿名使用者
因為無法增量抓取所以放棄 scrapy 的。
因為我們的場景，定時更新，增量抓取是非常重要的，這要求很強 url 去重，排程策略邏輯。
而 scrapy 的記憶體去重實在是太簡陋了。
於是，pyspider 就這麼誕生了。
nodejs記憶體洩露有什麼危害
4樓：司寇果
自定義爬取規則，http錯誤處理，xpath，rpc，pipeline機制等等等。而且，由於scrapy是基於twisted實現的，所以同時兼顧有非常好的效率，相對來說唯一的缺點就是安裝比較麻煩，依賴也比較多，我還算是比較新的osx，一樣沒辦法直接pip install scrapy！
什麼是記憶體洩露？記憶體洩露該如何解決？
基於python的scrapy爬蟲，關於增量爬取是怎麼處理的
5樓：匿名使用者
對於增量這個問題和爬蟲框架沒有關係，首先得知道那些是爬取過的，那些是沒有爬過的，所以得有一個資料庫（不管是記憶體資料庫redis，memcache，mongo，還是傳統資料庫mysql，sqlite）儲存已經爬取過的網頁。具體實現可以通過url或者內容的md5值等判別那些爬過那些沒有過；
為什麼按照scrapy上的第一個例子在linux上執行報錯
6樓：不怎麼忙碌
當開機從os光碟啟動，會先載入isolinux下可執行的核心映像vmlinuz，在記憶體中建立一個虛擬的根檔案系統(rootfs)，然後核心載入初始ram磁碟，建立一個安裝linux所需要的系統環境，這就是所謂的第一階段。
基於python的scrapy爬蟲，關於增量爬取是怎麼處理的
電腦的記憶體太小，求助解決辦法
不換記憶體怎麼增大。開玩笑呢。虛擬記憶體在我的電腦 屬性 高階 效能 設定 高階 更改 然後可以改了。注意不要大於c盤剩餘空間，一般最好不要大於兩倍的實體記憶體，對於你也就是896m 實體記憶體在不加記憶體條的情況下是沒辦法了 虛擬記憶體可以 右鍵我的電腦 屬性 高階 在效能裡點設定 然後在點高階 ...
電腦卡加記憶體條有用嗎有什麼解決辦法呢
大神只從你的圖裡看到了cpu型號和記憶體大小顯示卡呢？其他配置呢？還有你電腦現在出了什麼問題麼？想要換好後幹嘛？玩遊戲？你描述不清楚，大神們不好給你回答呀。相容性沒問題，現在的記憶體條基本都是相容win系統的。不過你的這個電腦cpu，記憶體都不行，不過如果你想繼續用最主要是加固態硬碟，這樣會好用很多...
關於電腦宕機問題的解決辦法，關於電腦宕機問題
電腦宕機有很多種情況 1 電腦中毒或中惡意軟體，可能引起電腦異常，解決辦法是，升級防毒軟體，建議使用騰訊電腦管家，最新版本比較穩定 廣告過濾，能避免很多附帶病毒彈窗網頁和廣告的侵襲 電腦診所，隨時都可以檢測你目前的電腦狀態 無論是惡意檔案還是木馬病毒，在嚴密保護的同時，也擁有給力的查殺功能。2 配置...