懶人采集器下載 v2.7.3.1 免費(fèi)版

懶人采集器電腦版使用教程

第一步：設(shè)置起始網(wǎng)址

要采集一個(gè)網(wǎng)站的數(shù)據(jù)，首先我們要設(shè)置從哪些網(wǎng)址進(jìn)入采集，比如我們要采集一個(gè)網(wǎng)站的國內(nèi)新聞，那么我們就要設(shè)置起始網(wǎng)址為國內(nèi)新聞欄目列表的網(wǎng)址，而一般不會(huì)設(shè)置網(wǎng)站首頁為起始網(wǎng)址，因?yàn)槭醉撏ǔ?huì)包含很多列表，比如最新文章、熱門文章、推薦文章等等各種列表塊，并且這些列表塊里顯示的內(nèi)容也是非常有限的，采集這些列表的話一般都無法采集完整信息。

下面我們以采集新浪新聞為例，從新浪首頁找到國內(nèi)新聞，但該欄目首頁內(nèi)容還是比較雜亂，而且還細(xì)分三個(gè)子欄目

我們從進(jìn)入其中一個(gè)子欄目“內(nèi)地新聞”看一下

該欄目頁包含有一個(gè)帶分頁的內(nèi)容列表，通過切換分頁，我們就可以采集到該欄目下的所有文章，所以這種列表頁就非常適合作為我們采集的起始網(wǎng)址。

現(xiàn)在，我們就復(fù)制該列表網(wǎng)址到任務(wù)編輯框第一步的文本框中

如果你要在一個(gè)任務(wù)中同時(shí)采集國內(nèi)新聞里的其他子欄目，也可以把另兩個(gè)子欄目列表地址復(fù)制進(jìn)來，因?yàn)檫@些子欄目列表格式都是相似的。但為了便于導(dǎo)出或發(fā)布分類數(shù)據(jù)，一般不建議多個(gè)欄目?jī)?nèi)容混合在一起。

對(duì)于起始網(wǎng)址我們也可以批量添加或從txt文件導(dǎo)入，比如我們要采集前5頁，也可以這樣自定義五個(gè)起始頁

需要注意的是如果這里自定義了多個(gè)分頁列表，在后面的采集配置里就不要再啟用分頁了，通常我們要采集某個(gè)欄目下的所有文章時(shí)，都只需要定義該欄目第一頁為起始網(wǎng)址就行了，在后面的采集配置里啟用分頁，就可以采集到每個(gè)分頁列表的數(shù)據(jù)。

第二步：① 自動(dòng)生成列表和字段

進(jìn)入第二步后，對(duì)于某些網(wǎng)頁，懶人采集器會(huì)智能分析出該頁的列表，并自動(dòng)高亮選擇網(wǎng)頁列表和生成列表數(shù)據(jù)，如

然后我們?cè)賹?duì)這些數(shù)據(jù)進(jìn)行修整，比如刪掉一些不需要的字段

點(diǎn)擊圖示三角符號(hào)，會(huì)彈出該字段采集詳細(xì)配置，點(diǎn)擊上面的刪按鈕即可刪除該字段，其余參數(shù)后面章節(jié)會(huì)獨(dú)立介紹。

如果某些網(wǎng)頁自動(dòng)生成的列表數(shù)據(jù)并不是我們想要的數(shù)據(jù)，可以點(diǎn)擊“清除字段”，把生成的字段全部清除。

如果自動(dòng)分析出的高亮列表也不是我們要采集的列表，那么我們就手動(dòng)選取列表。要是想取消高亮顯示的列表框，可以點(diǎn)擊 查找列表 - 列表XPATH，把里面的xpath清空后確定即可。

第二步：② 手動(dòng)生成列表

點(diǎn)擊“查找列表”按鈕，選擇“手動(dòng)選擇列表”

按提示，用鼠標(biāo)左鍵點(diǎn)擊網(wǎng)頁列表中的第一行數(shù)據(jù)

點(diǎn)完第一行，再按提示點(diǎn)擊第二行或其他相似的行

點(diǎn)擊完列表里的任意兩行后，整個(gè)列表就高亮顯示出來了，同時(shí)該列表里的字段也會(huì)字段生成，如果生成的字段不對(duì)，點(diǎn)擊清除字段，把下面的字段全部清除掉，下一章再介紹手動(dòng)選取字段。

第二步：③ 手動(dòng)生成字段

點(diǎn)擊“增加字段”按鈕

點(diǎn)擊列表中任意一行中要提取的元素，比如要提取標(biāo)題和鏈接地址，鼠標(biāo)左鍵點(diǎn)擊一下該標(biāo)題即可

當(dāng)點(diǎn)擊的是網(wǎng)頁鏈接時(shí)，會(huì)提示是否用時(shí)要抓取鏈接地址

如果要同時(shí)提取鏈接標(biāo)題和鏈接地址，點(diǎn)“是”，如果只要提取標(biāo)題文本，點(diǎn)否，這里我們點(diǎn)“是”

系統(tǒng)會(huì)自動(dòng)生成標(biāo)題和鏈接地址字段，并在字段列表中顯示出提取到的字段內(nèi)容，當(dāng)點(diǎn)擊底部表格字段標(biāo)題時(shí)，會(huì)在網(wǎng)頁上以黃色背景高亮顯示出匹配的內(nèi)容。

如何還有標(biāo)記列表中的其他字段，點(diǎn)擊新增字段，重復(fù)以上操作即可。

第二步：④ 分頁設(shè)置

當(dāng)列表有分頁時(shí)，啟用分頁后就可以采集到所有的分頁列表數(shù)據(jù)。

網(wǎng)頁分頁有兩種

普通分頁：存在分頁條，并顯示有“下一頁”按鈕，點(diǎn)擊后可以進(jìn)入下一頁，如之前的新浪新聞列表里的分頁

瀑布流分頁：網(wǎng)頁滾動(dòng)條拉到底部時(shí)會(huì)自動(dòng)加載下一頁內(nèi)容

如果是普通分頁，我們選擇嘗試自動(dòng)設(shè)置或手動(dòng)設(shè)置

自動(dòng)設(shè)置分頁

新建任務(wù)時(shí)默認(rèn)是沒有啟用分頁的，點(diǎn)擊“不啟用分頁”，會(huì)彈出一個(gè)菜單，選擇“自動(dòng)識(shí)別分頁”，如果識(shí)別成功，會(huì)彈出對(duì)話框提示“成功識(shí)別并設(shè)置了分頁元素！”，并在網(wǎng)頁“下一頁”按鈕上出現(xiàn)高亮的紅色虛線框(部分網(wǎng)頁按鈕可能不會(huì)顯示虛線框)，至此成功啟用自動(dòng)分頁

如果自動(dòng)識(shí)別識(shí)別，會(huì)出現(xiàn)如下綠色提示框

手動(dòng)設(shè)置分頁

在菜單中選擇“手動(dòng)設(shè)置分頁”

然后會(huì)自動(dòng)出現(xiàn)“查找分頁”按鈕，點(diǎn)擊后彈出菜單，選擇“標(biāo)記分頁”

按提示向?qū)c(diǎn)擊“下一頁”按鈕

點(diǎn)擊后會(huì)在網(wǎng)頁“下一頁”按鈕上出現(xiàn)高亮的紅色虛線框(部分網(wǎng)頁按鈕可能不會(huì)顯示虛線框)，至此成功標(biāo)記了分頁，如果要查看剛才設(shè)置的分頁xpath，可以選擇菜單中的“分頁XPath”，即可看到該分頁xpath，在這里也可以手動(dòng)輸入xpath進(jìn)行設(shè)置。

瀑布流分頁

有些網(wǎng)頁需要將滾動(dòng)條拉到底部才能進(jìn)入下一頁，例如今日頭條、知乎等網(wǎng)站，在菜單中選擇瀑布流分頁即可啟用該分頁。使用瀑布流分頁采集時(shí)，頁面會(huì)自動(dòng)滾動(dòng)到底部，直到分頁完成或達(dá)到指定的分頁次數(shù)。

最大分頁

指定最大分頁次數(shù)，也就是切換分頁的次數(shù)不會(huì)超過此數(shù)值。

第二步：⑤ 采集內(nèi)容頁等多級(jí)網(wǎng)頁

如果我們要采集二級(jí)頁面，如內(nèi)容頁，或采集更深一級(jí)的頁面，三級(jí)、四級(jí)等，在當(dāng)前頁字段列表中，必須包含有一個(gè)提取鏈接地址的字段，也就是提取屬性為Href的字段，如圖

點(diǎn)擊該字段標(biāo)題欄，選中該列后會(huì)出現(xiàn)“深入鏈接頁采集”按鈕

點(diǎn)擊該按鈕后會(huì)自動(dòng)創(chuàng)建一個(gè)配置選項(xiàng)卡，并自動(dòng)打開之前選中那個(gè)字段的一個(gè)網(wǎng)址。

而采集模式也自動(dòng)顯示為“單條模式”

列表模式：用于提取某個(gè)網(wǎng)頁列表中的數(shù)據(jù)，預(yù)覽中可看到多條數(shù)據(jù)

單條模式：適用于采集內(nèi)容詳情頁里的各項(xiàng)信息，如文章標(biāo)題、時(shí)間、正文等

因?yàn)槲覀兩钊氩杉倪@個(gè)頁面是內(nèi)容頁，所有使用默認(rèn)的“單條模式”

然后，我們新建一個(gè)字段，提取網(wǎng)頁中的文章發(fā)布時(shí)間，因?yàn)槲恼聵?biāo)題在第一層列表采集里已經(jīng)提取了，這里就不需要重復(fù)了，采集運(yùn)行時(shí)，多個(gè)頁面的字段會(huì)自動(dòng)合并為一個(gè)表格數(shù)據(jù)的。

繼續(xù)新建字段提取正文

而為了保持原文的段落格式，這里的取值屬性可以選擇InnerHtml，即該字段提取的數(shù)據(jù)包含Html標(biāo)簽

第二步：其他設(shè)置

在第三步的基本設(shè)置里，我們可以對(duì)瀏覽器做一些設(shè)置，比如禁用圖片、JS、Flash、框架等，提高瀏覽網(wǎng)頁的速度。

還可以設(shè)置瀏覽器標(biāo)識(shí)(UserAgent)、代理IP、請(qǐng)求的間隔時(shí)間等

瀏覽器標(biāo)識(shí)(UserAgent)：網(wǎng)頁通過讀取瀏覽器標(biāo)識(shí)來獲取客戶端的一些信息

請(qǐng)求間隔時(shí)間：用于降低請(qǐng)求的頻率，即降低采集速度，避免因采集太快而被封IP，如果不需要降速，可以設(shè)置為0時(shí)

多值連接符：字段設(shè)置了多個(gè)xpah提取多個(gè)元素時(shí)，使用這里自定義的連接符連接多個(gè)元素值

HTTP引擎線程數(shù)：使用HTTP請(qǐng)求時(shí)，多線程運(yùn)行的線程數(shù)，同一個(gè)HTTP請(qǐng)求的任務(wù)可以拆分并使用多個(gè)線程同時(shí)采集，提高采集速度，只適用于HTTP引擎，瀏覽器引擎不適合。