第Golang爬蟲框架colly的使用目錄項目特性安裝colly實例colly的配置colly頁面爬取和解析colly框架重構爬蟲Golang爬蟲框架colly簡介

colly是一個采用Go語言編寫的Web爬蟲框架，旨在提供一個能夠些任何爬蟲/采集器/蜘蛛的簡介模板，通過Colly。你可以輕松的從網站提取結構化數據，然后進行數據挖掘，處理或歸檔

項目特性

清晰明了的API速度快（每個內核上的請求數大于1K）管理每個域的請求延遲和最大并發數自動cookie和會話處理同步/異步/并行抓取高速緩存自動處理非Unicode編碼支持Robots.txt支持GoogleAppEngine通過環境變量進行配置可拓展

安裝colly

goget-u/gocolly/colly

第一個colly應用

packagemain

import(

"fmt"

"/gocolly/colly"

funcmain(){

c:=colly.NewCollector()

//goqueryselectorclass

c.OnHTML(".sidebar_link",func(e*colly.HTMLElement){

e.Request.Visit(e.Attr("href"))

/*link:=e.Attr("href")

//Printlink

fmt.Printf("Linkfound:%q-%s\n",e.Text,link)

//Visitlinkfoundonpage

//OnlythoselinksarevisitedwhichareinAllowedDomains

c.Visit(e.Request.AbsoluteURL(link))*/

c.OnRequest(func(r*colly.Request){

fmt.Println("url：",r.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

回調函數的調用順序

OnRequest在請求之前調用OnError如果請求期間發生錯誤，則調用OnResponseHeaders在收到響應標頭后調用OnResponse收到回復后調用OnHTMLOnResponse如果接收到的內容是HTML，則在此之后立即調用OnXMLOnHTML如果接收到的內容是HTML或XML，則在之后調用OnScraped在OnXML回調之后調用

實例

funccollback(){//添加回調收集器

c:=colly.NewCollector()

c.OnRequest(func(r*colly.Request){

fmt.Println("請求前調用:OnRequest")

//fmt.Println("Visiting",r.URL)

c.OnError(func(_*colly.Response,errerror){

fmt.Println("發生錯誤調用:OnReOnError")

//log.Println("Somethingwentwrong:",err)

/*c.OnResponseHeaders(func(r*colly.Response){//高版本已經不用了

fmt.Println("Visited",r.Request.URL)

c.OnResponse(func(r*colly.Response){

fmt.Println("獲得響應后調用:OnResponse")

//fmt.Println("Visited",r.Request.URL)

c.OnHTML("a[href]",func(e*colly.HTMLElement){

fmt.Println("OnResponse收到html內容后調用:OnHTML")

//e.Request.Visit(e.Attr("href"))

/*c.OnHTML("trtd:nth-of-type(1)",func(e*colly.HTMLElement){

fmt.Println("Firstcolumnofatablerow:",e.Text)

})*/

c.OnXML("http://h1",func(e*colly.XMLElement){

fmt.Println("OnResponse收到xml內容后調用:OnXML")

//fmt.Println(e.Text)

c.OnScraped(func(r*colly.Response){

fmt.Println("結束",r.Request.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

得到的:

colly的配置

設置UserAgent

//設置UserAgent的兩種方式：

/*//方式一:

c2:=colly.NewCollector()

c2.UserAgent="xy"

c2.AllowURLRevisit=true*/

/*//方式二:

c2:=colly.NewCollector(

colly.UserAgent("xy"),

colly.AllowURLRevisit(),

設置Cookie

//設置cookie的兩種方式

//方式一：通過手動網頁添加cookies

c.OnRequest(func(r*colly.Request){

r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524;_gid=GA1.2.2080811677.1652025429;__atuvc=2|17,0|18,5|19")

//方式二:通過url添加cookies

siteCookie:=c.Cookies("url")

c.SetCookies("",siteCookie)

HTTP配置

Colly使用Golang的默認http客戶端作為網絡層。可以通過更改默認的HTTProundtripper來調整HTTP選項。

c:=colly.NewCollector()

c.WithTransport(http.Transport{

Proxy:http.ProxyFromEnvironment,

DialContext:(net.Dialer{

Timeout:30*time.Second,

KeepAlive:30*time.Second,

DualStack:true,

}).DialContext,

MaxIdleConns:100,

IdleConnTimeout:90*time.Second,

TLSHandshakeTimeout:10*time.Second,

ExpectContinueTimeout:1*time.Second,