爬蟲在生活中的應用廣泛,在網路資源豐富的背景時代下,爬蟲算是一個很需要具備的技術。本篇嘗試用一個簡單且完整的例子來講解使用Python爬蟲。
前言
爬蟲這件事情很容易與自動化牽涉到關係,通常在我們希望獲取或更新資料的情況下會想到,尤其在一些重複性的工作,或是設定上相對繁雜(不一定說很難設定,可能就單純只是覺得麻煩),若能夠將整個工作包裝成一個程式,並能夠一鍵自動完成這些工作,甚至讓其自動開始執行工作,真的是方便很多,我們也能夠更專注於在處理其他事情上。
而本系列(由於篇幅會較長,所以以系列作為發布,希望是兩篇結束)將會以Youtube上的已授權影片作為目標,以Python利用爬蟲技術來進行下載,並且會用到FFmpeg來處理影片的相關問題。我想,這樣的一篇文章,能夠提到許多有用的知識與工具,且有一個完整的應用去解決現實中的問題,甚至能更容易去延伸,應該會很有幫助。
本篇主要會提及爬蟲上的概念及相關的準備工作。