Plotting是以構建視覺符號為核心的接口,可以結合各種視覺元素(例如,點、圓、線等其他元素)和工具(例如,縮放、保存、重置等其他工具)創(chuàng)建可視化圖形查看全文>>
網絡爬蟲歷經幾十年的發(fā)展,技術變得更加多樣化,并結合不同的需求衍生出類型眾多的網絡爬蟲。網絡爬蟲按照系統(tǒng)結構和實現(xiàn)技術大致可以分為4種類型,分別是通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲。接下來,對增量式爬蟲和深層網絡爬蟲這兩種爬蟲分別進行介紹。查看全文>>
在前面介紹with語句時,提到了一個非常重要的概念,即上下文管理器。要想使用with語句,前提就是要有上下文管理器。上下文管理器是Python2.5開始支持的一種語法查看全文>>
大家試想一下,如果需要判斷的情況大于兩種,if和if-else語句顯然是無法完成判斷的。這時,出現(xiàn)了if-elif判斷語句,該語句可以判斷多種情況...查看全文>>
優(yōu)化器是數據庫的核心,決定了每條語句如何執(zhí)行。如果將數據庫比作一支軍隊,那么優(yōu)化器就是這支軍隊的主將、軍師,需要運籌帷幄,決勝于千里之外。俗話說一將無能累死三軍,同樣的一條語句,選擇不同的查詢計劃,最終的運行時間可能會相差很大。對優(yōu)化器的研究一直是學術界比較活躍的領域,優(yōu)化是永無止境,可以說在這塊投入多大的精力都不為過。 從優(yōu)化方法上,大致可以分為三類:查看全文>>
在大數據領域,安全永遠是一個繞不開的話題。對于一個簡單安裝上線的 hadoop 集群,我們可以認為有如下安全隱患:如,可以人為的添加一個客戶端節(jié)點,并以此假冒的客戶端來獲取集群數據。對于一個假冒的客戶端節(jié)點,成功加入集群就能夠偽裝 datanode 讓得到 namenode 指派的任務和數據。創(chuàng)建一個HDFS賬戶,就可以得到 hadoop 文件系統(tǒng)的最高權限。Kerberos 主要用來做網絡通訊中的身份認證,幫助我們高效、安全的識別訪問者。那么 Kerberos 是如何做身份認證的呢?查看全文>>