全站文章 iT邦幫忙
iThome Online提供免費電子報,現在就訂,最新IT訊息每日寄達。

iThome 每日新聞報
iThome 產品技術報
加入iThome Online會員,立即使用討論區、Blog等服務。

免費加入會員
登入 / 登出
管理會員帳號
忘記帳號密碼
聯絡客服
訂閱周刊
讀者服務
13' E政府專刊no.7(48)
13' iTcloud No.3(47)
12' E政府專刊no.6(46)
12' 個資法專刊No2(45)
12' iTcloud No.2(44)
12' e政府專刊No.5(43)
12' 個資法專刊(42)
11' CIO專刊(41)
11' e教育專刊No.3 (40)
11' e政府專刊No.4 (39)
11'iTcloud專刊(38)
10' e教育專刊No.2 (37)
10'e政府專刊No.3 (36)
09'e政府專刊No.2 (35)
09'e教育專刊(34)
09'e政府專刊(33)
08'企業資安專刊-端點安全防護(32)
08'企業採購情報誌(31)
07'資訊安全技術應用專刊(30)
07' 新世代資料中心專刊(29)
07'企業資安技術應用專刊(28)
企業採購情報誌'06冬季號(27)
【書摘】從領導臉書Big Data團隊經驗談起:資訊平臺與資料科學家的崛起
文/iThome (記者) 2013-05-17
分享到facebook
在Facebook,我們覺得典型的職稱像是商業分析、統計學、工程師與研究科學家,都無法確切表達我們團隊所作的多樣化的工作。為切合此技能設定執行這些多重任務的需求,我們創造了「資料科學家」的角色,也就是巨量資料分析人才


資料之美:
優雅資料解決方案的幕後祕辛
Toby Segaran、Jeff Hammerbacher/編;柳百郁/譯;歐萊禮出版、峯資訊發行;售價:580元
2005年9月,Facebook首度開放給非大學生,允許高中生註冊帳號。許多忠實使用者感到不滿,但Facebook團隊認為這麼做對網站而言是正確的方向。然而,要怎麼提出證據證明自己的立場?

還有,Facebook 幾乎受到所有大學生的歡迎,但仍然有些大學生沒有使用Facebook。這些落差與順利完成的同儕之間有什麼差別,而該怎麼做才能促使他們完成任務?我 2006年2月在Facebook面試時,他們早就積極探尋這些問題的答案了。大學時主修數學,還在華爾街工作將近一年,建置模組預測利率、為複雜的衍生性商品定價以及平衡交易貸款群組(hedge pools of mortgages)。我有些程式撰寫經驗和不怎麼樣的 GPA。儘管我的背景不特別出眾,Facebook仍讓我加入擔任研究科學家一職。

值此同時,Facebook 找了個報告暨分析總監(Director of Reporting and Analytics),這個主管在此議題領域比我更有經驗,再加上第三個工程師,我們開始著手建置資料收集與儲存的基礎架構,以便能夠回應有關產品的相關問題。

我們首度嘗試是在離線的資訊倉儲上,用 Python script 執行查出 Facebook的MySQL伺服器層任務,以及用C++寫成的daemon程序,即時處理我們的事件紀錄檔。當script如預想的規劃運作時,我們一天大約會收集到10GB的資料量。之後我意識到我們系統裡的這個部份就是一般所謂的「ETL」程序,也就是「提取、轉換與載入」。

一旦Pythonscript與C++daemon將資料從Facebook的來源系統裡抽取出來後,我們就會把資料餵進MySQL資料庫作離線查詢。我們也有些script與查詢是當資料放進MySQL後才執行,以便將之總合整理成更有效的呈現方式。此種用來做決策支援的離線資料庫更為人熟知的名稱為「資料倉儲(DataWarehouse)」。

最後,我們用PHP script將資料從離線的MySQL資料庫拉進來,然後將我們收集的摘要資訊呈現給內部使用者。第一時間我們就能夠回答一些有關在使用者活動裡特定網站功能造成影響的問題。初步分析著眼於透過幾個管道讓成長最大化。對於登出使用者的預設網頁樣本、邀請的來源,以及電子郵件聯絡人匯入的設計。除了分析外,我們開始利用歷史資料建置一些簡單的產品,例如內部專案,整合贊助的群組成員的功能,證明顯示相當受品牌廣告商的歡迎。

我在那時沒有意識到,用我們的ETL框架、資料倉儲與內部管理面板,已建置出簡單的「商業智慧(BusinessIntelligence)」系統。


1 / 2 / 3 / 4 / 5 / 6 / 7 下一頁

分享到facebook

2014資安趨勢研討會
更多研討會
▼ ADVERTISEMENT ▼
▲ ADVERTISEMENT ▲

電週文化事業版權所有、轉載必究 •Copyright © iThome | 刊登廣告授權服務服務信箱隱私權聲明與會員使用條款關於iThome