前往資料科學之道 - Enabling Technologies for Data Science and Analytics: The Internet of Things

參與edX的課程：
Enabling Technologies for Data Science and Analytics: The Internet of Things 些許心得

IoT應用逐漸成熟主要由於製造物品(Thing)的成本下降、體積縮小，耗能減少以及網路技術成熟等。建置IoT也會遇到一些問題，例如傳統的無線技術像是wifi或是手機訊號，其設計與IoT之目的不一定相同，所以在每單位傳輸量、延遲時間、錯誤率等需求也會不同，所以有了許多不同的通訊協定，像是Zigbee、Bluetooth Low Energy等等。

前往資料科學之道 - Machine Learning for Data Science and Analytics

參與edX的課程： Machine Learning for Data Science and Analytics 些許心得

本課屬於Data Science and Analytics in Context 系列課程之一，著重於理論入門，但部份題目所需要的相關知識並不會在課程中提到，需要學習者自行上網尋找相關資料才能回答，對於沒有接觸過的人而言比較辛苦。

課程前三週介紹演算法(algorithms)，像是分治法(divide and conquer)、運行時間 (running time)、調度(scheduling)、圖論(graph theory)等。最後兩週才會提到機器學習，例如分類問題(classification)、交叉驗證(cross validation)和主題模型(topic modeling)等等。

從課程內容和時間(共五週)的安排可以看出每項概念都只點到為止。而想要動手做的學習者可以選擇其他課程，像是The Analytics Edge。

另外建議先有基本的統計概念，尤其某些題目需要卡方檢定(Chi-squared test)的相關知識，但如果有先修本系列第一堂課：Statistical Thinking for Data Science and Analytics 就比較沒有這方面的問題。

前往資料科學之道 - Statistical Thinking for Data Science and Analytics

參與edX的課程：Statistical Thinking for Data Science and Analytics 些許心得

• Data Science and Analytics in Context 系列課程之一
• 本課程屬於入門程度，絕大部分都是理論，只有非常少的R程式部份，想要動手做的人可能會失望。
• 內容包含統計學、資料視覺化和 Bayesian statistics。
• 由於3個部份各由不同的講師負責，所以教學風格也會不一樣。
• 建議選修Data Analysis and Statistical Inference以取代本課統計學概論部份。
• Bayesian statistics部份的講師是Andrew Gelman。

前往資料科學之道 - Hadoop Platform and Application Framework

參與Coursera的課程：Hadoop Platform and Application Framework 些許心得

本課程接續前課 Introduction to Big Data，重點開始逐漸轉移至於虛擬機操作部份。

前往資料科學之道 - Introduction to Big Data

參與Coursera的課程：Introduction to Big Data 些許心得

內容 

• Big data = Old + New Tech
• Hadoop的由來、特色、組成
• Apache Hadoop Ecosystem
• MapReduce概念
• 安裝虛擬機

軟體

虛擬環境使用cloudera已建立好的64位元虛擬機(以CentOS 6.4為基礎)，所以建議主作業系統也是64位元。如果熟悉虛擬機(VMware、Virtualbox或KVM)基本操作的話就不會有什麼大問題。

硬體

因為要使用虛擬機模擬分散處理環境，對於硬體要求比較高，虛擬機需要的記憶體至少要4GB，建議6GB才有可能比較順，加上2GB留給實體作業系統,所以建議電腦最好有8GB以上記憶體。

前往資料科學之道 - Sabermetrics 101: Introduction to Baseball Analytics

參與edX的課程：Sabermetrics 101: Introduction to Baseball Analytics 些許心得

"Sabermetrics is the study of the game of baseball through observation and experimentation (when applicable)."

原本一些對棒球充滿興趣的人希望可以使用數據紀錄比賽情況，當人無法觀看現場或是轉播時，可以透過這些數據重建比賽的狀況。後來逐漸對數據分析愈來愈重視，所以開始探討數據能否儘可能地代表球員、球隊的能力，而不是結果。因為結果會受到外在各種因素影響：天候、場地，甚至運氣。

近年資料儲存以及收集技術的改進讓球團也開始注重其應用：像是要不要交易某個球員，球員的薪水是否過高或過低，或根據各球員守備能力範圍，安排其站點等議題。

前往資料科學之道 - The Analytics Edge

參與edX的課程：The Analytics Edge 些許心得

和Practical Machine Learning一樣，本課程以機器學習為主。

內容

課程包含：

• Linear Regression
• Logistic Regression
• Tree and Random Forest
• Clustering: Hierarchical Clustering, K-Means Clustering
• Visualization (ggplot2, ggmap, igraph)
• Text Analysis
• Linear and Integer Optimization (Libre Office Calc or R)

前往資料科學之道 - 資料分析與R

參與Udacity的課程：Data Analysis with R 些許心得

課程以Exploratory Data Analysis (EDA) 為主，我們可以透過這種方式觀察變數之間的關係，提供後續分析時一個大概的方向。例如將原本的非線性關係轉為 (transform) 線性關係，這樣在下一步的建立預測模型時，只要使用線性模型即可。DEA 大部份觀察的方式以視覺為主。

前往資料科學之道 - 資料分析與統計推論

參與Coursera的課程：Data Analysis and Statistical Inference些許心得

本課程著重於一些基本的統計推論，和John Hopkins University 提供的課程部份重疊，以下列出異同點。

和John Hopkins重疊的課程(括號內列出佔本課程比重)：

• R Programming (5%)
• Exploratory Data Analysis (5%)
• Reproducible Research (5%)
• Statistical Inference (45%)
• Regression Models (40%)

前往資料科學之道 - Developing Data Products

參與Coursera的課程：Developing Data Products些許心得

資料分析的最後一個步驟就是將結果呈現。

呈現的方式很多，包括文字報告、圖像、簡報、互動式網頁、或是R package。由於不同的呈現方式需要不同的技術，例如互動式網頁，會用到java script和html5等語法，R提供了很多套件，讓只會用R的人也可以很快速地做出成果。但是如果本身就會相關的技術，則不需用到這些懶人包。

前往資料科學之道 - Practical Machine Learning

參與Coursera的課程：Practical Machine Learning些許心得：

課程內容

此課程和其他Data Science課程相比，絕大部份都是介紹幾個常見的模型建立法，和相對應的R程式碼為主，幾乎沒有提到數學運算的部份。

Machine Learning 領域廣大，不同的學者提出不同的技術，就有不同的R package。這些package預設使用的方式有時並不一致，所以產生了caret 這個套件。讓我們有一個統一的介面使用這些不同的演算法。本課程主要使用caret建立各種模型。

前往資料科學之道 - Regression Models

參與Coursera的課程：Regression Models些許心得：

課程所涵蓋的概念：

• simple linear regression
• residual variation
• multi variable regression
• variance inflation
• logistic regression 

必需預備的知識：

• R Programming
• Reproducible Research
• Statistical Inference

建議預備的知識：Exploratory Data Analysis

前往資料科學之道 - 統計推論

參與Coursera的課程：Statistical Inference些許心得：

• 統計學基礎，像是：
• Probability and Conditional Probability
• Mean and Variance
• Central Limit Theorem
• Normal Distribution, Poisson Distribution
• Confidence Intervals
• Power
• 使用Swirl對於沒接觸過統計的人是一大幫助。

前往資料科學之道 - 可重製之研究

參與Coursera的課程：Reproducible Research 些許心得：

• 所有對資料進行的步驟都應該紀錄。
• 是紀錄我們對資料的動作，而不是我們認為應該做的動作。
• 一般圖形介面軟體很難達到這種要求，R等以文字描述執行動作的軟體則相對適合。
• 如果文章內容不龐雜，將內容、資料處理步驟、結果放在同一個文件不失為一個好辦法。
• R提供許多套件可以達成，knitr為其中之一。
• 一個例子放在Rpubs.
•  必須預備的知識(沒有的話無法完成作業)：
• 資料科學家的工具盒
• R語言設計
• 建議預備的知識(課堂中極少部份會要求此類知識)
• 探索性資料分析

政府宣傳政績管道逐漸增加

紙本時代(~1960)：印一堆宣傳單、手冊、年日曆等，告訴公民做了什麼事或是即將要做什麼事。

電視媒體時代(約1960~1990)：一堆電視廣告，告訴公民做了什麼事或是即將要做什麼事。

網路宣傳時代(約1990~？)：透過政府網站、臉書等社群渠道告訴公民做了什麼事或是即將要做什麼事。

開放政府(資料)時代(？~？？)：政府把自己相關活動的所有資料透過實體或虛擬方式讓公民自由取用與研究，由公民決定資料呈現的方式，了解政府的成果，並可以在政府執行新政策前即給予回饋。

?是否有可能成為2015？

前往資料科學之道 - 探索性資料分析

參與Coursera的課程：Exploratory Data Analysis些許心得：

• 快速、簡單地用圖形顯示資料，用圖像方式看看有沒有什麼有趣的現象，如果發現有，再進一步處理。
• 要和什麼比較？因為只有比較才能看出差異存在。
• 別讓分析圖形的視角，侷限我們分析事物的視角。
• 資料的屬性(數字、文字、還是日期)會影響R顯示圖形的預設方式
• R至少有3種圖形系統(就以本課涵蓋範圍來說)
• Base
• lattice
• ggplot2
• 在這個環節中，以最快能讓我們看出數據中趨勢的圖形系統為先

前往資料科學之道 - 取得與清理資料

參與Coursera的課程： Getting and Cleaning Data些許心得：

• 一般來說，我們在處理資料的時會經過下列流程：原始的資料 -> 整齊的資料 -> 溝通的資料
• 原始的資料 -> 整齊的資料：由於原始的資料種類繁多，上自MariaDB, JSON, XML等等，下達csv、txt等。必須要先整理格式，才能使用進行分析。
• 整齊的資料 -> 溝通的資料：資料進行分析後，依據使用環境，成為文字、表格、圖像、互動程式等等，將成果散布出去。
• 這應該會是花最多時間的環節。
• dplyr package 在這環節的實用性非常高。在執行這堂課的練習專案時可以明顯地感受到其效果。

前往資料科學之道 - R語言設計

參與Coursera的課程：R Programming些許心得

• 一開始接觸R時，我們應該先把R當成一個互動式的資料分析環境，而不是一種程式語言。(we should think R as an interactive data analysis environment, not a programing language.)
• stackoverflow是找答案，問問題的好地方。
• 使用swirl學習是一個有趣的經驗，在R中直接學習部份課程， 並且回傳學習結果到Coursera網站。建議先使用這個功能，從中學習到的技巧可以應用於該課程的練習專案。
• 這個課程其實可以和資料科學家的工具盒一起服用，因為後者只是安裝軟體。

其他參考資料：

JJ Alaire – Interview by DataScience.LA at useR 2014

大的數據(Big Data)與正確的數據(Right Data)

「總經理的鼻子有多長？」

小全推開門時突然這樣問我。

看了他一眼，我才剛從背後那令人昏昏欲睡的在職講座爬出來，但顯然小全非常興奮今天講座的內容── Big Data，整個人躍躍欲試想要找些問題，用大數據這個新玩意兒來解決看看。

在GNU/Linux中安裝R的套件swirl

先介紹一下swirl是R的套件之一，可以讓使用者在R中學習R。就像一個會跟你互動的文字編輯器。自學R或是參與線上課程都有可能用到。