跨領域學習大數據

由於最近入手新筆電，打算將筆電灌成雙系統，本篇是準備 Bootable USB 的過程的紀錄。 目前在舊機器上使用 lubuntu ，因此格式化 USB 將在此系統執行。 1. 格式化 USB 為 FAT32 參考文章： How to Format USB Drive in the Terminal 插入做為開機光碟的 USB ，查詢掛載點：  # df -h  找到插入的 USB 名稱的所在位置，通常是 /dev/sd[a-z][1-9]，像我的是 /dev/sdb1 卸載欲格式化的 USB ： # umount /dev/sdb1 #  df -h (確認是否卸載成功) 格式化 USB 為 FAT32 格式： # sudo mkfs.vfat -n 'Ubuntu_8G_USB' -I /dev/sdb1 mkfs mkfs 用來在裝置上建立 filesystem. vfat 將裝置格式化為 FAT32。 其他格式還有： mkfs.bfs, mkfs.ext2, mkfs.ext3, mkfs.ext4, mkfs.minix, mkfs.msdos, mkfs.vfat, mkfs.xfs, mkfs.xiafs ...等。 -n 設定此裝置的名稱，像我的名稱為 Ubuntu_8G_USB ，是希望之後讀取到這支 USB 時可以清楚知道這是支 8G 的 Ubuntu 系統開機光碟。 -I It is typical for fixed disk devices to be partitioned so by default, you are not permitted to create a filesystem across the entire device. # df -h (確認是否格式化成功) 2. Create a bootable USB on ubuntu 參考文章： Create a bootable USB stick on Ubuntu 使用 UNetbootin 來製作 bootable USB： To install UNetbootin from the Ubuntu PPA, run the commands:

Pinta 是一款近似於 Windows 小畫家的圖片編輯器，本篇希望用 Pinta 編輯 scrot （螢幕快照）的圖片。 安裝方式參考 官網 說明： Install Pinta from Pinta maintainers PPA repository using terminal (for advanced users) 1. 加入 Pinta stable 的 PPA repository： $ sudo add-apt-repository ppa:pinta-maintainers/pinta-stable 註: 如果希望使用最新版本的使用者，可以選用 pinta-daily 取代 pinta-stable，但可能不夠穩定，會有些 bug 。 2. Update system package lists: $ sudo apt-get update 3. Install pinta: $ sudo apt-get install pinta

 高等資料庫 2017 Fall Review：  DBMS： Evolution of DBMS： Punched-Card Record 1914 - 1918 WWI 1929 - 1933 Big Depression ( Bank ) 1939 - 1945 WWII 1950 magnetic tape 1955 Programmed Record Managers ( Batch Processing ) Con： Transaction error 無法即時被偵測 didn't know the current situation. 1965 - 1980 On-line Network Database   Indexed sequential records 建立索引 Data independence 資料獨立性 Physical Logical Concurrent Access 一致性 Con： Programming interface are too low level. 1970 E.F. Codd Outline the Relational Model 1976 Peter Chen E-R Model SQL ...( still adding ... ACID： Atomicity： happen or none happen 全有全無 IDEA : keep a log ( history ) for all actions Consistency Isolation：每一筆 transaction 都是獨立的 Durability：耐久性 Relational Model： Data Model - a language to description data 相關名詞： Relation = Table Attribute / Field = Column Record / Tuple = Row Constraint Type：關聯模型的限制 Domain constraints - for value of each attribute

參考書： Hadoop+Spark大數據巨量分析與機器學習程式開發實戰 作者部落格網址：http://hadoopspark.blogspot.tw/2015/09/8-apache-spark.html#more Scala安裝 Spark支援Scala、Java、Python與R語言，但Spark是以Scala語言開發，因此Scala是目前和Spark最相容的語言。 1. 到 http://www.scala-lang.org/files/archive/ 複製想安裝的版本網址 2. 下載scala-2.11.6.tgz： 　　　　　　　　　　 wget http://www.scala-lang.org/files/archive/scala-2.11.6.tgz 3. 解壓縮Scala： 　　　　　　　 tar xvf scala-2.11.6.tgz 4. 將Scala搬到 /usr/local/scala 目錄： 　　　　　　　　　　　　　　　　 sudo mv scala-2.11.6 /usr/local/scala 5. 設定環境變數： 　　　　　　　　 sudo gedit ~/.bashrc                                  > 會開啟類似記事本的編輯器，輸入下列內容 　　　　　　　　 #SCALA Variables                                  export SCALA_HOME=/usr/local/scala  (設定SCALA_HOME)                                  export PATH=$PATH:$SCALA_HOME/bin  (設定PATH環境變數) 6. 使 環境變數 生效： 　　　　　　　　 source  ~/.bashrc  7. 啟動Scala：　　 scala               進入Scala互動介面： scala> :q (冒號q 離開) SPARK 安裝 1. 到  http://spark.apache.org/downloads.html 選擇想下載的Spark版本，因為Spark會

本篇文章是跟著林大貴老師所寫的『hadoop+spark大數據巨量分析與機器學習整合開發實戰』練習，加上資策會楊楨文老師的Linux課程為基礎。 (參考書傳送門: http://www.books.com.tw/products/0010695285) 1. Virtual Box 下載網址 https://www.virtualbox.org/ (一步步安裝很簡單，不多說) 2. 設定儲存資料夾： 因虛擬主機檔案很大，不建議放C槽(預設)。 檔案 ＞ 喜好設定 ＞ 一般 ＞ 預設機器資料夾：其他 瀏覽資料夾：在D槽建新資料夾 VirtualBox＞ 確定 ＞ 確定 3. 建立虛擬機器： [等同於買硬體設備] 新增 ＞ 建立虛擬機器 - 名稱和作業系統：名稱:Hadoop_Ubuntu1404Desktop / 類型: Linux / 版本: Ubuntu (64 bit) 記憶體大小：依情況調整大小，書上建議4098MB，但我只能設1024MB（綠色範圍） 硬碟：立即建立虛擬硬碟 ＞ 建立 硬碟檔案類型：VDI(VirtualBox磁碟映像) ＞ 下一步  實體硬碟中存放位置：動態配置 ＞ 下一步 檔案位置和大小：檔案會建立在之前設定的儲存資料夾(D:\VirtualBox)內，Hadoop_Ubuntu1404Desktop (資料夾名稱)；檔案大小設定100G (上限值，實際檔案會動態增加到上限為止) ＞ 建立完成！ 到儲存資料夾中會看到有三個新產生的虛擬機器檔案。 4. 設定Ubuntu虛擬光碟檔案： 下載Ubuntu的安裝光碟檔案：http://www.ubuntu-tw.org/modules/tinyd0/ (我下載14.04 LTS Desktop，約1GB) VirtualBox上，選擇剛建立的Hadoop機器 ＞ 點設定值(S) 設定：存放裝置 ＞ 點選 控制器:IDE下方的光碟(圖示):空 ＞ 左側屬性:光碟機最右邊會看到一個光碟圖示 ＞ 點選後找到剛剛下載的iso檔 ＞ 看到"空"字被光碟檔名取代後，案 確定 完成安裝 設定 ＞ 系統 ＞ 開機順序 ＞ 把軟碟取消 設定 ＞ 系統 ＞ 處理器 ＞ 可調整使用的CPU個數 設定 ＞ 顯示 ＞ 視訊記