八克里

因為社群網站，讓以前可能只有少數人得到的驚喜，透過社群的傳播讓大家都可以看到 JJ Lin 和友人在信義區逛街，聽到人在唱他的歌，主動上前與對方合唱《 江南 》後半段。 這個影片把兩個時間軸放在一起，就可知道社群媒體是傳播成功很大的主因，一下子就爆炸開了！！ 紅髮艾德 在拜訪加拿大商場時，聽到有個女生唱他的歌，決定加入那個女生唱的正是紅髮艾德的成名曲之一 「放聲思考」（Thinking out loud） Steven Tyler ,史密斯樂團(Aerosmith) 主唱在莫斯科街頭和街頭藝人合唱他的成名曲之一 I Don't Want To Miss A Thing (我不願錯過這一切) 但是這樣的亂入要有幾個條件， 第一要件是一定要是原唱者 歌聲要能有第一句就能夠吸引聽眾 再來是，街頭上的這個人不能太弱，否則會完全被搶掉 最好在加上個故事，可以讓這個事蹟快速發酵傳播 最後最重要的是，環境不能太糟糕，否則即使是 Steven Tyler 這種等級的，一樣弱掉。 這個也是 Steven Tyler 亂入，但是環境條件不是很好所以效果不是很好。 另外，不要只發在 FB 因為它不容易分享，用 youtube or 其他不限制的影音平台才可以方便的分享。另外，多看幾個影片發現手機等級差很多。有的手機畫面還真棒.....

應該是鐵嘴鴴 http://today.to/tw/bird_detail.aspx?param=uHCzr3v9Y+BKYS85lcDb719dQbICBYB3XxjvRyH6nfyiy2VSuMEe9V9zZSkZcQS73PwCOjzPS6WC8jGyT5LUPQ==-CIMh8RAnNos=  2015.11.13  @九番埤濕地旁

基本資料請參考： 玉山國家公園，基本鳥類資料 http://bynp.ysnp.gov.tw/birdtable.php?birdno=107&nosort=39 鷸鴴科鳥類辨識 http://www.kwbs.org.tw/magazine/data/288/P26-28.pdf?PHPSESSID=4e2310d43c68bd64dea22d4d02995a8d 中華野鳥協會資料 http://www.bird.org.tw/index.php/2011-09-04-15-41-22/2011-09-05-06-58-10/632-4-2-3-16 2015.11.13 at 高雄九番埤濕地公園旁

因為剛剛把 Apache 的 Spark 設定好，順便驗證測試看看效能如何？ 剛好發現 Spark 的 MLLIB 內有內建的 FPGrowth 演算法 ，剛好跟它有點熟所以就用這個演算法加上網路上的資料來測試看看。 先講結論：資料量小，不利於使用巨量資料工具。 關於 fpgrowth 演算法請先參考這篇： http://blog.jangmt.com/2015/10/fpgrowth-algorithm.html 底下紀錄測試的過程，及使用的參數。 測試運算資料來源： http://fimi.ua.ac.be/data/ Frequent Itemset Mining Dataset Repository--- LAB (1) Christian Borgelt 寫的 C 語言程式 FPGrowth 對上 Spark scala fpgrowth 程式 --- # FPGrowth 先把 -m1 同時出現的SET設為1個，支持度 5 ，信任度為 80%(default) # 這個案例花費了 0.09s 運算了 0.01s [hadoop@hnamenode FrequentItemset]$ ./fpgrowth -m1 -s5 T10I4D100K.dat T10I4D100K.out.txt ./fpgrowth - find frequent item sets with the fpgrowth algorithm version 6.7 (2015.08.18)         (c) 2004-2015   Christian Borgelt reading T10I4D100K.dat ... [870 item(s), 100000 transaction(s)] done [0.09s]. filtering, sorting and recoding items ... [10 item(s)] done [0.00s]. sorting and reducing transactions ... [281/100000 transaction(s)] done [0.01s]. writing T10I4D100K.out.txt .....

這篇不是要講很艱深的東西，簡單解釋一下啥事關聯規則。 基本上上面這張購物欄交易資料，透過底下的 apriori 演算法程式，可以找到啤酒和尿布具有很大的相關性，他的支持度高達 50 。 故事請看這裡 。這是個範例，只是說明關聯規則程式可發覺這樣形式的規則關聯樣式。 在網路上有個人  Christian Borgelt 寫了很多程式，其中有 apriori 和 fpgrowth ，基本上這兩個程式做的工作差不多，但是 fpgrowth 有效率多了。 所以今天用這個 fpgrowth 程式來跑跑看數據。 我從： http://fimi.ua.ac.be/data/ Frequent Itemset Mining Dataset Repository 抓了很多資料 http://fimi.ua.ac.be/data/T10I4D100K.dat http://fimi.ua.ac.be/data/T40I10D100K.dat http://fimi.ua.ac.be/data/webdocs.dat.gz 放到我的電腦內，然後去找 Christian Borgelt http://www.borgelt.net/fpgrowth.html  抓了一些程式。 大概長的這樣： [hadoop@hnamenode FrequentItemset]$ ls -la -rwxrwxr-x. 1 hadoop hadoop      486760 Sep  5 05:17 fpgrowth -rw-rw-r--. 1 hadoop hadoop     4022055 Oct 14  2010 T10I4D100K.dat -rw-rw-r--. 1 hadoop hadoop    15478113 Oct 14  2010 T40I10D100K.dat -rw-rw-r--. 1 hadoop hadoop         151 Oct 17 23:15 webdocs.out 有個很簡單的檔案  sample_fpgr...

因為不太清楚 Hadoop HDFS 在傳輸檔案的速度，所以寫了一個小程式來測試 HDFS 上傳檔案的速度。 先講結論 ：hdfs 大概會花3秒的時間做協調的傳輸工作，所以大約 1MB 左右的時間都是 3 秒。傳輸的檔案越大，速度越快。 結果整理如下： 容量      傳輸時間  平均速度(MBytes) 110K 3 36KB/S 1.1MB 3 375KB/S 10.7MB   4 2739.2KB/S --> 2.675MB 107.1MB   9   11.9MB/S 1.0GB   23 44.521MB/S 11GB   216 52.148MB/S 過程及程式測試 shell script [hadoop@hnamenode input]$ cat run_put.sh #!/bin/bash ARGC1='input.txt' ARGC1=$1 if [ "ARGC1" != "" ]; then PROG_START=$(date +%s) hdfs dfs -put ${ARGC1} /public/data/ PROG_END=$(date +%s) PROG_DURING=$(expr $PROG_END - $PROG_START) echo "上傳 ${ARGC1} 檔案到 HDFS:/public/data/ 目錄下" echo "花費時間： ${PROG_DURING} 秒" hdfs dfs -ls -h /public/data/${ARGC1} fi [hadoop@hnamenode input]$ ls -alh total 12G drwxrwxr-x. 2 hadoop hadoop 4.0K Oct 17 13:23 . drwxrwxr-x. 4 hadoop hadoop 4.0K Oct  4 00:26 .. -rw-rw-r--. 1 hadoop hadoop  11G Oct  1 22:33 input100K.txt ...

---- chrony 網路對時服務 ---- NTPd 套件在 CentOS 7 以後，逐漸被棄用了。改成 chrony 套件提供服務 # 安裝 chrony 移除 ntp ，並啟動服務 yum remove -y ntp yum install -y chrony systemctl start chronyd.service systemctl enable chronyd.service # 驗證程序是否工作 [root@hnamenode ~]# systemctl status chronyd.service chronyd.service - NTP client/server    Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled)    Active: active (running) since Sat 2015-10-10 15:57:08 CST; 23h ago  Main PID: 886 (chronyd)    CGroup: /system.slice/chronyd.service            └─886 /usr/sbin/chronyd -u chrony Oct 10 15:57:08 hnamenode.cm.nsysu.edu.tw systemd[1]: Starting NTP client/server... Oct 10 15:57:08 hnamenode.cm.nsysu.edu.tw chronyd[886]: chronyd version 1.29.1 starting Oct 10 15:57:08 hnamenode.cm.nsysu.edu.tw chronyd[886]: Linux kernel major=3 minor=10 patch=0 Oct 10 15:57:08 hnamenode.cm.nsysu.edu.tw chronyd[886]: hz=100 shift_hz=7 freq_scale=1.00000000...