~.:.': .NET碎碎念:'.':.~

iPhone 4S 預購心得

2011-12-31T15:24:00.001+08:00

每年的 iPhone 預購，已經成為我工作上最重要的大事(就這兩年的經驗來說，也是必定出包的大事Orz)，過程中累積了一些經驗，上週更是有機會請設計/維運另一個知名訂票系統的同事來分享心得，整理如下。

系統架構愈簡單，request 經過的節點愈少，就更好調整相關參數，當發生異常時也比較容易掌握是哪裡出了問題，系統效能也會更好。
當預購開始時，瞬間湧入的超大流量不管準備多少實體設備都不夠應付(畢竟預算&機房空間有限)，因此在request經過的各節點設定限流是必要的手段，包括 Firewall, Switch, AP/DB Server 之間的流量限制。但是最佳的參數為何，需要在相同的系統環境(軟硬體規格)下持續進行調整才能得到。
承上，叢集系統若為異質平台組成，或者硬體規格有明顯差異者，管理起來會很麻煩，最好能針對每一台設備去調整限流的參數，才能得到最大的 throughput。若要降低管理/調校的成本，最好能用相同的硬體規格/平台，否則就要有很強大的軟體架構(網路層/AP層)，能夠自動根據每一台機器去設定相關參數，才能讓每一台設備都發揮最大的效能。
IDP/IPS/Firewall等資安設備的參數調校是很大的學問，在平日沒有承載足夠流量下所做的設定，面對瞬間/持續超高流量時不一定能運作的很好，甚至可能會造成反效果，因為誤判而將正常流量給block掉，處理起來非常頭痛(可能要臨時把相關policy disable，甚至改接網路線將流量bypass這些資安設備)。
減少系統內紀錄的log對於效能會有所幫助(還可以避免因磁碟存取異常造成整個系統效能下降的問題)，但要考量萬一產生客訴，需要調閱資料的時候能否取得足夠的資料，原則上log還是要能免則免，非得要紀錄的話寫到另一個獨立的 DB 效能會比寫到 file system 好。

大概就這樣啦，2012會是忙碌的一年，年中有倫敦奧運，第三季可能就會有 iPhone5 預購啦，希望可以順利度過！

2011年回顧

2011-12-31T10:37:00.001+08:00

又到了一年一度的這個時候了

今年坎尼比較專心在研究所課業上，所以發文量很明顯下降了，看到去年寫的回顧文內容說，要給更多優質內容就不禁汗顏 (汗)

坎尼這一整年有三分之一的日子去參加了某創業比賽，但嚴格說起來應該就只是創業過程體驗比賽，雖然花了不少時間，但仍收獲良好，未來有機會再跟各位分享

接著要分享的是本學期所修的一門課，這門課的內容在談資訊系統怎麼幫助企業達成目標，其實上課的時候坎尼有些感觸：

很多公司在推資訊系統時，只是跟進其他同業，並未想過組織目標為何，所以系統買了或是開發了就放在那邊沒用…
工程師並未全盤了解組織策略為何，這樣開發出來的系統肯定無法符合需求，到頭來就只是在使用者端不斷地來回，修改需求。
(是說為什麼不用 prototype 開發方法?)
不符合工作目標的系統，上線日就等於系統的死亡日
現在出去的大學生/研究生連Code都不會Code了…更別提了解策略並規劃資訊系統。

總覺得老師也是鄉民來著，很酸 XD

今天是今年的最後一天了，也總算在本月看到 Nokia 和 Microsoft 合作的 Lumia 系列手機在台灣上市，希望這是智慧型手機 OS 即將三分天下的預兆!

[SQL SERVER] SQL SERVER 無法使用帳號登入之原因

2011-12-31T10:19:00.001+08:00

坎尼和同學們最近要為論文寫資訊系統
剛好以 SQL Server 2008 R2 當資料庫系統
沒想到同學們沒用過，所以發生了不少設定上問題
所以把初心者在使用 SSMSE 時，無法登入的可能原因整理成一篇

I. 伺服器安全性設定

S 同學照著網路上的範例建立好資料庫
沒想到寫好一個程式之後，怎樣都無法用帳號登入
但用 Windows 整合驗證是正常的

坎尼檢查了一下才發現，S同學忘了修改伺服器驗證屬性
如上圖把伺服器驗證改為SQL Server及Windows驗證模式即可

II. 帳號安全性

C同學已修改過上述屬性，但仍是有帳號無法登入之問題
檢查之後才發現同學在帳號屬性中，選了強制執行密碼逾期
所以寫程式去連接時，會有帳號密碼已逾期之例外發生
~~無奈現在年輕人都不怎麼靜下心來看錯誤訊息寫什麼~~

坎尼修改該帳號登入屬性之後程式就可以跑了，可喜可賀

III. 小結

最近在幫同學們處理這些問題，發現並不是工具不好用
反而是使用者常常會忽略工具所提供的訊息

看到警告視窗→確定
不管內容寫什麼，點同意就對了

不知道是不是現在人接觸太多資訊科技
已經被一些好用的應用程式慣壞了?

但反過來想，程式設計師在設計這些訊息的時候
是不是也該想想使用者會有什麼樣的反應發生呢?

如何將各種不同短網址服務(URL Shortening Services)產生的短網址還原

2011-11-16T22:57:00.001+08:00

最近遇到一個需求，要用程式將大量的短網址還原為原始的完整網址，以便進一步對這些網址作分析，在 .NET 中可以很容易的完成這個功能。

首先要先擬出個大概的流程，也就是利用程式送出 HTTP GET request，然後針對收到的 HTTP response 去解析完整的網址為何。

有了大概的概念之後，大概 Google 一下就會找到這篇 MSDN 參考資料：How to: Send Data Using the WebRequest Class. 從裡面可以知道，WebRequest 和 WebResponse 會是最重要的兩個 class。

重點程式如下：

一：以短網址作為參數，建立一個新的 WebRequest 物件，並設定要使用 HTTP GET:
WebRequest request = WebRequest.Create("http://goo.gl/UjDtF");
request.Method = "GET";

二：若你的環境需要透過 proxy 才可以連外，則加入以下這行:
request.Proxy = WebProxy.GetDefaultProxy();

三：發出 request，並解析收到的 response，原始的網址就是 response 的 ResponseUri.AbsoluteUri:
WebResponse response = request.GetResponse();
string originalURL = response.ResponseUri.AbsoluteUri;

就這麼簡單，完整的範例程式碼請參考RestoreShortURL.zip。

MIS 必備技能：製作光碟映像檔（.iso files）

2011-08-02T14:49:00.000+08:00

前陣子被問到如何在沒有光碟機的 NB 上播放 DVD 光碟（或者是如何安裝軟體），這才發現連唸資訊相關科系的學生也有很多人不懂如何製作光碟映像檔。

除了在沒有光碟機時必須要使用到映像檔以外，使用映像檔也可以避免光碟片因經常使用而損壞，所以現在我拿到如 WebCam 的 driver 之類的光碟片，就會把光碟片做成映像檔，之後都用映像檔安裝/移除軟體，光碟就封存備用了（或者直接拿去回收）。

未來光碟機的使用可能會越來越少，因為影音檔案/軟體安裝檔都可以從網路上取得，online video streaming 也已經到達 HD 高畫質的地步，光碟機這種速度慢又很吵的設備就越來越無用武之地了（大概只會剩下高階的藍光光碟機）。

從 Apple 的產品策略可看出 Apple 認為未來光碟機將會消失，例如：

去年底發表新款 MacBook Air 時就改為提供系統重新安裝專用 USB 隨身碟
前陣子發表的新款 Mac mini 也取消了原本內建的吸入式光碟機（本文也提到 Apple 也是率先取消內建軟碟機的製造商）
最新款的 MacBook Pro 也取消還原光碟
最新版的 Mac OS X Lion 首日下載超過一百萬次，沒有販售實體光碟

至於未來市場發展是否會如 Apple 的定位，大家就拭目以待囉。

其實只要直接 Google「製作映像檔」就可以找到一堆軟體介紹以及圖文並茂的使用說明，例如：

我就不狗尾續貂啦。

我自己是習慣用 ImgBurn + VirtualCloneDrive (因為當初 Win7 在 beta 的時候包括酒精之類的一大堆軟體都無法掛載映像檔，用久就習慣這個組合了)，用了很久都沒啥問題，如果有需要的人可以試試看。

設定 sudo 時要記得禁止一般權限使用者執行 sudo sudo

2011-07-19T15:23:00.000+08:00

在設定一般權限使用者可用 sudo 執行何種指令時，有以下兩種作法 (參考鳥哥的文章)：

白名單：明確列出使用者可以執行哪些指令，如：
Cmnd_Alias USERADM = /bin/more, /bin/cat
```
user     ALL=USERADM
```
使用者只能以 sudo 執行 more 和 cat 指令。
黑名單：明確列出使用者不可執行哪些指令，如：
```
Cmnd_Alias NSU = /bin/su
user     ALL=ALL, !NSU
```
使用者不可以 sudo 執行 su 指令，其他指令都可以。

sudo sudo 問題只會發生在使用黑名單時，因為除了黑名單中所列的指令，其他指令都可以執行，而 OS 中的指令很多，有時候會發生漏擋的現象，而造成意想不到的結果。

上禮拜中無意發現，原本的黑名單中只有禁止 su 和 visudo 等指令，沒有禁止 sudo 指令，因此若執行「sudo passwd root」會出現「Sorry, user xxx is not allowed to execute '/usr/bin/passwd root' as root on server.」的訊息，這跟預料中的一樣，顯示黑名單有正確發揮作用。

但是若執行「sudo sudo passwd root」(因為當時眼殘，沒注意到已經打了一次 sudo，就重複了)，則可以成功變更 root 密碼！因此若要使用黑名單，除了禁止 su、visudo、passwd root、userdel root 等等指令以外，還要記得禁止 sudo 指令，才不會留下漏洞！

由此可知，使用白名單是比較安全的作法，畢竟使用者可以執行哪些指令都清楚的寫在設定檔中，一目了然，就不會有忘記禁止哪些指令的問題了。

Openfind 2011 Solution Day 筆記

2011-07-14T16:31:00.001+08:00

上週四（7/7）去參加 Openfind 2011 Solution Day，活動辦的還不錯。昨天收到行銷寄來的 mail，說是完整的 session 投影片和錄影可以到他們家網站線上觀看，分為影片欣賞和簡報下載。

我覺得最精采的是第二個 session：CEH (白帽駭客) OpenBlue 雲端入侵-郵件攻擊與密碼竊取，在現場講師直接用 VM demo 受害人打開惡意的電子郵件，點了惡意的 URL 或者圖片以後，電腦就被植入後門，此時攻擊者便可為所欲為，包括鍵盤側錄、即時螢幕擷取、web cam 擷取等等。現場看到 demo 真的非常 high 阿！

以下列出一些心得：

由於 GPGPU 愈來愈盛行，加上 CPU 的運算能力仍在持續提高，現在長度在 16 位以下的密碼都不夠安全，很容易被暴力破解。參考：T客邦-iPhone 密碼被公開、GPU 極速破解密碼，教你建立高強度密碼。（看來近期內要趕快研究一下怎樣用 LastPass 或者 KeePass Password Safe 之類的解決方案了，重點是要支援 SmartPhone 阿！在 SmartPhone 上面要輸入複雜密碼實在太困難了。）
社交工程電子郵件攻擊非常難擋，郵件內容看來完全沒有異狀，被植入後門之後電腦也完全不覺的有任何異常，真的是無聲無息。另一點是，印象中 demo 的時候受害的 pc 都是 Win XP，如果可以的話應該盡量避免使用這款全世界最危險的 OS。
web cam 平常關閉是沒用的，一旦被入侵，攻擊者可以直接由遠端下指令啟動 web cam，因此除了把網路線拔掉，從此只用電腦玩單機遊戲這種超激進的作法以外，最好的作法就是 web cam 沒有用的時候要用厚的黑紙貼起來，這樣才不會被偷拍，而且使用 web cam 的時候要衣著整齊。當然如果愛用 web cam 玩一些很刺激的視訊的人就只好自求多福了。家中有女性的人一定要特別注意這一點。
2011-07-15：毛哥在 buzz 的回應提醒我，web cam 應該分為外接式和內建的兩種。外接式的web cam沒有使用就應該拔掉，內建的 web cam 沒用的時候最好要貼起來。
2011-07-15：現在很多駭客會把病毒/木馬放到 Dropbox，因為 Dropbox 不會對用戶上傳的檔案進行掃毒。因此除了 email 中的 MS Office 附件 (e.g., .doc, .ppt, 圖檔) 可能很毒以外，在 Dropbox 上公開 share 出來的檔案也可能很毒。我覺得以後這些檔案最好都用 Google Docs 來打開會比較保險，畢竟每個 tab 都是跑在一個 sandbox 裡面，萬一真的開到有毒、又沒有被防毒軟體偵測到的檔案也比較不會造成系統被感染。

再來是第三個 session：導入零負擔，個資防護及訊息保全大揭密，也不錯。講師講的很流利，對個資法也蠻熟的，等到法令正式頒佈實施以後對於軟體廠商來講會產生很多商機，所有公司都應該及早全面檢視相關的議題，這種東西突然要趕工是做不完也做不好的。

以上是今年參加 Openfind Solution Day 的簡單心得，希望明年有機會再去參加 :D

隨機將雲端/分散式系統中的 processes/services 刪除，以測試系統的容錯能力 - Netflix & Chaos Monkey

2011-04-26T11:50:00.000+08:00

上禮拜四 (4/21) 在 InfoQ 看到一個大新聞：Major Outage on Amazons EC2 US-East Datacenter - Many Sites Affected，災情相當慘重，不少最近以 Amazon 的 IaaS solution 為基礎的新興熱門網站都掛了 (e.g., Foursquare, Quora, Heroku)，最後拖了整整3天才完全修復。

接下來的幾天 Amazon 當然是全力搶修，在週末將服務修復後，網路上陸續出現很多評論 & 分析的文章。昨天早上看到 Phil Wainewright 寫的 Seven lessons to learn from Amazon's outage，其中讓我最 shock 的就是第六點「Understanding the trade-offs help you frame what to ask」中所說，Netflix 內部寫了一個叫做 Chaos Monkey 的 daemon，它的作用就是隨機的將 Netflix 系統中的各個 processes/service 刪除，看看系統的存活能力是否有達到當初的設計！因此在這次的大災難中 Netflix 的系統仍可正常運作，在眾多倒地不起的網站中顯得一枝獨秀！
(原文請參考 ReadWriteWeb: Chaos Monkey: How Netflix Uses Random Failure to Ensure Success)

Chaos Monkey 的運作方式對於資深的前輩們可能不是什麼新的觀念 (e.g., Monkey Lives)，但是對我來說真的是蠻大的衝擊。在傳統的維運架構中，為了要測試系統的容錯能力，不管是 active/backup 的 Web/DB/AP Server、 NIC binding 要測試 failover/failback，redundant power supply，都必須事先擬定演練計畫，詳列所有操作步驟的 SOP (如何製造 failover 的狀態，如何確認是否 failback，若操作失敗要如何 rollback 等等)，所有相關人員從業務單位的 PM、開發單位到維護單位都如臨大敵，演練當天(有時候還必須要挑凌晨的時段)戰戰兢兢的按表操課。也因此這類的測試頂多一季到半年做一次，而且這還是所有元件都 tightly-coupled、所有環境都在完全掌握中的系統，還不是環境無法 100% 完全掌握的分散式系統呢！

相較之下，Chaos Monkey 的作法則是在 Production 系統中常駐一個 daemon (相當於 Windows 中的 Service)，不定時的將系統中的重要 process/services 刪除！例如有個神經病忽然發作登入系統把 Oracle 的 process 通通 kill 掉！

這時候系統應該如何反應？能否在短時間內偵測到 Oracle fail，趕快在其他地方 (e.g., 另一個 Region / Availability Zone 中) 另起爐灶 (e.g., 啟動 backup Oracle server)？在備援機制接手之前，或者此問題無法在短時間內解決時，如何做到 graceful degradation (例如 Netflix 的 recommendation 系統掛了，無法顯示推薦影片，就改為顯示目前最熱門的影片)？這些就是當初建置 Chaos Monkey 這套機制希望可以自動測試的，看看系統反應是否如設計的一樣達到很高的容錯能力。

分散式系統在設計的時候當然會考量到上述的各種情況，系統中的元件會做好適當的切割，設法避免一個元件 fail 以後拖垮整個服務。在高水準的團隊中會採用 Test-Driven Development (TDD) 的方式來開發，透過 Continuous Integration (CI) 來每天驗證系統是否符合設計。但是自動測試有其極限，許多時候更需要透過 mock object 或者 stub 來模擬其他元件的反應，並無法 100% 保證系統實際執行時會符合預期，而 Chaos Monkey 則是直接把 Production 系統中正在運作的元件給砍掉，如此才能在真實環境中真正去驗證系統的容錯能力，並且發掘設計時沒想到的問題。

要讓 Chaos Monkey 這套機制順利運作，除了技術上的挑戰之外，也要整個組織文化的配合，如果這隻猴子剛好挑在半夜的時候發瘋，真的把系統搞掛了，相關的人就沒辦法安穩的睡個好覺了，而且對於營收以及公司商譽的衝擊也是很大的風險，因此若是想要在已經成熟的系統或者傳統的大公司導入這套機制，想必會遇到重重阻礙。Starup 就比較沒有這種包袱，若能在一開始建立系統的時候就建置並執行如 Chaos Monkey 的機制，未來這個系統的體質一定會非常的強健。

最後就 quote Netflix Tech Blog 中的一句話作結吧：

The best way to avoid failure is to fail constantly.

後記：昨天下午又在 Jeff Atwood 的 Coding Horror 看到一篇：Working with the Chaos Monkey (裡面有隻看起來很機車的猴子插圖)，Jeff 提到他在一年多前就在 Netflix 的 Tech Blog 看到關於 Chaos Monkey 的說明 (5 Lessons We've Learned Using AWS)，但後來太忙了就忘記寫心得 XD 在這篇文章的回應中，有人又提到 Monkey Lives 的故事，應該可以說是 automatic monkey teesting 的始祖吧，很值得一讀～

[ASP.NET] 在 Web 專案中進行排程工作

2011-04-01T16:07:00.001+08:00

其實在很久之前坎尼就想研究這樣的東西了
概念大致上曉得，只是一直沒時間去實作出來
這幾天有些時間就去翻了一下資料，把它實作出來

坎尼在以前公司的做法有下列幾個：

另外再寫一個 windows service 來執行

用 Windows Form 寫成 AP，再用內建的工作排程來定期執行

不多說，馬上進入正題

I. 概念

排程這個東西，就是指定好時間，時間一到程式就會自動去執行
在 ASP.NET 裡，坎尼主要是利用 System.Thread.Timer 來進行排程設定
其他說明可詳見Bill叔所寫的 <三種時間人>
接著在 Timer callback 事件中撰寫要系統做的事 ~~(抓正妹圖之類的…)~~

II.實作

首先，新增一個 Web 專案 (似乎是廢話)
在專案中新增一個 Global.asax 檔

接著宣告一個全域的 Timer
並在 Application_Start 中加入要進行 callback 的事件
最後再設定 Timer 的週期，本範例中是以 5 秒當作一個循環 (50000毫秒)
(第3個參數為 Timer 要在多少毫秒之後啟動事件
範例中所做的事就只是把時間寫進一個文字檔
(由於 sample 沒做好處理，很容易當掉 XD

進行測試，在 Visual Studio 中按 F5 (讓虛擬伺服器啟動)

注意，由於是另外開個 Thread
所以在伺服器關掉之前都會持續進行 callback事件

測試結果，果然有成功的在 background 進行寫時間 log 的動作

III. 小結

本次的範例下載
有興趣的人可以回去研究如何應用 :p

[NPOI] 輕鬆地將 GridView 匯出成試算表-修正版

2011-02-11T01:17:00.002+08:00

之前坎尼有發佈一版 Web User Control，讓 GridView 可以輕鬆匯出成 Excel
(詳見 [NPOI] 輕鬆地將 GridView 匯出成試算表)

後來有讀者發信來問：「為什麼他匯出的檔案標題列都是空白?」
經一番追查之後發現，原來是 GridView 啟用了排序 (AllowSorting)
HeaderText 會自動轉換成 LinkButton
以至於原本抓取標題部分的程式碼只抓到空白文字

於是坎尼稍做了一下修改，如下圖紅框所示

可以看到，不論標題是否可排序
新版本的 Web User Control 仍可以抓取標題文字

請有需求的讀者到這邊下載

在自行撰寫的 DNN Module 中使用 & 列印 Microsoft Chart Controls 的注意事項

2011-02-10T09:00:00.073+08:00

前陣子因緣際會的又摸了一下 DNN，根據官網上的 Basic DotNetNuke Module Development Video 教學影片的說明開始自行撰寫模組，並且在模組中用到 Microsoft Chart Controls 來呈現圖表。過程中陸續遇到一些問題，以下是解法。

問題一：error: Invalid temp directory in chart handler configuration [c:\TempImageFiles\]

這個問題挺好解的，因為錯誤訊息很明確，直接 Google 就可以找到解法，重點在於自己新增的 DNN Module 專案（位於 C:\inetpub\wwwroot\dotnetnuke\DesktopModules\[YourModule]）下的 web.config 是找不到 Chart Handler 的設定的，必須要去找最上層的 DNN 站台的 web.config，位置是 C:\inetpub\wwwroot\dotnetnuke\web.config：

找對 web.config 檔案以後，把多餘的「c:\TempImageFiles\」設定刪除，或者指定一個確實存在且有寫入權限的目錄即可。

問題二：無法列印 Chart Control 圖表，列印時會看到表示圖檔不存在的紅色叉叉

經過一番搜尋，最後在 StackOverflow 找到這篇文章，雖然該文作者說在 web.config 的 ChartImageHandler 設定中加上「deleteAfterServcing=false」對他們的專案偶爾也沒作用，但我試著加上這個設定之後，測試到目前為止每次都可以順利的把圖表列印出來！而從這個問題一直到現在都沒人回覆的狀況來看，大概只有極少數狀況在加上此設定以後仍然無法確保100% 正確的執行結果，因此有需要列印 Chart Control 的內容的話，加上這個設定就沒錯啦！（看起來就是叫系統不要把暫存圖檔立刻刪掉）

以上就是最近在 DNN Module 中使用 Microsoft Chart Control 遇到的問題 & 解法，有了這次的經驗，下次開發就可以更順利啦！

IIS 7.5 設定網站的實體路徑執行身分 (Physical Path Credentials) 時，AD 帳密輸入錯誤不會跳出錯誤訊息

2011-02-05T09:00:00.085+08:00

去年底去恆逸上了一堂 SCVMM 的課（Microsoft Official Course 6331A: Deploying and Managing Microsoft System Center Virtual Machine Manager），在實作的過程中一切都很順利，但是在我要打開 SSRS 的報表網站來檢視報表時，卻一直跳出類似「網站無法存取」的錯誤，但是老師和課堂上其他同學的系統都很正常。

接下來就是恐怖的 debug 時間，老師親自過來在我的機器上測試各種設定，從 IIS、SSRS、AD、VMM Admin Console 一路到 SCOM 都查遍了，甚至把 VMM Admin Console 和 SCOM 砍掉重裝，問題還是沒有解決。最後花了將近一個半小時，終於找出問題！原因就是在設定 IIS & SSRS 網站的時候，設定「實體路徑執行身分 (Physical Path Credentials)」時要輸入 AD 的帳密，此時如果帳密輸入錯誤，IIS 是不會跳出錯誤訊息的！！！

「實體路徑執行身分 (Physical Path Credentials)」的位置在哪裡呢？以 IIS 7.5 為例：

在每個網站的 Features View 裡面，右邊的控制面板中間可以看到「Advanced Settings」：

點進去以後，可以看到「Physical Path Credentials」這個設定值：

在接下來的設定畫面中，要把預設的「Application user (pass-through authentication)」改為「Specific user」，並在此處輸入 AD 的帳密：

問題就是出在這一步！！

在這裡雖然 Password 有 confirm 的機制，但是若連續兩次輸入錯誤（暈倒），IIS 就會接受這個錯誤的密碼，而後當網站實際上執行，以這組帳密去驗證時就會失敗，進而產生「網站無法存取」或者「存取被拒」之類的錯誤訊息了！

雖然說密碼連續兩次輸入錯誤還蠻扯的，但是若是跟我一樣習慣盲打的人，有時候用到一支鍵位配置跟平常習慣的鍵位不一樣的鍵盤時，是可能會連續兩次輸入錯的一模一樣的字串的。特別是這個欄位是密碼欄位，在畫面上看不到實際輸入的內容，因此當系統顯然沒有真的嘗試用此組帳密進行驗證，只是單純用 confirm password 的方式驗證時，就會發生這次的狀況了！

在這樣的狀況下，最好的作法就是設定完 AD 帳密以後，馬上試著打開網站看看能否正常運作，如果發現問題的話才有機會回頭檢查設定是否有誤。

後記：

雖然我只有用 IIS 7.5 來驗證，但是既然最新版的 IIS 都會有這問題，那麼舊版應該也是免不了的 ~

[無用小工具] 大樂透對獎程式

2011-02-02T23:06:00.002+08:00

好久沒寫這個系列了
這次剛好台灣彩卷要開出100組的對獎號碼
所以坎尼順手寫了個對獎小程式 (不然100組會對到眼花吧…)

首先是程式下載

以下為使用說明：
解壓之後會有三個檔案

Lottery.exe => 主執行檔
l.xml => 預設的開獎號碼 (可用 notepad 打開修改)
numbers.xml => 對獎號碼範例 (可用 notepad 打開修改)

預設的開獎號碼 (l.xml)

數字用空格分隔，記得特別號要放在最後一碼

主程式畫面

加入對獎號碼有三種方式

手輸 (用空格分隔)
用選的
載入 xml 檔

圖中藍色框框則為對獎按鈕

手輸，記得用空格區隔數字

用選的，選完六個號碼之後按下確定即會把選好的號碼回傳

xml 檔格式，可開啟範例檔以同樣的方式進行修改
一樣是用空格來分隔數字

對獎

確定載入自己的對獎號碼之後，即可進行對獎動作
點下右下方的對獎按鈕，程式就會自動執行對獎
並將結果顯示在號碼後方的狀態欄中 (如下圖)

~~以上為自得其樂的中頭彩示範~~

不過現在台彩網站似乎流量爆了
要得到開獎號碼可能要再等晚一點 XD

如何升級 MacOS X 內建的 vim

2011-02-02T19:00:00.000+08:00

雖然說 MacOS X 內建的 vim 版本已經很新 (v7.2, 2008-08-09)，但有些軟體會利用到最新版 vim 的功能 (v7.3, 2010-08-15)，如T客邦介紹的：vmail (see Prerequisites)，就一定要使用 vim v7.3 才能正確運作，那麼要如何升級 MacOS 中內建的 vim 呢？

我一開始先找到了這個參考資料，直接下載最新版的 vim source code 來自己編譯 & 安裝，雖然步驟看來沒啥特別，但是後來沒有成功。又經過一番搜尋之後，我發現一個更簡單的作法，只要安裝 MacVim (a port of the text editor Vim to MacOS X，之後再開啟 terminal 修改 home 目錄下的 .profile 隱藏檔，加上以下兩行即可：

alias vim=/Applications/MacVim.app/Contents/MacOS/Vim
alias vi=vim

簡單說就是把vim這個指令作為MacVim執行檔的alias就可以了。要確認此 alias 是否生效，要先登出再登入 OS，再於 terminal 執行 vim --version 來確認目前執行的是最新版 (v7.3) 的 vim。

有些資料會寫說在 home 目錄下新增一個原本不存在的 .bash_profile 隱藏檔（跟一般 linux 一樣），而後在 .bash_profile 中加上那兩行就可以，但我測試以後發現 .bash_profile 沒有作用，在 Mac OS 中還是直接修改 home 目錄下原本就已經存在的 .profile 隱藏檔比較正確&有效。

參考資料：

macvim 官網

Joomla 1.6 安裝注意事項 (手動編譯 Apache HTTP Server & PHP on RHEL 5)

2011-01-30T11:26:00.000+08:00

在 2011-01-10 的時候 Joomla 推出了最新的 1.6 版，因此我也灌起來玩了一下，過程中發現由於 RHEL 5.3 (Tikanga) 內建的 PHP (5.1.6) 太老舊了，Joomla 1.6 的需求是 5.2.4 以上，因此必須要升級 PHP，也利用這個機會一併把內建的老舊 Apache HTTP Server (2.2.3) 升級 (最新版：2.2.17)，以下就是升級過程中的注意事項。

安裝的過程基本上很簡單，主要參考 PHP 官網上的 online documentation -> 在 View Online 的地方選 English -> Installation on Unix systems -> Apache 2.x on Unix systems 上的步驟照做即可，重點在於步驟 5「Now, configure and build PHP」，在這個 configure 範例中只有使用最基本的「--with-mysql」來加入 MySQL 的支援，但這樣對 Joomla 的安裝來說是不夠的。

在 Joomla 的安裝過程中，會確認 PHP 有 Zlib compression 支援，否則 Joomla 會無法順利安裝。按照官網上的 configure 方式是不包含 Zlib compression 支援的，必須要在 configure 的 option 裡面加上「--with-zlib」才行，也就是：「./configure --with-apxs2=/usr/local/apache2/bin/apxs --with-mysql --with-zlib」。

那麼萬一像我一樣在 configure & make install PHP 之後，開始安裝 Joomla 時才在 check system requirement 的時候發現 PHP 缺少 Zlib compression 支援的話要怎麼辦呢？沒關係，這時候就要靠上一次執行 configure 時自動產生的 config.nice 檔了，config.nice 檔案會記錄上一次執行 configure 所使用的 options，只要編輯這個檔案，以相同的格式加入「--with-zlib」這個 option，然後執行「./config.nice」，最後再重新 make、make install 來重新安裝 PHP 就可以囉（安裝到相同的目錄，把剛剛安裝的版本蓋掉即可）！

加入「--with-zlib」的 config.nice 內容如下：

以第二次根據 config.nice 產生的 Make file 來執行 make 的時候，只會重新編譯新增的部份，因此速度很快。有了 config.nice 千萬要好好利用，不要傻傻的重新執行 configure，這樣會浪費很多時間阿！

基本上要注意的地方就只有這裡，其他的步驟都按照官網上的範例來做就可以了。Joomla 的安裝也很簡單，基本上就是先檢查執行環境是否符合最低需求，而後把 Joomla 網站複製到指定的目錄，最後產生 configuration.php 的內容就可以運作了。

可惜的是目前 Fabrik 套件的最新版 - 2.0.3 還不支援 Joomla 1.6，一整個就是裝不上去阿，只好過一陣子再測試囉！

另外順便補充IT黑傑克前陣子寫的 Joomla & Drupal 比較文：

[IE8] 應用 Developer Tool 進行網頁內容自動填寫

2011-01-07T21:54:00.002+08:00

又到了學期末，在忙不完的報告海之中
學校的教務系統突然來了一封信，提醒坎尼快去把教學意見調查表填完
填自己喜愛的課沒問題，但同樣的動作要做幾百次可是麻煩至極
~~尤其是沒什麼收獲的課~~
於是坎尼就寫了一段 javascript 讓機器自動填答 Orz

I. 找尋 Pattern

這類型的作業最重要的就是找到可利用的 Pattern
我們來看一下要填寫的 Form

可以看到，要填答的選項很明顯的是用 input radio 組成
打開 IE8 的 DevTool (快速鍵為 F12)

果然沒錯，所以只要取出所有的 radio 物件
再決定要填寫哪個 value 即可

II. 撰寫 script

上面得知了目前狀況，稍微來厘清一下步驟: (以非常同意為例)

取得 radio 物件
找出 value 為 1 的物件
選取

由於要選取物件，這邊坎尼載入擁有有強大選擇器的 jQuery

var script;
script = document.createElement("script");
script.setAttribute('language', 'javascript');
script.setAttribute('type', 'text/javascript');
script.setAttribute('src', 'http://ajax.googleapis.com/ajax/libs/jquery/1.4.2/jquery.min.js');
var head = document.getElementsByTagName('head')[0];
head.appendChild(script);
// 1 非常同意 3 普通 5 非常不同意
$("input:radio[value=1]").attr("checked","checked");

接著打開 DevTool，把 Tab 切換至指令碼
將上述程式碼輸入並執行

很快地，30幾個單選選項都自動填答完成
~~接著只要改幾個自己覺得不滿意的選項即可...~~

III. 小結

其實從這邊就可以看出自動化的威力
簡單的幾行程式就可以把整個 Form 填完

(以下為抱怨)
從上面的 sample 其實能夠得知網路問卷的信度有多差
總覺得研究者該做的不是把問卷發一發等著回收就好
要了解對象的 Deep insight 才是重點
可惜坎尼看到的都是隨意做一做就放進論文的資料來源
這樣的論文真的會對世界有幫助嗎?

如何將外接硬碟格式化給 Mac 做 Time Machine 備份，同時又可繼續在 Windows/Linux 系統中使用

2011-01-07T09:00:00.135+08:00

從去年12月多開始，我開始使用 Mac mini 作為工作機（要遠端連到 Mac Pro / Xserve 的話必須使用 Mac 上特殊的專屬軟體）。這台機器出廠時所附的 OS 是 Mac OS 10.5 Leopard，我用了一陣子以後想要升級到最新版的 10.6 Snow Leopard (10.6.5)，在升級前就順便熟悉一下 Mac 內建的系統備份機制-Time Machine，沒想到在把我的 2.5" 外接硬碟設定為 Time Machine 備份媒體時遇到一些小問題。

在 Time Machine 的設定畫面中可以看到，若該 partition 的檔案系統不支援作為 Time Machine 的備份媒體（也就是非 Mac OS Extended (Journaled) 的檔案系統格式），就會出現「reformat required (incompatible filesystem)」的訊息（如「DATA」那個 partition）：

經過一番摸索，為了使用上的便利性，加上現在外接硬碟容量多半都很大用不完 (500/640G 起跳)，因此我決定把這顆硬碟切成兩個 partition：一個使用 Mac OS Extended (Journaled) 檔案系統（for Time Machine），另一個使用 NTFS 檔案系統（for Windows/Linux），這樣比較不傷腦筋。

（如果把整個磁碟格式化成 Mac OS Extended (Journaled)，不管是 Windows/Linux 都無法寫入；若把整個磁碟格式化成 NTFS，又無法用來作為 Time Machine 的備份磁碟。）

這個工作可以輕易的使用 MacOS 內建的 Disk Utility 完成，首先從 Applications -> Utilities 中執行 Disk Utility，接著右邊的幾個 tab 就是主要的功能，都很簡單易用，切到「Partition」後，因為懶惰的關係我就直接在 Volume Scheme 選了2 Partitions（就是把整個磁碟對切成兩半）：

分別命名以及設定 Format 以後，點選右下角的 Apply 就可以了。

完成後的兩個 partition 格式如下 (在 MacOS 中看到的 partition 資訊)：

Windows 只能讀到 DATA 這個格式為 NTFS 的 partition:

接下來回到 Time Machine 的設定畫面，在 Select Disk 的地方選擇剛剛格式化成 Mac OS Extended (Journaled) 的那個 partition 就可以了：

至於 Mac 不支援 NTFS 寫入的問題，請教過 Mac 老手以後，發現有以下幾個解決方案：

NTFS Mounter：可開啟MacOS內建的NTFS寫入功能(預設僅唯讀)，這是免費軟體，缺點是必須手動掛載。我覺得用起來還蠻簡單的，目前使用上也沒什麼問題。
Paragon NTFS for Mac® OS X 8.0：目前有特價 USD $19.95 (聽說原價是 USD $39.95)，由於目前我還不想花錢買 Mac 的軟體所以沒測試，但既然是商業軟體，應該要有不錯的品質。
用 MacOSX 10.6.5 內建的 exFAT，可參考 http://www.macuknow.com/node/7302。要注意的是 exFAT 要在 MacOSX 10.6.5 才有內建支援，10.5.X 是無法掛載 exFAT partition 的。我自己測試的結果是，雖然在 Windows 7 中對磁碟格式化時可選擇 exFAT 格式，但由 Mac 格式化成 exFAT 的磁碟在 Windows 7 中也無法正確掛載，也就無法讀取磁碟中的檔案了。

根據該老手的說法，Paragon NTFS for Mac 使用起來相當穩定。

以上就是我第一次在 Mac 上設定 Time Machine 備份的心得，希望以後會有更多跟 Mac 有關的文章 :D

jpgraph 如何顯示中文

2011-01-03T21:40:00.000+08:00

前陣子處理 php 繪製圖表的問題，用到 jpgraph 這個有名的繪圖函式庫，一開始用的都很順，但是 jpgraph 預設是無法正確顯示中文的，必須調整一些設定。

Google 「jpgraph 顯示中文」以後，發現前幾篇文章都很有用，我覺得設定步驟寫得最完整而且最正確的是「麥克筆記：JPGraph如何顯示中文」，而「網站製作學習誌：如何讓 JpGraph 顯示中文」的範例也很清楚易懂。

上面兩篇文章都寫的非常清楚，我就不用多說啦，這篇就當作是個小小的筆記吧 :D

參考資料：

回顧2010年

2011-01-01T23:24:00.003+08:00

又過了一年，這個 blog 也已經2歲半了

今年也是發生許許多多的事
像是 Tim 本來要去考研究所，結果卻變成坎尼在念研究所
Tim 反倒是跑去某家園藝公司…

技術方面，.NET 4.0 出了、Silverlight 4 也出了，要學的東西又更多了
Sun Micro 被 Oracle 買下、Microsoft Courier 專案中止
iPad 及各式各樣平板也在年底資訊展吵的火熱

雲端技術百家爭鳴，Amazon Web Service 也可以免費試用

Kinect 在 25 天賣了 250 萬台 (坎尼的同學也貢獻了一台)
支援裸眼3D的N3DS也即將發售

還有許許多多無法塞進此篇文章的資訊
過了這麼豐富的一年，希望大家都有從中得到什麼

今天是 2011/01/01
坎尼除了把書念好之外，或許會開始研究一些比較新的技術
希望未來的365天能夠提供更優質的部落格內容 :)

在 Blogger 官方的分享按鈕中新增「推到噗浪」

2011-01-01T21:27:00.000+08:00

今天在 Inside 網站看到一篇「AddThis：快速建置整合分享按鈕，還送你免費分析」，本來想要試用看看 AddThis 服務，但是發現要先註冊帳號就就放棄了。

Google 了一下「blogger 分享按鈕」，發現官方早在今年年中已經有內建分享按鈕了！有支援 Google Buzz, GMail, Facebook, Twitter 等，但是仔細看一下才發現本部落格的文章並沒有出現這些按鈕，後來找到「Blogger最新推出「New Share Buttons」分享按鈕，超有質感!」這篇文章，根據說明就可以順利的讓分享按鈕顯示出來啦！
（由此可知 Blogger 有些內建的範本對分享按鈕的支援還沒更新，才會導致漏掉 share button 那個 div 的狀況）

接下來的問題是 Blogger 官方內建的分享按鈕中不包括台灣 & 東南亞地區流行的噗浪 (Plurk)，因此經過一番搜尋，又找到「新作法！換樣板也不失效 - Blogger 插入 Plurk 分享按鈕，跟官方按鈕無縫整合，並自訂按鈕順序」這篇文章，我跟作者的習慣一樣，能用官方的東西就盡量用官方的，以避免一些奇怪的小問題 (所以前陣子才會把blogger touch服務換成Blogger內建的行動版網頁服務)。

照著文章中的說明實作之後，現在本格所有的文章最後都會出現分享按鈕啦！如下圖：

以上是2011年第一天的新氣象，今年也要繼續努力阿！

DotNetNuke (DNN) 05.06.00 以 Auto 模式進行安裝之注意事項

2010-12-24T09:00:00.079+08:00

前陣子幫忙安裝了一套 DotNetNuke (DNN)，這個 Open Source 的 CMS 平台在我們大學畢業專題就使用過了（當時是開發了幾個模組，等於是在這個平台上提供新的加值服務），當時版本大概是 2.x 還是 3.x，經過這幾年持續的進步，目前最新版是 05.06.00 了。這個版本可支援以免費的 SQL Server Express 作為 DB，在安裝時稱為「Auto模式」，但是在 Win7 的預設環境下是無法直接以Auto模式進行安裝的，必須要做些調整，以下是設定的步驟。

透過 Microsoft Web Platform Installer (Web PI) 這個超方便的工具將 SQL Server 2008 R2 Express & DNN 等元件安裝好以後，從 Computer -> Manage -> Services and Applications -> Services 裡面可以看到，SQL Server (SQLEXPRESS) 服務預設是以「Network Service」這個系統內建帳戶來執行的：

而啟動 IIS Manager (Start -> Run -> inetmgr 或者 Control Panel -> System and Security -> Administrative Tools -> IIS Manager ) 後可看到，位於 Default Web Site 下的 dotnetnuke Web Application 是在 DefaultAppPool 中執行的：

而 DefaultAppPool 預設是以 ApplicationPoolIdentity 身份來執行的：
因此在 http://localhost/dotnetnuke 這個安裝頁面中就無法選擇以 Auto 模式進行安裝（被判定為系統中不存在 SQL Server Express）：
因此只要把 DefaultAppPool 改為以 Network Service 身份來執行：
並且重新啟動 IIS：
在 http://localhost/dotnetnuke 安裝畫面中就可以使用 Auto 模式來進行安裝：
安裝完成後，DB 的 data file 會位於以下位置：C:\inetpub\wwwroot\dotnetnuke\App_Data, Database.mdf、Database_log.ldf

以上就是一些需要特別注意的地方，只要做完這一步，後續的安裝就非常簡單啦！

AWStats 重新分析特定時段 log 的方法 - 以指令批次修改大量 AWStats 統計資料檔

2010-12-22T19:33:00.000+08:00

在七月中的時候曾經寫過一篇AWStats 重新分析特定時段 log 的方法，當時是第一次遇到 AWStats 報表執行失敗的問題，很不幸的後來又陸續遇到幾次需要重跑 AWStats 報表的需求。原本是參考Neo's Blog - awstats 加入/重新計算分析某時段的方法，老老實實的手動去修改 AWStats 統計資料檔中的「LastLine」、「LastTime」、「LastUpdate」三個參數，但由於我要計算的報表多達 26 個，連續 26 次用 vi 去編輯統計資料檔中的三行資料不但累人，而且很容易出錯！經過一番摸索，終於利用三個指令就把 26 個檔案中的資料一次修改完成！

其實這次用到的技巧跟前陣子分享的[Shell Script] 批次修改使用者的密碼有效期限 - V2差不多，主要是利用 xargs -i 來濃縮大量、只有一個參數不同的指令。這次要用到的指令範例如下：

批次將 26 個 AWStats 統計資料檔的 LastTime 修改為「LastTime 20100630000000」：

find /path/to/awstats/statistic/files -name awstats122010* | xargs -i sed -i '/^LastTime/c LastTime 20100630000000' {}

首先利用 find 指令找出要修改的月份的所有統計資料檔（-name 參數支援 Regular Expression），此例是要找出2010年12月的檔案。因為 find 的結果會是完整的檔案路徑（e.g., /etc/fstab），因此可作為 sed 指令的參數，用以指定要修改的檔案。

下一步是利用 sed -i 指令來編輯檔案，在此也支援 Regular Expression，因此「^LastTime」就是以「LastTime」開頭的那一行文字，這裡的「^」很重要，表示這一行文字的開頭第一個字就是「L」，若去掉「^」，則會一併編輯到「#LastTime」的註解文字。

找到 LastTime 開頭的那行文字以後，「c」表示整行取代，因此「c」後面接的就是我們想要這行變成怎樣的最後內容：「LastTime 20100630000000」（不一定要指定成2010年6月30號，只要日期比今天更早就可以了）。

最後最重要的就是「{}」了，xargs -i 會把 find pipe 過來的完整檔案路徑代入「{}」中（一次代入一個檔案），因此就看 find 指令可以找到多少檔案（以我的例子來說是 26 個），這行指令就可以一次修改多少檔案中的「LastTime」的內容了！

接下來要編輯「LastLine」和「LastUpdate」的內容就很簡單了：

find /var/lib/awstats/ -name awstats122010* | xargs -i sed -i '/^LastLine/c LastLine 20100630000000 0 0 0' {}

find /var/lib/awstats/ -name awstats122010* | xargs -i sed -i '/^LastUpdate/c LastUpdate 20100630000000 0 0 0 0 0' {}

學會 xargs -i 以後真的是太好用了，很快就越用越上手，想忘也忘不掉啦！

[NPOI] Excel 上傳用 User Control

2010-12-18T02:22:00.002+08:00

上篇坎尼寫了 [NPOI] 輕鬆地將 GridView 匯出成試算表
坎尼的朋友就問：那有沒有上傳的?
當然有，要什麼有什麼 :D

I. 實作過程

首先，建立一個 WebUserControl
加入一個 FileUpload、兩個 Button、一個 GridView

FileUpload 及上傳按鈕用來進行檔案上傳的動作
確認按鈕則是給使用者自行定義事件
GridView 用來顯示上傳完成的檔案

建立委派事件

接著建立 User 可以委派的事件：ImportToDB

確認按鈕的 Click 事件則去呼叫 User 的委派事件

建立屬性

建立上傳資料屬性，以利使用者進行後續的資料匯入動作

由於 PostBack 之後不會記住屬性的資料
所以用 ViewState 把資料記住，並在 Page_Load 事件檢查

上傳按鈕事件

第一個紅框為呼叫 NPOI 上傳事件
把 Excel 內容傳到 DataTable 之中並回傳
第二個紅框為將資料存到 ViewState 之中
另外把確認按鈕改成可作用
第三個紅框則是把資料顯示到畫面上

NPOI 匯入事件

這邊的程式碼引用 hunterpo 大所寫的利用 NPOI Library 合併多個 Excel 檔
但要注意的一點是，1.2.3 版本的 NPOI 在以下紅框處需進行轉型的動作

II. 使用方法

建立新的頁面，把 User Control 放到畫面上
另外再加入一個 GridView，用來確認資料是否真的上傳到 server

自行撰寫事件

這邊可以看到坎尼自己定義了新的事件：ImportToDB

動作只是很簡單地判斷 UserControl 的 DataTable 有沒有資料
有的話就把資料繫結到畫面上的 GridView 之中

執行畫面

上傳資料，成功的話 UserControl 會將資料顯示出來
點下確認之後，使用者自行定義的事件會把資料繫結到另一個 GridView
大功告成!!!

III. 小結

本次範例是用 NPOI 1.2.3 寫的 (上一篇是用舊版)
所以還沒用此版本的讀者記得去 codeplex 下載新版本

另外上傳的 Excel 檔案需為 97-2003 的格式
若是用 office 2007 或是 office 2010 的朋友，記得改存為舊格式

此次的範例下載 (含 npoi library)

參考資料：

利用 NPOI Library 合併多個 Excel 檔

[Shell Script] 批次修改使用者的密碼有效期限 - V2

2010-12-13T15:22:00.000+08:00

之前寫過一篇[Shell Script] 批次修改使用者的密碼有效期限 - V1，當時是自己寫了一個有點囉唆的 shell script 來處理這樣的需求，最麻煩的問題是「如何判斷哪些帳號是使用者帳號」，過濾 /etc/passwd 檔案有以下困難：

在 RHEL 系統中，通常使用者帳號的 uid 是從 500 開始，但是在 Solaris 系統中是從 100 開始。
上次寫的：加強過濾 /etc/passwd 檔案時使用的 regular expression，雖然目前實務上接觸到的主機還不至於帳號多到 uid > 600 或者更高，但可以當作一個練習 regular expression 的機會。<--相當麻煩

最近又要去修改使用者密碼的到期日（每三個月就要做一次），因為不想再跑這個很麻煩的 script，因此研究出一個更方便的指令，主要是以 echo -e 搭配 xargs 來完成。

要設定「密碼有效期為90天」以及「密碼到期前30天警告」可使用以下指令：

echo -e "account1\naccount2" | xargs -i chage -M 90 -W 30 {}

echo 加上 -e 參數後會讓兩個帳號間的「\n」換行字元生效（不加 -e 的話 xargs 會收到「account1\naccount2」這個完整的字串），再搭配 xargs -i 的置換效果（{}會被置換成透過 pipeline 接收的字元），上面一行指令相當於下面兩行指令：

chage -M 90 -W 30 account1
chage -M 90 -W 30 account2

這樣的寫法的彈性在於，要 echo 哪些帳號出來完全可以自由控制，不用考慮不同系統中 uid 的起始數字不同，也不用考慮例外狀況。

在我管的系統中每個 OS 中的帳號都類似（大概是5~8個），透過 xargs 可以把 5~8 行指令濃縮成一行執行，非常省事。

接下來的幾個指令就依樣畫葫蘆：

檢查上述指令是否生效：echo -e "account1\naccount2" | xargs -i chage -l {}
設定最後一次變更密碼的日期：echo -e "account1\naccount2" | xargs -i chage -d YYYY-MM-DD {}
在 Unix 系統（e.g., Solaris）上設定密碼90天到期、到期30天前提醒：echo -e "account1\naccount2" | xargs -i passwd -x 90 -w 30 {}（Solaris預設沒有 chage 指令）

xargs 真的是非常好用，下一篇再來介紹怎樣用 find、sed 搭配 xargs 來批次修改 awstats 統計資料檔（純文字檔）的內容。

參考：[2010-03-17] [Shell Script] 批次修改使用者的密碼有效期限 - V1

利用Blogger Touch服務快速建立.NET碎碎唸手機版

2010-12-12T21:20:00.031+08:00

最近偶爾會把iPad測試機帶回家玩，今天熊熊想到之前在電腦玩物看過一篇邀請大家測試電腦玩物手機版，與Feedburner被牆二三事，裡面提到Sopili 軟體邦製作了一個新的網路服務：Blogger Touch，專門幫採用Google Blogger平台的部落格轉換出手機適用的閱讀版面，當時一直沒有認真的去試用。但最近適逢iPad正式開賣，各家廠商的Android Pad也蓄勢待發，所以還是不要偷懶，趕快把手機/平板電腦適用的行動版面作出來吧XD

Blogger Touch的使用非常簡單，首先連到Blogger Touch，點選Mobile Edition Maker的連結，依序輸入Blogger的網址、登入用來建立部落格的Google帳號、選擇一個在Blogger Touch服務上不重複的id、調整Blogger的設定，最後把Blogger Touch的js組件新增到部落格的版面就可以了。

調整前的PC版版面如下：

由Blogger Touch 產生的行動版面如下：

如果有特殊需求，要在手機/平版電腦上閱讀PC版的版面(例如要在iPad上新增一篇新增一篇Bloggerr文章)，只要移到畫面最下方，關閉「Mobile Theme」就可以了：

希望未來用手機/平版電腦閱讀本部落格的讀者能有更好的閱讀體驗^_^

2010-12-18 更新：今天看到電腦玩物的一篇，Google Blogger幫部落格擴增行動版，自動切換手機專用網頁模板，於是又去嘗試了官方提供的行動版網頁，測試以後發現一頁顯示的文章比較少，但是字比較大，顯示速度也更快，所以暫時就先換成官方版的囉 XD

Ps. 本文除了插入圖片外，其餘編輯都在iPad上完成，iPad的中文輸入鍵盤真的是很不錯用啊！

[NPOI] 輕鬆地將 GridView 匯出成試算表

2010-12-11T20:05:00.001+08:00

相信大家都遇過要將資料匯出成 Excel 的問題
這次坎尼用 NPOI 製作匯出用的 WebUserControl
如果以後有相同需求，不介意就直接拿去用吧 :D

I. 實作過程

首先，建立一個 WebUserControl
在畫面上加入按鈕，用來觸發匯出事件
接著建立兩個屬性：TargetGridViewID、SheetName
TargetGridViewID 用來指定要匯出的 GridView
SheetName 則是匯出的試算表名稱
進入按鈕事件，這邊唯一要做的事，就是去找引用頁面的 GridView
找到之後丟給 ExportToFile 這個 method 就沒事了 ~~(十分輕鬆)~~接著到 ExportToFile(GridView gv)
這邊可參考 NPOI 建立試算表的方法，不再多提
要注意的就是抓取 GridView 欄位數時，不用要 Columns.Count
而是改用 HeaderRow.Cell.Count 大功告成，其他部分的 Code 有興趣的話可以到這邊下載

II. 測試

建立一個測試頁面，把剛做好熱騰騰的 WebUserControl 放上去
接著再加入 GridView 及設定其繫結事件
設定 UserControl 的 TargetGridViewID 及 SheetName 屬性執行測試頁面，點下匯出之後即會把資料轉換成試算表
怎樣，是不是很簡單呢?

III. 小結

這次只陽春地做出了匯出功能
使用上也限制了 GridView 不能啟動分頁

如果要加入自定樣式或是分頁也可以匯出的功能
可將 Source Code下載回去自行修改
坎尼有空再來擴充這個 UserControl 的功能 : )

2011/02/11 修改：User Control 已有新版本，請前往連結下載新的檔案

[FireFox] 利用 FireGestures 撰寫 script 呼叫 Readability

2010-12-05T10:22:00.004+08:00

FireFox 瀏覽器擁有許多好用附加元件是眾所皆知
而 FireGestures (滑鼠手勢)便是其中一項

今天就來介紹如何自行撰寫 FireGestures 的 scripts
用來呼叫另一個閱讀用附加元件 - Readability

I. 實作

首先，要先安裝 FireGestures 及 Readability

接著開啟 FireFox 的 Add-on 視窗，選擇 FireGestures –> 選項

進入手勢對應(Mapping)頁籤，選新增腳本手勢(Add Script…)

填入名稱之後，在腳本手勢視窗(Script) 裡寫入底下這行指令

Readability.enableREADABILITY({target: {id: 'readability-statusbar-icon'}});

接著再設定要用的滑鼠手勢指令
在手勢(Gesture)下面的視窗中，按住滑鼠右鍵不放，畫出想要的手勢
指令確定無誤之後就放開右鍵 (手勢指令說明見下列表)

U=Up
D=Down
L=Left
R=Right

舉例來講，坎尼用的是 DUR
滑鼠先按住右鍵不放，往下，往上，再往右，放開右鍵即會呼叫指令

II. 實際執行畫面

先在要執行指令的頁面按住右鍵不放，畫下 DUR
(左下角會有指令的名稱)

放開滑鼠右鍵之後即會執行指令
(原本密密麻麻不是很好讀的文件，瞬間就改成較舒服的閱讀方式)

III. 小結

FireGestures 的 script 其實是 javascript-based
所以一般的 javascript 指令也能寫在 script 中
或許可利用這點，開發出好用的懶人手勢指令 : )

最後補充一點，如果有安裝 NoScript
要執行 Readability 之前要先打開該頁主要 domain 的 script 限制

傳統的架站方式(非雲端運算/虛擬化環境)要如何應付超大量的流量

2010-09-02T08:30:00.051+08:00

前陣子我負責維運的網站由於配合行銷活動的關係，在短時間內湧入超大的流量，而這個系統是用傳統的架構(也就是用多台實體 server 做 load-balance，配合網路的 VIP 設定以 IP-hashing 分流)做的，在應付這種超大流量的時候顯得力不從心，以下紀錄採用如此架構要應付超大流量時，要注意的地方。

流量控管

應該請行銷人員事先通知系統管理人員何時會發行銷簡訊，以便提早設定 web server 的流量限制 (concurrent sessions)，以免瞬間倒台。雖然超出流量限制的 user 無法連線成功，但只要 retry 就可能連的上。這樣的作法可確保 web server 不會倒台，在能力範圍內提供最多的服務。
DB server 倒台時可能要花很長時間才能回復，在這些 downtime 時損失的流量是難以挽回的。
平常應該透過壓力測試，或者流量分析的歷史紀錄來評估每台 Web server 最多可接受多少個concurrent sessions，以便進行上述的流量限制。
Web server concurrent sessions 的設定應慢慢逐步放寬，以免瞬間超過 server 的負荷量而倒台。
要注意 Apache httpd.conf 裡面的「MaxClients」設定值，若設定值過高可能造成 server 無法負荷(甚至造成接 console 也無反應，沒有螢幕，必須重開機)。(預設值為256)

硬體設備

上線前要作 end to end 的測試(包含所有備用機)，備用機的狀態應該調整到只要 VIP 一 enable，就會有流量進來的程度，只是在 VIP 設定中暫時 disable，保持隨時可以上線的狀態。本次準備的一台備用機因 OS 環境與正式環境差太多 (如 Apache 版本、Apache modules 版本等)，最後無法即時在當天 config 完成並上線提供服務。
設備的 RAM 應提早估計是否夠用，臨時要調 server 使用的 RAM 相當困難(e.g., 創見門市不賣 server 使用的 RAM，價錢也蠻貴的)，頂多只能把閒置的 server 停機來支援 (等到活動結束又要安排時間把 server 組態回復原狀，又要再花時間測試、驗證)。
IBM X3650/X3850 M2 的 RAM 無法讓 IBM X3850 使用。

另外補充一點，MySQL DB 瞬間倒台(RAM 被吃光) 以後，除了緊急擴充 RAM 以外，還討論了以下兩種方案：

維持 active/standby：如此當 active server 倒台的時候 backup server 可接手服務，資料也比較不會有不一致的問題。但是現況是 backup server 的 RAM 比 active server 還弱！因此若 active server 倒台，backup server 一定撐不住 (而且會更快倒)，也就無法發揮「接手服務」的功能。
將 Web Server & DB Server 分群：如上所述，當倒台時由於 backup server 實際上無法接手 active server 的服務，因此不如設定 n 台 web server 對應 active DB server，另外 m 台 web server 對應到 backup DB server，在兩台 DB Server 資料隨時雙向同步的狀況下，同時讓兩台 DB server 一起提供服務。有的考量是怕資料會不一致，而且萬一某一台 server 倒掉了就沒人接手了。

最後經過討論，仍決定維持方案1 (active/standby)，幸好到後來 DB 有撐住。以當天的 loading 來看，若 RAM 沒有擴充可能會撐不住，但研判改寫程式才是 DB loading 能降低的主因(動態網頁-->靜態網頁)，也許未來遇到像這次可預期的超大需求的時候可以提早調整程式。

個人的感想是採用方案二可以提供更好的效能，因為發生硬體障礙的機率應該是遠低於把所有的流量都導向 active server 而造成倒台。而且一旦 active server 倒台，服務會完全停擺 (standby server 一接手就會馬上倒)，除非把 web server 的流量限制設定的很嚴格，才能讓 DB 維持運作。

若採用分群，則兩台 DB server 的 loading 都不會太高，倒台的機率就會大大降低，但最重要的前提是兩台 server 間的資料可以完美的同步，最後每一筆資料都要能由 timestamp 來排序。

在 MySQL HA Overview 一文中官方也說明了如何提供 HA 的架構，很值得仔細研究。

其他感想

要擴充實體機器是相當麻煩的，遠比擴充 VM 困難的多，特別是網路設定的部份(設定 IP、VIP 等，不小心還會插錯 switch…而且插錯 switch 挺難查的，可能會造成明明網路有通，但是 apache 接不到 HTTP request 的詭異情況)。
如果活動真的很盛大，瞬間湧入超大的流量，那麼 DB Server 有可能會瞬間倒台，時間推測在幾十秒到一分鐘之間。假設系統架設在 Amazon EC2 上，能不能在這麼短的時間內 clone 一台新的 server 並且立刻上線提供服務？雖然說在虛擬化環境中可在短短數分鐘內就新增一台 server，相較於擴充實體 server 已經是非常快速，但要應付瞬間如此大量的需求可能還是不足，最理想的狀況是能夠在數秒鐘，或者 10 秒內就擴充第一台 server，讓整個 DB cluster 能夠撐下去，之後就比較有餘裕來進一步擴充了。

參考資料

Apache httpd.conf : MaxClients
MySQL HA Overview

如何設定 Becky email client 的 SMTP 驗證

2010-08-31T08:30:00.021+08:00

前陣子遇到一個問題，當以 SMTP 寄信的時候，若沒有設定驗證，有時候會發生信件無法寄出的狀況，因此建議還是要手動設定 SMTP 驗證。

不同的 email client 有不同的設定畫面，而 Becky 的 SMTP 驗證設定步驟如下。

步驟一：進入Becky後，在信箱上點選右鍵，選擇「內容」

步驟二：切換到「雜項」頁籤，勾選「SMTP驗證」，並在下方的「用戶名稱」及「密碼」欄位中輸入mPro的帳號以及密碼。最後按確定即可。

[Outlook 2007] 如何將 Exchange Server 上的信件收到本機資料夾

2010-08-25T08:30:00.071+08:00

以下簡單紀錄之前寫的操作步驟。

步驟一：從控制台進入「郵件」設定

步驟二：選擇目前 Exchange 帳戶所在的設定檔
(若要新增設定檔，請參考：新增 Outlook 電子郵件設定檔)，之後點選「內容(R)」按鈕

步驟三：點選「資料檔」按鈕

步驟四：在「帳戶設定」頁面中，點選「新增(A)...」按鈕

步驟五：在「新的Outlook資料檔」畫面中，使用預設值：Office Outlook 個人資料夾檔案 (.pst)

步驟六：選擇新增的 .pst 檔的儲存位置，並設定檔案名稱

步驟七：在「建立Microsoft個人資料夾」畫面中，設定此資料檔的名稱，此名稱會顯示在Outlook中。

步驟八：在「帳戶設定」畫面中，點選剛剛新增的資料檔，而後再點選上方的「設成預設值(D)」按鈕。

步驟九：此時由跳出的對話視窗中可看出，爾後電子郵件會被收到本機的資料夾，Exchange伺服器上的資料會被清空。

步驟十：啟動 Outlook 2007，此時選擇剛剛修改過的「mPro」設定檔

步驟十一：測試收信，可看到新的信件會被收到剛剛在本機上新增的個人資料夾

步驟十二：在「個人資料夾」上按右鍵，選擇「”個人資料夾”的內容」，可看出此資料夾(.pst)檔是存在本機上。
此外可登入 Exchange Server 確認是否伺服器上面的信件已經清空。

如何批次將Yahoo!信箱中的聯絡人轉到Outlook

2010-08-18T08:30:00.072+08:00

前陣子被客戶問到「如何批次將 Yahoo! 信箱中的聯絡人轉到 Outlook」，趁機把完整的步驟記錄下來，要特別注意的是步驟？和步驟？，其他的操作倒也不複雜。

步驟一：清除目前 iPhone 中的 Exchange 聯絡人資訊
(取消 iPhone 上 Exchange 帳號的聯絡人同步)

在 iPhone 上的「設定」點選「電子郵件/聯絡資訊/行事曆」
選擇 Exchange 信箱 (e.g., xxx@emome.net)，取消同步「聯絡資訊」(點選「聯絡資訊」右邊的按鈕，讓按鈕變成白色，顯示「O」。
在跳出的對話視窗中選擇「從 iPhone 刪除」。

步驟二：將 Yahoo! 信箱中的聯絡人同步到 iPhone 中

開啟 iTunes，點選裝置中的「xxx 的 iPhone」。
切換到「資訊」頁籤，勾選「同步聯絡資訊，與 Yahoo! Address Book」，之後執行 iPhone 同步。
同步完成後 Yahoo! 信箱中的聯絡人就可成功同步到 iPhone 中(存放於「來自我的PC」群組)。(詳細說明請參考：如何將 Yahoo! 奇摩通訊錄與 iPhone 同步)

步驟三：將 iPhone 中的 Yahoo! 聯絡人資料同步到 Outlook 帳號中

確認目前 Outlook 的聯絡人是空的。
將「同步聯絡資訊」改成與「Outlook」，之後執行 iPhone 同步，此時要注意選擇「合併」，以免將 iPhone 中的 Yahoo! 聯絡人資訊清除。
完成後 iPhone 中的 Yahoo! 聯絡人就同步到 Outlook 中了。
接下來稍等幾分鐘，讓 Outlook 將聯絡人資訊同步到 Exchange Server 上。

步驟四：取消 iTunes 中的「同步聯絡資訊」

為了避免爾後同步時在 iPhone 上產生兩份相同的 Exchange 聯絡人資訊，先取消勾選「同步聯絡資訊」，再執行一次 iPhone 同步。此時原本位於「來自我的 PC」群組的聯絡人會被轉移到「我的 iPhone」群組中。

步驟五：把 Exchange Server 上的聯絡人資訊同步到 iPhone 中

在 iPhone 的「設定」->「電子郵件/聯絡資訊/行事曆」中，選擇 Exchange 信箱(e.g., xxx@emome.net)
設定同步「聯絡資訊」(點選「聯絡資訊」右邊的按鈕，讓按鈕變成藍色，顯示「|」。
在跳出的對話視窗中選擇「刪除」，如此會把「我的 iPhone」群組中的聯絡人資訊刪除，僅保留從 Exchange Server 同步下來的資訊 (位於「xxx@emome.net (Exchange)」群組中)，以免產生兩份相同的聯絡人資料。
接下來稍等幾分鐘，讓 iPhone 把 Exchange Server 上的聯絡人資訊同步到手機上即可。若 iPhone 沒有立刻執行同步，請點選主畫面下方的「Mail」應用程式，開啟後就會自動執行同步。

將 Yahoo! 信箱聯絡人匯出成符合 Outlook 格式的 .csv 檔後匯入 Outlook

步驟一：登入 Yahoo! 信箱後，切換到「通訊錄」畫面

步驟二：點選畫面右邊的「工具」->「匯出」

步驟三：點選 Microsoft Outlook 右邊的「立即匯出」按鈕，將 Yahoo! 信箱中所有的聯絡人資料匯出為符合 Outlook 聯絡人資料的 .csv 檔

步驟四：首先要輸入 Yahoo! 自動產生的認證碼

步驟五：認證碼輸入正確後，會自動開始下載 .csv 檔，預設檔名為「yahoo_ab.csv」，請記住將檔案存到哪個位置

以下匯入 Outlook 的步驟可參考：如何批次將 Yahoo! 信箱中的行事曆匯入到 Outlook，有差異的地方包括以下兩點：

選擇目的資料夾時，要選擇「聯絡人」
設定自訂欄位時，要根據聯絡人的各欄位設定對應關係

步驟六：開啟Outlook，選擇「檔案」-->「匯入及匯出」

步驟七：在「匯入及匯出精靈」中，使用預設值：從其他程式或檔案匯入，之後按「下一步」

步驟八：在「匯入檔案」精靈中，向下捲動到最下面，選擇「逗點分隔值 (Windows)」後，按「下一步」

步驟九：在「匯入檔案」精靈中，點選「瀏覽(R)...」按鈕，選擇剛剛存好的 yahoo_ab.csv 檔案，按「下一步」

步驟十：在選取目的資料夾視窗中，選擇「聯絡人」

步驟十一：需勾選「匯入”yahoo_ab.csv”至資料夾：聯絡人」左邊的方塊，而後點選右邊的「對應自訂欄位」按鈕，以設定欄位的對應。

步驟十二：以拖拉的方式，將左邊的英文名稱拖曳到右邊的中文名稱。基本上英文和中文的欄位順序是一致的，只要按照順序拖拉一次即可。

重要：若沒有設定好欄位對應，匯入Outlook後資料會是一片空白：

步驟十三：自訂欄位設定完畢後，點選「完成」按鈕，就會開始匯入。

兩種更好的 AWStats 報表呈現方式 - BetterAWStats ＆ JAWStats

2010-08-16T08:30:00.004+08:00

前陣子在 AWStats 上啟用了內建的日報表 (daily report) 功能，接下來繼續 survey 週報表 (weekly report)，無意間找到另外兩個讓 AWStats 的報表呈現全新風貌的套件：BetterAWStats 和 JAWStats (這兩個套件的 link 可以參考 Wikipedia - AWStats 的 External links，看來也沒有其他提供不同 AWStats Report 格式的 project 了)。

安裝這兩個套件以後，除了可以更輕鬆的閱讀 AWStats 報表以外，這兩個套件也各自提供了一些官方 AWStats 報表無法提供的功能。另一個好處是這兩個套件的作法都是讀取 AWStats 的統計資料後，再以不同的方式呈現報表，因此不會對系統造成額外的負擔。

BetterAWStats

基本資料

官網
Online Demo
Help Forum
安裝 & config.php 修改方式請參考 betterawstats-1.0.zip 解壓縮後的 \betterawstats\docs\install.txt，蠻簡單的

最大的優點：可檢視跨年度的統計資料 (稱為 Monthly history)

AWStats 官方的報表只能看到「某年度所有月份」的統計資料：

因此若有「檢視跨年度資料」的需求，就適合用 BetterAWStats 來呈現。

安裝欲到的問題 & 解法

Call to undefined function: memory_get_peak_usage [Fixed]
[Php] Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to a
llocate 20001 bytes) in /betterawstats/core/data.inc.php on line 331

使用上的問題

繪製網頁的速度挺慢的，也很吃 server 的 memory。我管理的 site 中資料比較大的，甚至會超出 php.ini 中設定的 memory_limit (64 MB) (已經從預設的 16 MB 放大4倍了)。
All(daily) 和 All(monthly) 的表格呈現方式不容易閱讀 (橫向無限延伸)。

JAWStats

基本資料

最大的優點：繪製網頁的速度快，介面看起來很新穎 (Table 欄位都支援排序)，用起來心情比較好

Visitors each Month (月份可跨年)

Visitors each Year (可檢視各年度總計)

Calendar of Visitors this Month (可提供週流量/點擊數統計的功能!! 看右手邊那兩欄就是了)
把流量、點擊數等等放到月曆裡面，很棒的介面。

安裝欲到的問題 & 解法

由於 JAWStats 已經好久沒更新了，因此有人把這個 project fork 出一個叫做 MAWStats 的 project，目標提供更多的報表檢視方式，但是我一直裝不起來，MAWStats 始終無法讀取 AWStats 的統計資料。

使用上的問題

JAWStats 是根據 AWStats 的月報表格式來設計，不支援日報表 (daily report)，不過這點影響不算大，日報表用 AWStats 內建的報表格式即可。
如同作者所說 (Any disadvantages?)，壞處是 mouse click 比以前多，因為每一個分頁都只有顯示以前完整報表的一部分資料。但我覺得這也沒太大問題，反應速度快比較重要。

小結

就這兩個套件來說，安裝 & 設定 & 使用都很簡單，但是 JAWStats 的介面更新穎好用，且反應速度比 BetterAWStats 快很多，功能也更強，因此最後還是推薦 JAWStats 啦！可惜這套件已經超久沒更新了 ... 希望未來更新版的 AWStats 的資料格式都可以維持 backward compatibility，不然就麻煩啦！

(因為 OS、Search Engine、Browser 的版本不斷推陳出新，因此 AWStats 主程式也常常需要跟著升級，不然就無法辨識最新版的軟體了。)

參考資料：

SIKULI 初體驗 -2：進階技巧＆其他感想

2010-08-13T08:30:00.031+08:00

上週日分享了一篇：SIKULI 初體驗 - 利用 SIKULI 每日自動將 50 個 AWStats Report 另存為 mht 檔，這週又花了些時間持續改進。

雖然經過幾次測試，感覺已經沒甚麼問題了，但最後想到這樣的東西要交接其實蠻困難的，因此最後捨棄了這個完整版，另外花了 10 分鐘改出一個精簡版，只有自動去抓 4 個很複雜的綜合報表下來另存，並且用 FileZilla 上傳到 Server 而已。

經過幾天的實作，又更深入的瞭解到 SIKULI 的好處 & 應用上的限制，以下是簡單的紀錄。

進階技巧

SIKULI command line tool

SIKULI 是可以接受 command line 參數的，我遇到的狀況是 SIKULI 執行有時候會失敗，而我要抓的 mht 檔可以分為幾個群組，因此後來我把每個群組包成一個 function，新增一些 command line 參數來對應這些 function，如此就可透過 command line 參數來控制要重跑哪一個 function 了。

SIKULI command line tool 的相關說明可從官網點選 download 之後，在左下的 Others 中點選 Command Line Tool 連結，如下圖：

傳遞 command line 參數給 SIKULI 的範例 (在 cmd 視窗中執行以下指令)：

C:\Program Files\Sikuli\Sikuli-IDE.bat -r "\path\to\your\sikuli project folder\xxx.sikuli" --args yourArgs

SIKULI 從 command line 接受到參數以後，會存在 sys.argv 裡頭 (其實底層就是 Python 啦)，應用方式請參考：Handling command line arguments (sys.argv)。

這次遇到的問題

SIKULI Runtime Exception

有一次在實際執行 SIKULI script 的時候，經過了 30 個迴圈，忽然冒出以下這個 C++ Runtime Error，按下確定以後整個 SIKULI process 就消失了 (IDE 也掛了)，完全不知道為甚麼 ... 但之後執行了很多次都不會遇到這個問題，可見現階段 SIKULI 還是不太穩定。

SIKULI Project Rename 後不會自動刪除舊的 .py 和 .htm 檔

在 SIKULI IDE 中可以選擇「檔案」->「另存為」將 project 取個新名字後另存，但是舊的 .py 和 .htm 檔不會自動刪除，必須手動刪除，有點小小的麻煩。

其他感想：

SIKULI IDE 不支援 ctrl-z，無法很快速的復原上一個操作。
在 Windows 上，明明每次都在全螢幕模式下關閉程式，但 IE 和 Excel 在開關多次以後，有時候會以「非全螢幕」的方式啟動，導致我要另外叫 SIKULI 去視窗上按右鍵後輸入「x」來確保視窗是全螢幕執行，很麻煩。
如果在設定「排定的工作」時選擇將電腦喚醒後執行 SIKULI script，當電腦進入待命/休眠狀態，再被喚醒執行 SIKULI script 時，往往會發生錯誤 (最常見的是無法辨認某張圖片)，即使手動重新執行也可能會持續出錯，再重開機以後就恢復正常，不確定是啥問題。
SIKULI 執行時有時候會造成短暫的 delay (e.g., 0.x 秒)，如此可能會造成某張圖片無法辨識，因為該跳出的對話視窗還來不及跳出來。我的解法是多利用 wait 和 waitVanish，讓 SIKULI 等到預期的對話視窗出現以後再執行動作。
承上，wait 和 waitVanish 的預設 timeout 時間是 3 秒，但以「IE另存新檔」這個對話視窗為例，執行時間要視該網頁的複雜程度而定，有可能要超過 3 秒才能存檔完畢，因此適當的調整 timeout 秒數是很重要的，否則後面的程式一執行可能會讓系統整個亂掉。
程式可攜性 (Portability)：由於 SIKULI 的核心 & 最有魅力的特點是內建電腦視覺引擎，因此「抓圖寫程式」是一大賣點。但是仔細想想就會發現，如果用越多抓圖，就越會被綁在目前的操作環境中，如果把程式移到另一台電腦上，或者把 XP 的佈景主題改掉 (e.g., 藍色 -> 銀色)，那 SIKULI 執行失敗 (無法辨識圖片) 的機率就會越高。

就這點來看，SIKULI 比較適合用在自己的工作環境的自動化，除非企業有用 AD 或者其他可以讓每個使用者桌面都維持一致的管理機制，不然 SIKULI script 要大量佈署是有困難的。(當然也可以盡量用 hotkey (e.g., ctrl-c, ctrl-v 來取代點擊 GUI 環境中的按鈕，但是這樣就不炫了...)

經過這次的實作對 SIKULI 有了初步的認識，雖然目前暫時還沒想到其他的應用，但以後自己手上又多了一個好用的工具啦！

參考資料：

[Linux/Unix] 讓 script 在登出後仍可繼續在背景執行 - at 排程

2010-08-12T08:30:00.030+08:00

在之前的文章中曾經提到，因為改了 cron job 的執行時間，導致 awstats.pl 執行失敗，必須重跑 cron job。由於是在週末發現這個狀況，因此我透過 VPN 連回公司下指令 (sh /path/to/awstats.pl -update ...)，但由於 VPN 有限制幾分鐘內沒有向 server 要求資料就會自動斷線，但 awstats.pl 分析一個網站往往要耗時 15~20 分鐘，且 VPN 連線過程中若登出 server (手動 or 被踢出)，則執行中的 script 就會被中斷了，最後發現利用 at 排程 + 背景執行就可以解決這個問題。

只要輸入 at HH:mm YYYY-MM-DD，按 Enter 後，再輸入「perl /path/to/awstats.pl -update ... &」，按 Enter，最後按 ctrl+d 結束 at 排程的編輯即可。

其中關於 at 排程的設定可參考：鳥哥-僅執行一次的工作排程，至於如何讓 script 於背景執行，請參考：鳥哥-job control的管理。

利用 at 排程設定的工作，即使在執行此排程的帳號登出系統的狀況下仍然可以正確執行，就和利用 cron job 執行排定的工作一樣。

當然要對每個網站都手動輸入一次指令也太麻煩了，最好是把所有的 awstats.pl -update 指令包成一個 .sh 檔案，之後就只要執行那個 .sh 檔就可以啦！

參考資料：

[AWStats] 刪除因 awstats.pl 執行不完全造成的 awstatsMMYYYYDD.mySite.tmp.### 檔案

2010-08-11T08:30:00.009+08:00

在上一篇文章提到，前陣子調整 AWStats 更新統計資料檔的 cron job (其實就是執行 awstats.pl -update) 的時間後，AWStats 統計資料檔都沒有正常更新，除了會產生錯誤訊息以外，還會在存放統計資料檔的資料夾 (config 檔中的 DirData) 中留下檔名為 awstatsMMYYYYDD.mySite.tmp.### (數字可能從 3 位到 5 位) 的暫存檔案。

以我管理的 AWStats Server 為例，由於要分析的網站多達 26 個，因此我有利用 DirData 這個設定值來區分不同網站群組的統計資料檔，除此之外，每個網站群組下還另外細分月報表以及日報表資料夾，造成 xxx.tmp.### 檔案分佈在各種不同深度的目錄中，那麼要如何一次把這些檔案清光呢？

一開始我想要用 ls -lR | grep tmp 指令來找出所有的暫存檔案，這個方法雖然可以把檔案名稱 & 檔案屬性列出來，但由於缺乏檔案的完整路徑，因此無法對檔案進行刪除或者其他的操作。

後來(壞毛病又發作)我參考了 Renaming Files As Lowercase Using Perl 這篇文章，把 rename 的動作改成「rm -f」，由於 Perl 支援 Regular Expression，因此要找出檔名格式為 xxx.tmp.### 的檔案非常容易。

但是在測試 ok 以後我又覺得，如果每次要做類似的事情都要寫個 Perl script，或者把現有的 script 打開來編輯，未免也太麻煩了吧！後來同事提醒我，find 指令的回傳結果就是完整的檔案路徑，在查閱 find 指令的 man page 之後，終於發現只要用以下的一行指令就可以搞定了：

find [AWStats DirData] -name *.tmp.* -delete

由於 -name 這個 switch 本身就支援 Regular Expression，因此用來找檔名中含有 tmp 的檔案相當容易，不放心的話可以先不要加上 -delete 這個 switch，就可以把找到的檔案列在螢幕上逐一確認是否有誤判的情況。

確認把暫存檔案 (xxx.tmp.###) 都找出來以後，加上 -delete 這個 switch，find 就會幫你把找出來的檔案砍掉囉！

找到正確作法 (& find 的正確用法) 以後，感覺真是爽快阿 :D

[AWStats] [解法] Error: Command for pipe 'xxx/logresolvemerge.pl xxx.log failed, Setup may be wrong. 問題

2010-08-09T15:52:00.000+08:00

最近發現 AWStats 更新統計資料檔耗時很久，現在都要拖到早上 8 點多才能完成，因此就調整了執行 AWStats 統計資料檔更新的 cron job，把執行時間往前移，沒想到改好以後連續兩天 AWStats 都沒有正確更新，查看執行結果以後發現如下的 log (這是自己把 awstats.pl 的 output 另存的 log，預設不會儲存)：

Mon Aug 9 01:31:06 CST 2010 Start analyzing [mySite]
==================================================
==================================================
Create/Update database for config "/path/to/awstats.[mySite].conf" by AWStats version 7.0 (build 1.969)
From data in log file "/path/to/logresolvemerge.pl /path/to/logs |"...
Phase 1 : First bypass old records, searching new record...
Searching new records from beginning of log file...
Error: Command for pipe '/path/to/logresolvemerge.pl /path/to/logs2 |' failed
Setup ('/path/to/awstats.[mySite].conf' file, web server or permissions) may be wrong.
Check config file, permissions and AWStats documentation (in 'docs' directory).
Mon Aug 9 01:31:07 CST 2010 Finish analyzing [mySite]
==================================================
==================================================

如果根據 awstats.pl 的 output 去查看 config file 內容、檔案存取權限，或者 AWStats 的文件恐怕也找不出甚麼頭緒，後來我發現每天要分析的 log 檔根本沒有被抓下來，因為我把 cron job 的執行時間移到比 log server 準備好 log 的時間更早了！

接下來就可以很合理的懷疑，是不是「當 log 檔不存在時」awstats.pl 就會產生以上的 output？經過測試 (執行 /path/to/awstats.pl -update -DatabaseBreak=month -config= [mySite] 指令)，果然當 log 檔不存在時，awstats.pl 就會產生以上的 output！

這個錯誤訊息跟 config 檔的內容、檔案存取權限等等是完全沒關係的 ...

[shell script] 驗證 tar 解壓縮的執行結果

2010-08-09T13:08:00.001+08:00

前陣子在用 tar 解壓縮更新程式的時候，發現某個檔案沒有被正確被覆蓋，經過確認，tar 指令的確有用到 -m 參數 (用法參考：這篇)，難道是 tar 這個全世界用了 N 年的工具出了問題？

雖然最後證實那個檔案是因為其他的原因被還原到舊版，但是在那段真相水落石出之前的空窗期我寫了一個短短的 script 來驗證 tar 的執行結果，完整程式碼如下：

#!/bin/bash
#created by Tim, verify the tar unzip operation is successful
#this file should be put in the /tmp directory

#read the log file from the output of "tar -zxvfm XXX.tar.gz > /tmp/tar.log" command

BASEDIR=`pwd`  cd /tmp
files=`cat tar.log`
count=0

for file in $files
do
   #check the last modified date of each file, it should be the same
   ls -l "$BASEDIR/$file" 
   count=`expr $count + 1`
done
echo "count: $count"

#verify files count
#precondition: there should be only 1 .tar.gz file in the /tmp directory
#the number of files in the .tar.gz file
tarCount=`tar -tv -f *.tar.gz | wc -l`   
echo "tarCount: $tarCount"

if [ $count -eq $tarCount ]; then

   echo "file count check OK!"
else
   echo "file count check FAILED!!"
fi

程式很單純，只是先利用 tar 的 -v (verbose) 參數把執行過程中解壓縮的

檔案相對路徑紀錄到 /tmp 下的 tar.log 檔，而後逐一比對 log 檔中的

路徑與目前系統中實際的檔案修改時間是否相同，最後會比較 tar 檔中

所含的檔案數量與 tar.log 檔中紀錄到的檔案數量是否一致。

雖然這程式應該沒啥用 (tar 出問題的機率超低)，但還是擺著備忘一下，

當作 shell script 的範本也好 :p

SIKULI 初體驗 - 利用 SIKULI 每日自動將 50 個 AWStats Report 另存成 mht 檔

2010-08-01T16:39:00.000+08:00

話說今年 1 月底的時候，看到一篇很紅的文章：Sikuli 帶來的意義與無窮的潛力，作者是 vgod，當時有些知名的網站/部落客也寫過感想：

SIKULI 官網首頁有放一個 Demo，內容是自動設定網路：

當時看完以後覺得超炫，但是後來也沒花時間去嘗試看看，直到上週想要作一件事：把 AWStats 每天產生的報表存成靜態網頁 (mht)，才想到用 SIKULI 應該可以很簡單的完成這樣工作！

需求

之所以想要作這件事情，是因為每次瀏覽 AWStats 報表的時候都是連到一個如：http://myAWStatsReportSite/awstats/awstats.pl?&config=mySite 的 url，此時 awstats.pl 這隻程式會讀取事先計算好的統計資料檔，然後即時的繪製月報表。

對於規模很小的網站來說大概沒啥感覺，但是對於每日流量到達 GB 以上等級的網站來說，在每月下旬的時候點選月報表的速度就明顯的慢很多，而若想要把 10 個左右的這類網站的流量合併統計，那麼到了月底的時候，即時繪製月報表最多可以花上超過 20 秒，這是個無法令人接受的速度！

仔細想想，這種報表的資料來源是歷史資料，一旦歷史資料分析完畢以後，往後不管在任何時間點選這張報表，內容應該都是一樣的，因此很適合以靜態網頁來呈現。為了方便檔案管理 & 加速網路傳輸，我決定把檔案另存成 mht 檔，這樣以後看報表的速度就快多啦！

問題是我的 AWStats 分析的網站很多，月報表 + 日報表總共有 50 個，叫我每天、手動一個一個把網址貼到 IE，然後另存成 mht，再 FTP 到 Server 上 ..... 我才不要哩，又不是吃飽沒事幹！這就是 SIKULI 大顯身手的時候啦！(是說就是要把這種瑣碎工作弄成自動化，才可以每天吃飽沒事幹阿 ... Zzz)

SIKULI 初體驗

要使用 SIKULI，首先要去官網下載最新版的 SIKULI IDE:0.10.1 (Java 6 is required)，目前對於 Windows & Mac 的支援較佳，聽說也有人把 SIKULI port 到 Linux 上。我抓的是 Windows 版，在 Win XPP 上安裝非常簡單，一路 Next 到底就好。

Sikuli IDE 打開以後大概長這樣：

版面配置跟很多主流的 IDE 差不多，很容易上手。

接下來就可以動手寫程式啦！在官網的 Documentation 中有 Tutorials & Examples 可以參考，花點時間看過去以後就知道程式大概要怎麼寫了。

基本上程式寫起來很簡單，由於 SIKULI 內建強大的電腦視覺引擎 (computer vision engine)，內建的 function 如 find、findAll、click、paste 等都可以餵入一張圖片作為參數，當 SIKULI 執行 sikuli script 時就會去比對目前螢幕上可視區域中與指定圖片相符合的區域 (region)，並且對該區域執行指定的動作 (e.g., click、paste)。

用文字寫起來太囉唆了，直接跑一個官網上的範例最容易瞭解了： Click all starts in Gmail

將 zip 檔下載解壓縮，用 SIKULI 打開後，再準備好一個 Gmail 視窗：

經過測試，如果用範例內的 find 函式會有問題 (TypeError: 'edu.mit.csail.uid.Match' object is not iterable，看來 find 函式的 return 值是單一的物件，不是如陣列一樣可以作 iteration 的資料結構)，改用 findAll 以後就正常了：

當 SIKULI Script 在執行的時候，會看到一瞬間滑鼠游標依序由上往下把所有未標記成星號的 Gmail 郵件標記成星號，真的是非常有趣！

另外，SIKULI 可以用 click / doubleClick / rightClick 等函式來模擬滑鼠事件，以 type 函式控制鍵盤輸入，因此只要可以用滑鼠 + 鍵盤完成的工作，都可以寫成程式讓 SIKULI 自動執行 (應該有超過 90% 的工作都可以用滑鼠 + 鍵盤完成吧？所以 SIKULI 真的是潛力無窮呢！)。

在以 type控制鍵盤輸入方面，SIKULI 支援 Windows Key, Ctrl, Alt, Tab, Up, Down, F1~F15 等特殊鍵，非常方便，我最常用的有以下幾種：

type("c", KEY_CTRL)：ctrl+c
type("\t", KEY_ALT)：alt + tab
sleep(n)：讓 process 睡 n 秒
var = Env.getClipboard()：把系統剪貼簿中的暫存資料存到變數 var 中
paste("IE開啟舊檔.png", var)：把變數 (URL) 貼到 IE 的「開啟舊檔 (ctrl-o )」視窗中

SIKULI 所支援的特殊鍵請參考官網文件：12. Key Constants 中的 12.1. Key Modifiers 和 12.2. Special Keys 。

由於 Sikuli 是以 Jython 為基礎發展的，而 Jython 是 Python for the Java Platform，因此要查詢基本語法的話可以參考 Jython / Python 的資料。

我這次寫的 script 邏輯如下：

程式利用的技巧就如同上述 4 點，並不困難。

完整的 sikuli source files & excel 檔可在這裡下載：test2.sikuli、excel (可練習把 A8~A10 的網頁也自動抓下來)。

測試情境：

AWStats Static Report test.xlsx 隨便放哪裡都可以，但是要先用 Excel 開過一次，讓檔名出現在最新開啟過的檔案清單 (MRU list)中
要在「我的文件」中建立一個名為「AWStats Static Reports」的資料夾 (不然就要自己重新抓圖，去改程式碼第12行)
script 執行完畢後會回到 SIKULI IDE (執行過程中發生錯誤也會回到 IDE 中)，此時可再檢視「我的文件」->「AWStats Static Reports」中是否有三個 mht 檔。

Sikuli IDE 的優點：

如同[T客邦] 抓圖寫程式，SIKULI 將改變世界一文中所說，Graphical Scripting Language 真的是非常有趣，實際上若打開 Sikuli source files 資料夾中的 ProjectName.py 檔來看就可以知道，在 Sikuli IDE 中看到的圖檔在程式碼中其實是檔名 (如「1.png」)，但是 IDE 在 project 資料夾中找到這個檔以後，就把圖檔讀出來顯示在畫面上，令人覺得很親切，大大增加了程式碼的可讀性和易用性，該行程式要作甚麼真的是一目瞭然。
大大降低寫程式的門檻，讓一般人也有機會自己把平常操作電腦的瑣碎步驟自動化。
SIKULI IDE 的配色看起來很舒服。

Sikuli IDE 目前的小缺點：

在 Win XPP 下，按 Alt + Tab 從 Sikuli IDE 跳到其他視窗，再跳回 Sikuli IDE 後，(有時候)會 focus 在 Sikuli IDE 的「檔案」選單，而非程式碼編輯器中，這點不太方便。
將程式碼從一個 project copy 到另一個 project，或者將 project 另存新檔後，有時候會有問題，例如 function 的左括號「(」看起來不見了 (但是看ProjectName.py 檔會發現還在，如果在 IDE 裡面多加一個「(」反而會讓 script 無法執行)，或者是找不到圖檔 (這時要重新指定圖檔)，會導致執行時的 SyntaxError。

未來目標：

設定 Windows 排程，在上班前把這個 script 跑過一次，等到上班時間就可以直接瀏覽靜態的 mht 報表了
在開啟 IE & Excel 之前，先把用來存放 mht 檔的資料夾清空
50 個 mht 檔都產生完畢以後，自動分門別類的以 FTP 上傳到 Server 中

經過這次的練習，以後如果要處理類似的繁瑣工作 (而且是跨應用程式的)，又多了一個好用而且超酷炫的工具啦！

參考資料：

12. Key Constants

[Excel 技巧] 善用資料剖析來調整資料格式 (以 MS Excel 2007 為例)

2010-08-01T12:59:00.000+08:00

上週要調整以 Joomla 為基礎的資產管理系統中的資料格式，把原本的「保固期間」欄位改成「保固期間(起)」和「保固期間(迄)」兩個欄位，以方便將日期作為搜尋條件來過濾資料。從實際的資料來說，是要把一筆「93.3.26~94.3.25」的資料拆成「2004-03-26」和「2005-03-25」兩筆資料 (配合 Fabrik 套件的 Date 格式，改為 YYYY-MM-DD (ISO格式))，那麼該怎麼做呢？

由於 Joomla 的資料是存在 MySQL 中，本來想說直接在 MySQL 中以 SQL 處理字串格式就好，但是要一口氣把「93.3.26~94.3.25」的資料拆成「2004-03-26」和「2005-03-25」是頗麻煩的，而且我對 MySQL 又不熟，所以最後還是改用 Excel 來完成啦！

用 Excel 的好處是可以先編輯資料，等到所有資料都確認無誤以後再匯入到 MySQL 中。以這次的需求而言，需要先新增「起始年」、「起始月」、「起始日」、「截止年」、「截止月」、「截止日」等，如下：

接下來只要把這些欄位的內容處理好 (例如補零、年份要 +1911、確認格式是否正確等)，之後，再組合成最後所需的 YYYY-MM-DD 格式，然後把新增的 temp 欄位刪除就好啦！

但是一打開 Excel，想要自己動手用內建 function 硬幹的壞毛病又發作了，最後發現雖然可以做的出來，但由於缺少了「split」這個重要的 function，實作起來相當麻煩，公式也會搞的很複雜，以開始年為例，我的公式如下：

( =IF(OR(ISBLANK(A2), EXACT(A2, "N/A")), "", SUBSTITUTE(MID(A2, 1, 3), ".", "")+1911) )

首先要判斷 A2 欄位的值若為空或者 N/A 就不處理，確定有資料以後再用 MID 取出所需的年、月、日等字串。為了要正確取出民國 100 年，還必需要先多取一位 (可能會多取到一個「.」，例如「98.」)，而多取了一位以後又要用 SUBSTITUTE 這個名字落落長的 function 來把多取的「.」給刪除掉，非常的麻煩！

雖然很麻煩，但是最後我還是把各欄位的公式都實作出來了，如下：

Start Year: =IF(OR(ISBLANK(A2), EXACT(A2, "N/A")), "", SUBSTITUTE(MID(A2, 1, 3), ".", "")+1911)
Start Month (TMP): =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",SUBSTITUTE(MID(A2,4,2),".",""))
Start Day (TMP): =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",SUBSTITUTE(MID(A2, FIND(".", A2, 4)+1, 2), "~", ""))
Start Month: =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",REPT(0, 2-LEN(N2))&N2)
Start Day: =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",REPT(0, 2-LEN(O2))&O2)
End Year: =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"", SUBSTITUTE(MID(A2, FIND("~", A2)+1, 3), ".", "")+1911)
End Month (TMP): =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",SUBSTITUTE(MID(A2, FIND("~", A2)+4, 2), ".", ""))
End Day (TMP): =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",SUBSTITUTE(RIGHT(A2, 2), ".", ""))
End Month: =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",REPT(0, 2-LEN(S2))&S2)
End Day: =IF(OR(ISBLANK(A2),EXACT(A2,"N/A")),"",REPT(0, 2-LEN(T2))&T2)

完整的 Excel 範例檔可在這裡下載。

這次學到的技巧主要是「如何補零」，例如「3 -> 03」，作法請參考 Padding out a cell with leading zeros (leading zero 是關鍵字，中文或許可翻為「前導零」？)。

把公式實作出來，並且做完資料格式調整後，總是覺得不太對，Excel 沒有內建 split function 未免也太麻煩了，於是又找了一些資料 (例如這篇：How to Split a Column of Data in MS Excel )，這才發現 Excel 是把「分割字串」這個強大的功能放在「資料」-->「資料剖析」裡面阿！(其實以前好像用過的，但因為少用就忘記它的存在了 Orz)

試用了以後很快的發現，利用這功能只要不到 10 分鐘就可以把上面那一大堆公式要做的事情做完了，而且過程相當的直覺，可以節省非常多的時間阿！

實作的步驟如下：

步驟一：首先選取要分析的資料(A欄)，再點選「資料」-->「資料剖析」

步驟二：在「原始資料類型」中採用預設值：分隔符號(D)，之後按下一步

步驟三：此時先進行第一次分割，把「分隔符號」設定為「~」，以區隔開始日期和截止日期。此時可在下面「預覽分欄結果」視窗中先檢視是否將字串如預期的拆開，在第三行可看出的確有正確將「99.1.2」和「100.1.1」拆開 (免去了用公式要多取一位，之後再用 SUBSTITUTE 把多取的一位刪除的大麻煩)

步驟四：接下來可設定「欄位的資料格式」(此時用預設值「一般」即可)，最重要的是「目標儲存格」，在此例中，以「~」作為分隔符號會將 1 欄拆成 2 欄，因此要選一個可容納兩欄的空間，假如 Excel 中的原始資料長這樣：

那麼就應該要選擇「K欄」($K:$K) 作為目標儲存格：

步驟五：確定目標儲存格已設定為 K 欄後，按一下「完成」按鈕即可

此時資料會正確被分為兩欄：

步驟六：接下來只要按照上述步驟，分別把 K 欄和 L 欄以「.」作為分隔符號再拆出 3 欄 (起始/截止年、月、日)，再用前面提過的小技巧來補零，最後把年、月、日組合成 YYYY-MM-DD 的格式就可以了！這個作法比起直接用公式硬幹真的是太直覺，而且方便太多啦！

希望這篇簡短的紀錄對有須要的人會有幫助，也希望以後自己不要再忘記 Excel 這個簡單好用的工具啦！

[可能解法] Red Hat 4 開機時卡在啟動網路介面

2010-07-13T21:21:00.000+08:00

上禮拜有台 IBM X3850 Server 硬碟掛掉 (跑 Red Hat 4)，必須停機更換，沒想到重開機的時候會卡在「bringing up interface bond0 ...」的地方，造成每次重開機居然要花費將近 20 分鐘 (見鬼了，又不是 mainframe ...=.=)，經過一番努力，終於發現一個可能的問題。

Linux 的網路相關設定檔案的存放位置在 /etc/sysconfig/network-scripts 目錄下，通常會看到 ifcfg-bond0 (bonding 介面)、ifcfg-eth0 (第一張網路卡)、ifcfg-eth1 (第二張網路卡) 等等，結果在這台 Server 上除了 ifcfg-eth0 以外，居然多了一個 ifcfg-etho (英文字母 o)，檔案內容跟 ifcfg-eth0 完全一模一樣！結果我把 ifcfg-etho 檔案給移到另一個目錄下，再重開機後就恢復正常了！

後來為了重現這個問題，我在 Red Hat 5 上面故意用「cp ifcfg-eth0 ifcfg-etho」指令來產生一個多餘的檔案，再重新開機，結果！開機過程非常之順利 Orz 大概不用 5 秒鐘就略過有問題的 ifcfg-etho 設定檔，並且在螢幕上顯示「Usage ...」的警告文字 (用 runlevel 5 開機的話要自己點「詳細資訊...」按鈕才看的到)，很容易猜到問題在哪裡。

於是我開始猜想是不是因為 Red Hat 4 比較**老實**，遇到有問題的設定檔還會一直執意要進行設定，retry N 次以後才會自動放棄？於是我又灌了一個 Red Hat 4 的 VM 來測試 (用 CD 灌的！相當復古！)，結果即使我產生 ifcfg-ethxx、ifcfg-ethx99 等內容和 ifcfg-eth0 相同的亂七八糟設定檔，重開機還是不會卡住呀！Orz

雖然最後沒辦法完美的重現這個問題，但是本來就不應該有 ifcfg-etho 這種設定檔的，總之這種不應該出現的東西砍掉就對啦！

(最後只能猜測，Red Hat 在 Server 上的運作跟在一般的商用 NB / VM 模擬出來的環境還是會有差異，可能在 Server 上會有更嚴謹的程序，例如發現名稱錯誤的設定檔還是要盡力設法完成設定，不能直接忽略等等 ... 但這畢竟還是猜測，手上也沒有 Server 可以灌 Red Hat 4 來當測試機，所以真正的原因還是個謎 ... >"<)

另外補充-1：可惜 Blogger 介面不支援 Consolas 字型，不然要分辨數字0和英文字母o就方便多啦！(話說 Office 2007 好像有內建) Red Hat 開機到 runlevel 5 以後，在 GUI 介面下叫出的 terminal 也不容易分辨數字0和英文字母o，但是在 runlevel 3 下就看得很清楚了。

另外補充-2：如果有設定 NTP 校時，Red Hat 在開機的時候就會試圖跟 time server 溝通，此時若不接上網路線，可能也會因此卡住好幾分鐘。(類似 DNS 設定錯誤，會造成開機使啟動 sendmail 卡住好幾分鐘的狀況)

AWStats 重新分析特定時段 log 的方法

2010-07-12T22:24:00.000+08:00

最近手上維護的 AWStats 網站出了一點問題，連續幾天的分析報表一片空白，因此花點時間研究了如何讓 AWStats 重新分析特定時段 log 的方法。

我主要參考的是：Neo's Blog - awstats 加入/重新計算分析某時段的方法，但是一開始嘗試多次都沒有成功。

最後我發現，若目前系統時間是 2010-07，則存放統計資料的資料夾中會出現 awstats062010.yoursite.txt & awstats072010.yoursite.txt (要知道 AWStats 產出的統計資料檔放在哪個目錄，請參考 AWStats config 檔中的 DirData 參數)，

此時若欲重新分析 2010-06 的資料，必須先把 awstats072010.yoursite.txt 檔案移到 DirData 之外，否則將 Neo's Blog - awstats 加入/重新計算分析某時段的方法一文中所說的第 4 步執行完畢後，雖然可正確看到 AWStats 的 output ( Found XXX new qualified records ... 等等)，但 awstats062010.yoursite.txt 檔案還是不會被更新！

會注意到這個問題，是因為我改完 awstats062010.yoursite.txt 中的 LastLine、LastTime、LastUpdated 的值以後，跑完 awstats.pl 之後只有 awstats072010.yoursite.txt 檔案的最後更新時間有改變，看來 awstats.pl 根本沒有去讀 awstats062010.yoursite.txt 這個檔案！

在第 3 步和第 4 步之間加入「把當月的統計資料檔移出 DirData 目錄」這個動作，並執行完第 4 步的重新分析後，要記得把當月的統計資料檔 (awstats072010.yoursite.txt) 搬回 DirData 目錄，否則當月的統計報表會變成一片空白哦～

同場加映：Hourly, daily, (and yearly?) reporting period support debuts，daily report 的實作蠻簡單的，下一步是思考如何製作 weekly report。

HP-UX 的 ntp client 設定方式

2010-07-05T10:01:00.001+08:00

前陣子測試在 HP-UX 上設定 ntp client 成功了，步驟如下(參考關於HP-UX「ntpq：read：can't assign requested address」問題)：

採用root 身份登入
編輯設定檔netdaemons（# vi /etc/rc.config.d/netdaemons），將 XNTPD 設定為 1
export XNTPD=1
編輯設定檔 ntp.conf （# vi /etc/ntp.conf，要以chmod調整檔案權限），加入下列兩行server 10.xx.xx.xx # Primary Time Server
server 10.yy.yy.yy # Secondary Time Server
啟動 NTP 服務.（# /sbin/init.d/xntpd start）(可下 ps -ef | grep ntp 來驗證 ntp process 是否有在運作)
檢查是否正常運作（約10分後）（# /usr/sbin/ntpq -p）

若有出現 “*” 於某列前，表示 ntp 服務正常運作，否則 ntp 服務即無正常運作。

一開始參考的是 HP 官網的線上說明文件：Chapter 4 Configuring NTP，在 Getting Started with NTP 章節中，要特別注意的是不要設定 /etc/rc.config.d/netdaemons 中的 NTPDATE_SERVER 參數！

NTPDATE_SERVER 參數設下去之後 ntp client 就不work了，執行 ntpq -p 指令會發生以下錯誤：

[myServer]:/etc#ntpq -p
No association ID's returned

參考資料：

[心得] 參加中央氣象局局慶心得

2010-07-05T05:40:00.001+08:00

昨天坎尼和 Tim 中午相約吃完飯，想說來去參加一下氣象局局慶活動
其實兩人是對傳說中的地球展示系統(Science On a Sphere)有興趣!

但到了現場才發現，好多~~蘿利和正太~~小弟弟小妹妹跑來跑去啊~
展示系統又需要排隊，demo 其實已經進行一半了，兩人就跑去亂晃

接著坎尼發現可以在樓下偷偷拍照…

展示系統是以四個方位的投影機，投在圓球體上
控制器則是用 Wii Remote 做成
不過到這邊坎尼心想，都用 Wii Remote 了
怎麼在指出地點的時候，另一手還拿出雷射筆哩…

以展示來講，目前的系統已經 ok 了
有靜態投影片加上互動的感覺
(但所謂的互動，也就僅止於轉轉地球…)

但在應用上，坎尼覺得氣象局可以結合即時訊息
把即時的天氣雲圖、氣溫、雨量、地震等資訊，投到畫面上去
Wii Remote 也可以增加一些點選事件，和即時訊息互動等功能

今天 (7/5) 還有一天的展示，有興趣的朋友可以到氣象局逛逛
以下是熱心網友放在 Youtube 的系統 demo

最後要吐槽一下，坎尼和 Tim 在 B1 排隊排的很累
demo 完要散場才發現，其實可以從1樓直接進去…

~~然後兩個人還在交通部氣象局門口違反交通規則~~

[DOTNET] 利用 System.Globalization 提供的各種曆法類別取得特別的日期

2010-06-24T16:12:00.001+08:00

今天來介紹各種 DotNET 提供的客製化曆法吧

I. 客製化曆法簡介

首先來看一下 System.Globalization namespace
各種曆法類別的命名為 xxxCalendar

比方講 PersianCalendar 為波斯曆
另外還有 TaiwanCalendar、JapaneseCalendar、KoreanCalendar …等

使用方法很簡單，大多是建立 xxxCalendar 類別實體之後
再叫用 .GetYear、.GetMonth、.GetDayOfMonth 方法
以下就用台灣曆和台灣農曆來簡單示範一下用法

II. 實戰

首先，先建立一個要轉換曆法的日期
建立 TaiwanCalendar 類別
由於台灣曆和西元曆的月日相同，這邊只顯示相異的民國年
再建立 TaiwanLunisolarCalendar 來取得農曆的日期
看一下日期的轉換結果

民國年當然可以確定是正確的
但農曆呢? 坎尼找到了這個網站
2010/04/24 在農曆中的確是 3/11，得證!

TaiwanLunisolarCalendar 還可以取得天干和地支
有興趣的讀者可以試試

III. 小結

若是要在自己的系統中顯示各地不同的曆法
建議可以先到 System.Globalization 裡找找
或許會有意外的發現

~~也有提供泰國的佛教曆，給有可能用到的人作參考~~

[ASPNET] 在 FormView 中使用 WebUserControl 可能會導致 Visual Studio 罷工

2010-06-22T09:45:00.001+08:00

標題好長，不過真的有這回事嗎?

起先是坎尼的同學問有沒有碰過類似的問題
坎尼一開始也是很莫名，但發現 Visual Studio 跑他的程式就會掛
經過一陣推敲及實驗之後，總算是發現了肇事的主因

I. 問題描述

首先是怎麼個停擺法呢?

當在 FormView 中放入有問題的 WebUserControl 時
用 DesignMode 進入 FormView 的 EditTemplates 編輯模式
會看到 WebUserControl 不停的閃爍，接著 IDE 就會停擺在那邊

(註：IDE = Integrated Development Environment，本篇指 Visual Studio)

若運氣好，在發生問題之前就將游標移到 FormView 以外的位置
可以用快速鍵 Ctrl + PgUp/PgDn 切換成 Source Mode
運氣不好，大概就要叫 Task Manager 出來結束它的生命

先來看一下問題發生的影片 (請自行放大影片

影片中第一次打開 EditTemplates 時是沒有問題的
所以標題才會用 "可能" 而非 "絕對"

II. 問題解決

就在坎尼看著同學的 Code 百思不得其解時
想說再依樣畫葫蘆自己造一個一樣的 sample 來試試
咦?! 實驗結果很正常!!!

但當把坎尼同學寫的 FormView 內容 Code 直接貼到新建的 FormView 時，它又開始不停閃爍，這難道就是傳說中的鬼打牆?

接著坎尼眉頭一皺，發覺同學的 Code 裡有不對勁的地方
該不會是 WebUserControl ID 是用中文命名的關係吧?

測試結果證明：還真的就是這個原因!!!
但一般的 Controls 用中文命名都沒問題，只有 UserControl 會

原本坎尼以為所有容器型的 Template 編輯模式都會發生此情況
嗯，坎尼又猜錯了，只有 FormView 才會……

目前測試 VS2008 和 VWD2010Express 都有此情形
更之前的 VS2005 坎尼手邊沒有，無法測試
歡迎有心提供測試結果的讀者留言 ^^

III. 小結

這問題一直沒人發現 (坎尼 Google 不到)
大概是大家不怎麼用中文命名，或是沒在用 FormView 吧?
雖然 Visual Studio 為支援 unicode 的 IDE
但使用上除了文字屬性以外，還是盡量以英數字為主吧 :P

第一次錄影片，有點手忙腳亂，還請多多包涵 :D

[Tools] 利用 Web PI 輔助安裝 SSMSE 2008

2010-06-15T14:15:00.002+08:00

首先來個名詞解釋吧

I. 名詞解譯

SSMSE = SQL Server Management Studio Express
也就是 SQL Server 管理工具，相信大家應該都不陌生

Web PI = Microsoft Web Platform Installer
微軟提供的免費 Web Platform 元件安裝工具，目前版本為 2.0
利用此工具可取得目前線上最新版本的安裝程式

II. 問題及解法

坎尼由於之前已先安裝了 SQL Server 2008 Express
由於沒裝 SSMSE，在管理自己機器上資料庫很麻煩

前陣子下載了 SSMSE 2008 來安裝，卻怎樣也找不到安裝的選項
~~用黑暗兵法 7zip 從安裝檔把 SSMSE 抽出來也不能安裝~~

以前在裝 SSMSE 2005 都是無腦 Next 一路裝到好
Search 一下才發現，似乎要裝新的執行個體才行
或是一開始就用 SQL Server 2008 Express With Tools 來安裝

突然看到有人說可以用 Web PI 來安裝
坎尼之前用 Web PI 時並沒有看到 SSMSE 的選項啊奇怪
趕緊來打開 Web PI 來看一下

最可疑的地方就是 Database 了，但它把已經有綠色勾勾了啊
點開自訂，Bingo! 果然是偷偷藏在這種地方啊

勾選之後點下安裝就會開始下載安裝檔
SSMSE 2008 大約是 170MB 左右，請耐心等候
下載完會自動進行安裝，接下來跟著指示做就對了 :D

III. 小結

Microsoft Web Platform Installer 真的是很好用的工具
有興趣的人可以到官網下載使用 :D

iPhone 小技巧 - 移除在台灣無法使用的 iTunes Store 應用程式

2010-06-12T10:20:00.003+08:00

最近要去當 iPhone 訓練課程的助教，於是多花了點時間認真的玩了一下 iPhone，也確認了幾個月前偶然發現的一個小技巧：移除在台灣無法使用的 iTunes Store 應用程式 (參考:[m01]不能上iTunes Store)，以下是操作步驟。

步驟一：在移除 iTunes Store 應用程式之前，iPhone 主畫面大概長這樣

步驟二：進入「設定」畫面，點選「一般」->「取用限制」
(預設是關閉的)

步驟三：在「取用限制」設定畫面中，點選上面的「啟用取用限制」按鈕(這按鈕的名字唸起來好拗口)，在啟用「取用限制」之前，下面的設定都是 disable 的

步驟四：設定一組四位數字的「取用限制密碼」，之後要變更取用限制裡面的設定，或者啟用/取消取用限制，都需要輸入這組密碼

步驟五：重新輸入上個步驟的取用限制密碼

步驟六：把 iTunes 關掉，在這裡可以看出，就算啟用取用限制，預設還是可以使用內建的 Safari、TouTube 等應用程式。如果出於某些很特殊的原因，想要把相機，或者 App Store 也關閉的話，一樣是在這裡設定。設定完畢之後可按左上角的「一般」回到「設定」畫面中的「一般」，或者按 Home 鍵回到主畫面，此時設定已經生效了。

步驟七：移除 iTunes Store 應用程式之後的主畫面。這樣就可以把「聯絡資訊」也拉到這一頁來了，在能夠使用 iOS 4 的資料夾功能之前，利用這個小技巧可以多爭取到一點主畫面的空間。

很可惜 iTunes Store 中的音樂、電影等內容無法在台灣地區上架販售，但是有申請美國 iTunes Store 帳號的話，還是有很多好康的 (申請方式請參考：iPhone App 推薦-1: 如何免費(不用信用卡)申請各國 iTunes Store 帳號)。

希望這個小技巧對大家會有些幫助:D

2010-06-14 補充：早上在 Facebook 的 iPhone App 應用程式看到：
用台灣帳號也可以使用iPhone裡面的iTunes了！

測試了一下的確可以使用，雖然僅限於免費內容，但還是有很多精彩的 Podcast 可以下載，還有很多教學影片，以後要充實自己的各種知識 or 追蹤最新資訊 (e.g., FIFA 2010) or 練習英聽都更方便囉！

在 Windows 7 用 FileZilla Server 架 FTP 站要注意的防火牆設定

2010-06-08T23:18:00.002+08:00

昨天被問到在 Windows 7 上如何用 FileZilla Server 架 FTP 站，其實架站步驟以及軟體安裝之後所需的設定並不複雜，重灌狂人就寫過一篇非常詳細的文章「[免費] 如何用 FileZilla Server 架 FTP 站？」。但是在「四、取得自己電腦的IP位址，讓朋友連線進來」這篇文章中，對於 Windows 防火牆的設定卻沒有多著墨，這裡就紀錄一下 Windows 7 的防火牆設定。
如果你很有空的話，可以看一下這兩個 YouTube 教學影片：

但是兩個影片看完要花將近 20 分鐘，其實在將 FileZilla Server 晚體安裝完畢，並且設定好帳號和 shared folder 之後，在大多數的情況下只要調整好 Windows 防火牆的設定就可以讓 FTP 站正常運作了，以下是設定的步驟：
步驟一：確認 FileZilla Server FTP server 這個 Windows 服務有沒有正常啟動
(在 Windows 7 開始功能表的搜尋框中打「Services」就可以叫出服務管理員)

如果在安裝時把這個服務設定為手動啟動，更要注意這一點，若這個服務沒有啟動，則使用 FileZilla Server Interface 連線到本機 (127.0.0.1) 的時候可能會收到「can't connect to server」之類的錯誤訊息。
步驟二：開啟 Windows 防火牆管理介面
(在 Windows 7 開始功能表的搜尋框中打「Firewall」就找得到防火牆)

步驟三：點選左上角的「Allow a program or feature through Windows firewall」的連結，進入例外程式設定畫面

設定前的畫面如下：

步驟四：將「FileZilla Server」和「FileZilla Server Interface」兩個程式加入到例外清單中

若選單中的項目被反灰，則先點選右上角的「Change settings」按鈕 (必須有 Administrator 權限)
點選下面的「Allow another program…」按鈕，選擇要允許的程式：

FileZilla Server: C:\Program Files (x86)\FileZilla Server\FileZilla server.exe
FileZilla Server Interface: C:\Program Files (x86)\FileZilla Server\FileZilla Server Interface.exe

設定完成後的畫面如下：

接下來只要知道 FileZilla Server 所在電腦的 IP 位置，就可以在任何一台有連網的電腦上用指定的帳號密碼連進 FileZilla FTP Server 啦！
另外補充：如果不想要記 What Is My IP Address 網站的網址，也可以執行 Windows command prompt (Windows鍵+R，執行「cmd」)，而後執行「ipconfig」指令：

如何批次將 Yahoo 信箱中的行事曆匯入到 Outlook

2010-06-06T13:33:00.002+08:00

上週剛好被問到這個問題，原本想說按照Yahoo網站上面的匯入/匯出說明來操作，應該很容易，但是我怎麼也找不到「編輯行事曆...」按鈕在哪裡。之後又找到 Google 日曆的說明：從其他的應用程式移轉活動，看起來很簡單，但是在 Yahoo 信箱的中文介面中，點選右上角的「功能設定」以後，畫面如下：

仔細一看就會發現：根本就沒有「匯入/匯出」功能阿！
這時後有個同事發現了一個絕招：先把 Yahoo 帳戶的慣用語言改成英文，就可以使用匯入/匯出功能了！操作步驟如下：
步驟一：修改 Yahoo 帳戶的慣用語言為英文
進入 Yahoo 網站首頁，點選左下角「我的」類別中的「會員中心」，並以 Yahoo 信箱的帳號密碼登入。

步驟二：設定此 Yahoo 帳戶的慣用語言為英文
在會員中心的「帳戶設定」中，點選「設定語言、網站、時區」

步驟三：將慣用語言設定為「Yahoo! U.S. in English」

在「地區網站和語言」下拉式選單中，通常預設為「Yahoo! 奇摩」，往上捲動即可找到「Yahoo! U.S. in English」。
選擇此設定後，畫面會馬上變成英文，之後再按右下角的「Save」按鈕即可。
確認儲存完畢後，點選左上角的登出按鈕，登出會員中心。

步驟四：進入 Yahoo 信箱的行事曆設定畫面

登入 Yahoo 信箱，此時介面應為英文。
點選左下角的「Applications」中的「Calendar」，進入行事曆畫面。

步驟五：進入行事曆選項畫面
1. 點選右上角的「Options」連結。

步驟六：進入匯入/匯出 (Import/Export) 畫面
1. 點選畫面中間，Management 類別中的「Import/Export」連結

步驟七：將 Yahoo 行事曆資料匯出為 Outlook 格式

點選「Export to Outlook」中的「Export」按鈕
此時會跳出檔案下載對話視窗，按「儲存」，並記住將檔案存到哪個地方
(預設檔名為「Yahoo.csv」)

步驟八：開啟Outlook，選擇「檔案」-->「匯入及匯出」

步驟九：在「匯入及匯出精靈」中，使用預設值：從其他程式或檔案匯入，之後按「下一步」

步驟十：在「匯入檔案」精靈中，向下捲動到最下面，選擇「逗點分隔值(Windows)」後，按「下一步」

步驟十一：在「匯入檔案」精靈中，點選「瀏覽(R)...」按鈕，選擇剛剛存好的Yahoo.csv 檔案，按「下一步」

步驟十二：在選取目的資料夾視窗中，選擇「行事曆」

注意：若沒有正確選擇「行事曆」資料夾，會因為資料格式不符而無法正確匯入行事曆資料！
步驟十三：需勾選「匯入”Yahoo.csv”至資料夾：行事曆」左邊的方塊，而後點選右邊的「對應自訂欄位」按鈕，以設定欄位的對應

步驟十四：以拖拉的方式，將左邊的英文名稱拖曳到右邊的中文名稱
(這個步驟最重要，沒有設定好欄位名稱對應的話，資料就無法正確匯入!)

設定 Description 欄位的對應時，右邊的欄位清單要往下拉到「描述」欄位：

步驟十五：自訂欄位設定完畢後，點選「完成」按鈕，就會開始匯入行事曆資料。

如此就可以批次將 Yahoo 信箱中的行事曆資料匯入到 Outlook 啦！(也可以另外把匯出的 .csv 檔做備份)
整個操作過程中最關鍵的步驟是：

要把 Yahoo 帳戶的慣用語言改為英文，才有「Import/Export」功能可用
在 Outlook 的匯入檔案精靈中，要確實設定「自訂欄位對應」，才能正確匯入資料

希望這篇文章對有須要的朋友會有幫助 :D

[ASPNET] 客製化傳入 DataSource 控制項的參數

2010-06-04T00:15:00.001+08:00

坎尼最近玩了一下許久未用的 DataSource 控制項
對於傳入的 Parameter 有些疑問 (見下圖)
如果是用精靈視窗，Control 會自動帶入預設的 Property
若是想要用其他的屬性來當作參數值該怎麼辦呢?

I. 取得資料來源

這邊坎尼用到了前幾天講的技巧，建立了一個暫存表並回傳查詢值

另外還用了 SQL Server 2008 才有的 Mutli-Insert 語法：
在 Values 後面，以「,」隔開要建立的值

最後再回傳符合條件的查詢結果
可以看到範例中是用 Like，所以要記得加 %

II. 實戰

在畫面上放一個 DropDownList，當作查詢條件的傳入值
另外再放一個 GridView 來呈現資料
建立一個 ObjectDataSource
並用精靈選擇 DropDownList 當作參數值來源
預設是用 .SelectedValue 屬性當作傳入值
但以上面 DropDownList 目前的設定來看，會查不到任何資料

所以坎尼偷偷的切換到 Source 視窗
靜悄悄地把 SelectedValue 改成 SelectedItem.Text

按下瀏覽來查看一下成果

狸貓換太子成功!!! 收工!

III. 小結

了解可以自定要傳入的屬性當參數後
DataSource 控制項在使用上也能更有彈性 :)

[ADO.NET] 善用 SqlDataAdapter 執行大量指令並傳回查詢資料

2010-06-01T23:15:00.001+08:00

今天來介紹一下好用的 DataAdapter

I. 前言

很久很久以前，坎尼常遇到一個問題
「新增完一筆資料之後，要回傳該資料的ID」

如果 ID 是自己取 Max + 1 就還能控制
但要是遇到是用 sequence 方式建立的流水號
往往還要拆成兩段語法，建立完資料之後再取出

其實大可不必那麼麻煩，可以將 SQL Statement 串接在一起
(記得用 ; 隔開不同的指令)
再用 SqlCommand 或 SqlDataAdapter 執行即可

II. 實戰

下圖綠色框部分，用 Sql Server 提供的 Temp Tables 語法
分別建立了兩個臨時資料表，並各加入兩筆資料
再用 SELECT 語法將兩個資料表 JOIN 的結果回傳
既然 Create 和 Insert 語法都在 SelectCommand 裡
參數當然也是要加進 SelectCommand 裡 (見上圖藍色框)
~~記得不要放到 UpdateCommand 或 InsertCommand 去~~

實際執行情況：確實建立了 Table 並取得 JOIN 成功的資料

另外坎尼又做了小小的測驗，驗證一下臨時資料表有沒有被砍掉

事實證明，在上一次 .Fill 結束之後，暫存資料表是會自動清掉
而 Temp Table 的定義是：只存在該使用者連線時

這表示 DataAdapter 在 .Fill 之後就會自動把連線關閉
下一次的 .Fill 其實是另外再重新開啟另一個連線

III. 小結

坎尼以前常看到有人用 DataAdapter
卻在執行前後加上 Connection.Open() 及 Connection.Close()
其實這些動作都是不必要的

DataAdapter 在執行時，都會檢查目前和 DB 的連線
執行結束後即會自動關閉與 DB 的連線

希望這些觀念對讀者們有幫助 :)

[ASPNET] 在 Gridview 中繫結 bool 欄位

2010-05-31T12:05:00.004+08:00

一般來說，在 Gridview 中要繫結 bool 的欄位
可以用 Gridview 原生自身提供的 CheckBoxField (如下圖)
但如果要讓 CheckBox 和使用者互動，多半會用 TemplateField 來客製
本篇即是介紹如何將 bool 欄位繫結到 CheckBox 控制項的 Checked 屬性

I. 準備事項

首先要確定資料欄位的型別需為 boolean
否則在繫結 Checked 屬性時，會丟出格式不符的例外
範例中是用自己建立的虛擬 Table 來模擬 DataBase 的資料
各位在實作時，可直接使用 DB 來練習

另外在圖中可以看到，坎尼用 0 和 1 來輸入 boolean 資料
CSharp 裡的確可以接受這樣的語法 (印象中 VB 也是?)

II. 實作

CheckBoxField 繫結 boolean 欄位，只需給予 DataField 即可

但以 TemplateField 加入的 CheckBox 控制項，則是要自行加入 Binding 語法：
Checked='<%#Eval("boolean 欄位")%>'
執行畫面

可以再加上全選的 CheckBox 在標題列，及儲存變更的按鈕
就完成可和使用者互動的 CheckBox 欄位

III. 小結

坎尼好久沒動筆，文句都有些生疏，請多見諒 ^^

如何善用 Word & Notepad++ 巨集來完成需重複執行的檔案編寫動作

2010-05-24T17:40:00.004+08:00

上個週末打開一個影片檔，發現字幕檔是中英文混合的，造成字幕吃掉畫面很大的空間，
打開字幕檔一看，果然每一段時間都有先英文後中文的字幕：

因此我想要自己作成「只有中文」＆「只有英文」兩個字幕檔，但這個檔案有6418 行，如果要手動一行一行的刪除 (而且要作兩次，第一次先刪除全部的中文，第二次刪除全部的英文)，顯然會作到瘋掉，經過一些嘗試，我發現有以下幾個辦法可以讓現成的軟體幫我完成這個工作：

Word 2007 (其他版本應該也可以) 的巨集
Notepad ++ 的巨集

以下分別說明。
如何使用 Word 2007 的巨集
1.點選 Word 左上角的 Office Logo，進入「Word 選項」：

2.在「常用」類別中，勾選「在功能區顯示 [開發人員] 索引標籤」

3.打開影片的字幕檔 (.srt)，記得在「檔案類型」選擇「所有檔案 (*.*)」

4.打開檔案後，先把游標移到我要刪除的第一行，然後先把這行刪除掉

5.接下來，點選「開發人員」索引標籤，再點選「錄製巨集」

6.接下來就是巨集的內容，也就是你要重複不斷執行的一系列動作，我的動作是：

把游標往下移 5 行
按住 shift + end 選取整行(此時會包含換行符號)
(shift 鍵不要放開)按「左方向鍵」，以取消選取換行符號
按 Delete 刪除該行

7.做完以上動作後，點選「開發人員」索引標籤中的「停止錄製」按鈕，這樣巨集就大功告成啦！

8.點選「開發人員」索引標籤中的「Visual Basic」，此時會開啟 Microsoft Visual Basic IDE
9.此時可看到剛剛錄製的巨集，接下來可用以下兩種方法來執行整份文件的取代

把巨集內容改寫為一個無窮迴圈：適用於整份文件的排版、格式都固定，確定重複執行不會出錯時
把 Word 主視窗和 Microsoft Visual Basic 視窗並列顯示，手動重複點選綠色三角形按鈕，以手動執行一次游標所在的 Sub：適用於不確定整份文件的排版、格式是否都一致，或者想要一一確認欲執行的修改時

上述的步驟 6 中所執行的一系列動作，若是利用 Word 內建的「按 F4 重新執行剛剛執行的動作」是沒有用的 (只會重複幫你執行「按 Delete」這個動作)，必須要以錄製巨集的方式，告訴 word 你要重複執行的動作究竟是哪些。(也可以把欲重複執行的動作設定為「先刪除游標所在的該行，再把游標往下移 5 行」)

如何使用 Notepad ++ 的巨集

利用 Word 麻煩的地方在於：

Word 是要版權的 (而且 Word 比較吃資源，啟動時間也比較慢)
在 Word 裡面按「shift + end」會選取到換行符號，不小心會多刪除掉一行，不利於一系列的動作重複執行

有個更好的替代方案是使用有名的開源碼編輯器：Notepad++ (還有 Notepad ++ Portable 可以選擇)。Notepad++ 一樣有句集 (macro) 功能，接下來就看看如何使用吧！
1.打開字幕檔 (.srt)
2.打開檔案後，先把游標移到我要刪除的第一行，然後先把這行刪除掉
3.從「Macro」選單執行「Start Recording」功能，接下來的動作跟在 Word 中錄製巨集一模一樣，差別在於，以「shift+end」選取整行後，不會選取到換行符號！所以就不用作「(shift 鍵不要放開)按「左方向鍵」，以取消選取換行符號」這麼麻煩的事情了。

或者按紅色的錄音按鈕開始錄製巨集：

4.錄製完畢後，點選「Macro」選單的「Stop Recording」功能，以停止錄製巨集：

或者按黑色的按鈕以停止錄製巨集：

5.從「Macro」選單中可以看到，「Playback」(也就是播放巨集)的快捷鍵是「Ctrl+Shift+P」，因此接下來只要按住「Ctrl+Shift+P」不放，Notepad++ 就會自動把整份文件給處理完了。(要注意，若有安裝 PicPick，此快捷鍵會起動 PicPick 的白板功能，只要先把常駐的 PicPick 關閉即可)

或者按藍色三角型按鈕來播放剛剛錄製好的巨集：

如果這個巨集日後會常常需要使用的話，也可以利用「Macro」選單中的「Save Current Recorded Macro…」功能來儲存剛剛錄製好的巨集。

雖然 Word 提供的強大的 VBA 編寫環境，但是對於這類簡單的應用來說，我覺得 Notepad++ 更為輕巧好用，內建的巨集功能相當好用，也不用擔心版權的問題。

(另外發現一個小技巧，用 PicPick 擷取矩形區域時，且要完整保留左上角的 logo / 文字，最好從右下角開始往左上角圈選，會比較順。)

成果：
利用 Notepad++ 的 Compare 功能可以看出，處理前的字幕檔(左)同時有中英文字幕，處理後的字幕檔(右)只剩下英文字幕，要製作全中文的字幕也是如法炮製。

後記：
最近也在幾個介紹好用軟體的有名部落格上看到一些可錄製鍵盤、滑鼠的操作，而後重複播放的軟體，例如：

電腦玩物: Do It Again
重灌狂人: Mimer

但是經過測試，這兩套軟體無法正確紀錄「shift + end 選取整行」的動作，只能紀錄到「按 Delete 鍵」這個動作，因此當重複播放錄製完畢的一系列動作時，會發現程式只能自動重複幫我執行「按 Delete 鍵」這個動作而已，不知道是否是我錄製的方法不對，如果各位網友有試出正確的作法，歡迎一起討論 :D

為何虛擬化技術是雲端運算的計量(&計費)基礎

2010-05-21T16:19:00.003+08:00

五月初上了一堂跟雲端運算有關的課，重點是虛擬化技術在雲端運算中扮演的重要角色。這次的講師是胡嘉璽老師(參考資料-1、2)，不像一般常見的討論著重在如何將 Cloud Computing、Utility Computing、Grid Computing 區分開來(例如 Wikipedia 上的 Comparisons，或者研究所考試的題目)，胡老師將 Cloud Computing 視為電腦運算發展最終的目標，而 Grid Computing 和 Utility Computing 則是技術演化過程中出現的重大里程碑，兩者都可視為是 Cloud Computing 的基礎。這些重要技術的演進可以下圖來看：

其中 Utility Computing 作為 Cloud Computing 中的計量 (以及計費)基礎，就跟水電瓦斯一樣，用了多少運算能力就付多少錢 (pay-as-you-go)。而 Grid Computing 則是作為 Cloud Computing 中的計算基礎，用以組織數量龐大的電腦來執行平行運算，以提昇運算效能＆容錯能力。
接下來再這次聽到的「如何用一句話定義雲端運算」：
雲端運算就是將已量化的許多運算資源，以網路為媒介，透過特定的介面提供給需要服務的使用者。
其中幾個重點包括：

已量化：方便計算使用量 –> 方便計費 –> Utility Computing 的觀念
許多：認定硬體的不穩定性(終究會壞)，因此要以 redundant 的方式提供運算資源 –> Grid Computing 的觀念
運算資源：包括 CPU、RAM、Storage、Bandwidth 等

從另一個角度來看，雲端運算所做的事情就是：
將運算資源打散，找出最小的計量單位，之後將其全部集中起來，並重新分配的過程。
廠商提供服務就是為了賺錢，要賺錢就得知道要收多少錢。為了要計費，就必需要先計算使用量，因此必須先「量化」。要計算使用量，就必需要定義出「最小計量單位」，就和水電瓦斯會定義甚麼叫做「一度」，一定要先定義出消耗多少電能稱為一度，才能定義一度電要收多少錢(and for 廠商的成本估算)，最後紀錄每個月每戶的使用量(用電度數)，就能以此為依據跟用戶收錢了。
因此在衡量電腦運算資源時，要如何定義出一個最小的計量單位，就是一個重要的課題。「最小計量單位」跟上一篇文章中提到的強大擴充性有關：
我覺得使用者能夠 on-demand 的、基本上無上限的(只要付的出錢來)、在短時間內(數十秒到幾分鐘)擴充所需的運算資源，是雲端運算最重要的特性，因為這是以往的架構所做不到的。
在上述這些運算資源中(CPU/RAM/Storage/Bandwidth)，通常會將 Storage 隔離出來(以 NAS 實作)，因為 Disk Space 的劃分是很容易的，可以動態根據使用者的需求來切割。而剩下的 CPU/RAM/Bandwidth 則可以用一個完整的作業系統來包裝，包裝起來之後成為一個「最小計量單位」，當需要擴充系統的運算能力時，便可以一個作業系統為單位，看要增加幾個作業系統來提供服務，而後依照用戶使用的作業系統數量＆時間來收費。
基本概念是如此，但是如果作業系統必須被安裝在實體機器上，那麼要擴充運算能力時就必須新增實體機器，這往往要耗費大量的時間和人力，對於應付短時間內暴增的運算需求是緩不濟急的(e.g., 美國的 Black Friday)，例如紐約時報的 PDF 轉檔案例 (中文資料)，在 24 小時內開啟 100 個 EC2 VM 的 instance 將 4TB 的原始資料轉換為 1.5TB 的 PDF 檔，為求結果正確，整個運算還執行了兩次！如果要買進 100 台實體機器來執行這個運算任務，光是把這 100 台實體機器組裝、上架 & config 好，可能就要耗去一週了 (就算是湊出 100 台舊機器也是很浩大的工程)。更重要的是，這種一次性的運算執行完畢以後，最頭痛的就是後續這些機器要怎麼運用，而紐約時報只要關閉那 100 個 VM 的 instance，就不用再持續付出任何成本了。
為了解決實體機器造成的龐大成本問題(金錢＆時間)，虛擬化技術扮演非常重要的角色，除了把 CPU/RAM/Bandwidth 包裝成作業系統以外，進一步包裝成虛擬機器 (VM) 後，配合最近幾年幾個虛擬化技術的成熟，終於讓「在極短時間內大幅擴充運算能力」的願景得以實現。
虛擬化技術發展已經很久了，最早從 1960 年代開始，最近幾年的重要技術包括：

VM templates and clone：可將 VM 製作成範本，而後以此範本為基礎大量產生新的 VM (現在從 Amazon EC2 開啟一個 VM 就是這樣的效果)(參考)
VMware vMotion/Hyper-V Live Migration：在 VM 不停機的狀況下，將 VM 從一台實體 server 移轉到另一台實體 server 上執行，在此期間該 VM 所提供的服務不中斷 (MS Hyper-V demo)

透過這些技術讓使用者得以在短時間內新增 VM instances 以提供服務，並且更容易針對硬體規格＆使用量去訂價，例如 Amazon EC2：

至於每種 Instance 的規格是甚麼，就要看 EC2 Instance Types 的說明：

使用者(除了 IaaS 廠商之外)只要選擇合適的硬體規格，再跟據需求啟用適當數量的 VM Instance 之後，就可以開始執行運算任務了，整個過程在數分鐘內就可以完成，如此就不用自己建置、維運數量龐大的實體機器了！對於 IaaS 廠商來說，透過 VM 可以有效提高實體機器的利用率，提昇服務的可靠性，以服務更多的使用者，才可以賺更多的錢。
以上補充虛擬化技術在雲端運算中扮演的角色，如有錯誤歡迎指教 :D
相關文章：

利用 Joomla 做資產管理 (Asset Management) -4 : Fabrik 套件使用小技巧＆ Joomla 客製化

2010-05-19T16:20:00.003+08:00

在前面的文章中已經介紹完 Joomla & Fabrik 套件的安裝以及使用方式，接下來整理的是我使用 Fabrik 套件過程中發現的小技巧，以及如何客製化 Joomla。
[無痛解法] Fabrik drop down 欄位的搜尋問題
開始使用 Fabrik 套件的時候發現一個問題，若把 Form 中的 Element 設定為 drop down，在輸入資料時固然方便，但是要過濾資料時會遇到一個問題：沒有「All」這個過濾條件！以下圖為例，當我想要利用「IP」來找某台主機的資料，此時「服務類別使用狀態」條件的第一個值會生效，也就是說兩個條件都必須符合 (邏輯 AND) 才能正確找到所要的資料。這是很不方便的，因為我也沒辦法記住每台主機的「服務類別使用狀態」是什麼，若「服務類別使用狀態」的值沒有設定對，就算 IP 打對還是找不到資料。若把 Element 設定為 field，過濾條件中的預設值就是「All」，也就是沒有作用，就不會遇到這個問題了！

經過測試，發現一個最簡單的解法，也就是在新增資料時將 Element type 設定為「drop down」，以減少資料輸入錯誤的可能；等到資料輸入完畢後，再把 Element type 改回「field」，如此在過濾條件中該欄位的下拉式選單就會出現「All」的選項。這樣做的話，就不用擔心將 drop down 改為 field 之後，drop down 的選項會消失，所有的設定資料(drop down 的 text & value) 都會保留在 DB 裡面，未來要再輸入資料時，只要將 Element type 改回 drop down 即可繼續使用。

如何批次匯入資料至 Fabrik Table
經過實驗以後，整理出以下幾種批次匯入資料的方法的優劣比較：

	利用 Joomla / Fabrik 來匯入	在 phpMyAdmin 介面匯入
操作介面	Joomla 網站	phpMyAdmin 網站
支援檔案格式	CSV (需要保留欄位名稱列)	CSV (不可保留欄位名稱列)
支援編碼	UTF-8	UTF-8
中文亂碼問題	難處理 (匯入後要手動調整, e.g., 101—>分機101)	沒問題
其他	fabrik_internal_id 和 time_date 欄位可空白	fabrik_internal_id 可空白time_date 欄位要有資料(改為 TIMESTAMP 也不會自動填入匯入時的時間)
		需將半型逗號「,」取代為全型逗號「，」，以避免匯入資料時欄位分割錯誤

最後還是決定用 phpMyAdmin 的介面來執行批次匯入/匯出。
(匯出資料的注意事項可參考：phpMyAdmin 匯出中文資料成 utf-8 編碼的 .csv 格式之注意事項)
從 phpMyAdmin 管理後台批次匯入資料：
步驟一：先準備好要匯入的原始資料：

步驟二：調整原始資料，要注意：

不可保留頂端列的欄位名稱
欄位順序要與 MySQL 中的 Table 欄位順序一致
不用新增 fabrik_internal_id 欄位，但要自己給 time_date 欄位的資料

Excel 預設編碼方式為 ANSI，檔案只要用 Excel 編輯過，編碼就會被改成 ANSI，要再以記事本開啟另存為 UTF-8 編碼
(以 Notepad++ 編輯則不會更改原本的檔案編碼)

phpMyAdmin 介面的設定參考下圖：

利用 CSV 批次匯入資料：
步驟一：一樣先準備好要匯入的原始資料：

步驟二：調整原始資料，要注意：

新增 fabrik_internal_id 和 time_date 這兩個欄位 (內容可空白)
要把原始資料的中文欄位翻譯成英文，欄位順序要與 MySQL 中的 Table 欄位一致

Excel 預設編碼方式為 ANSI，檔案只要用 Excel 編輯過，編碼就會被改成 ANSI，要再以記事本開啟另存為 UTF-8 編碼
(以 Notepad++ 編輯則不會更改原本的檔案編碼)

步驟三：從 Fabrik Table 的介面中，點選「Import from CSV」功能

設定參考下圖：

Fabrik 擴充套件的程式架構
由於 Joomla 採用 Model-View-Controller (MVC) 架構，Fabrik 套件也是以 MVC 架構來開發，因此程式架構很好理解，也很容易猜測如何修改。接下來記錄我小小調整 Fabrik 套件的 PHP 程式碼的作法，包括：

修改 Fabrik 套件存檔時的 time_date 欄位，以儲存資料異動當下的完整時間 (原本僅記錄日期：yyyy-mm-dd 00:00:00)
在資料存入 DB 之後，把異動的 log 也寫入 DB

MVC 架構：

修改 Fabrik 套件存檔時的 time_date 欄位，以儲存資料異動當下的完整時間

修改檔案：
[path/to/Joomla Dir]/components/com_fabrik/models/table.php
新增 function getDateTime()，利用 php 內建的 getdate 函式取得目前時間，再調整為「yyyy-mm-dd hh:mm:ss」的格式。
修改 function storeRow() <負責 Insert & Update>，在適當位置加入：$oRecord->time_date=$this->getDateTime();。

getDateTime() 函式的內容：

留下資料異動記錄 (Insert、Delete、Update)

MySQL 內建的 bin-log 無法區別不同的 Joomla 使用者，一律會記錄為 Joomla 用來登入 MySQL 的 user (通常為 root)
利用 jos_fabrik_log 這個 fabrik 內建的 table 來儲存資料異動的 log：

欄位名稱	內容
id	auto_increment 的流水號，作為 PK
timedate_created	每一筆資料的異動時間，採預設值即可(CURRENT_TIMESTAMP)
referring_url	用來儲存進行此操作的 username (e.g., user1, user2)
message_type	用來儲存該 user 進行的操作 (i.e., INSERT, DELETE, UPDATE)
Message	該 user 執行的 SQL Statement (重要：必須將「`」和「’」取代為空白)

修改檔案：
[path/to/Joomla Dir]/components/com_fabrik/models/table.php
新增 function getUserName()，以取得目前登入的使用者名稱，參考 [path/to/Joomla Dir]/components/com_fabrik/models/formsession.php 中的 getUserId() function
新增 function logDBOperation($SQL)，取得 log 所需的資料，並存入 jos_fabrik_log。
修改 storeRow <負責 Insert & Update>及 deleteRows <負責 Delete> 兩個 function，在適當位置加入：
$this->logDBOperation 的呼叫。

成果(登入 phpMyAdmin 查看)：

經過測試，批次匯入資料時也會留下每一筆資料的異動記錄。
getUserName() 函式的內容：

logDBOperation($SQL) 函式的內容：

設定 MySQL 排程定期備份
參考資料：MySQL 備份 shell script

修改以下程式，另存為 [path/to/Joomla Dir]/backup/backup.sh：

設定 db_user、db_passwd 以及 db_host 變數
backup_dir=“[path/to/Joomla Dir]/backup“
# get all databases 以下的內容，改為僅備份 Joomla DB：
$MYSQLDUMP -u $db_user -h $db_host -p$db_passwd [JoomlaDB] | $GZIP -9 > "$backup_dir/backup.0/$time.Joomla2.gz“

設定 cron job 每月1日進行備份：

crontab -u root -e:
0 0 1 * * sh [path/to/Joomla Dir]/backup/backup.sh

將 Joomla 從測試環境轉移到正式環境
在正式環境上最好是用 clean installation 比較保險，並且把網站名稱和 DB 名稱都設定成與測試環境相同，再用 phpMyAdmin 把資料匯出成 insert SQL，以免忘記修改到 DB 中的設定造成網站運作的異常。
其他待解問題

先排序好A欄位，再排序B欄位，不要把A欄位的順序重排
暫時提昇某個user的權限為可讀寫 (調整「存取」為「作者」無效)
Range filter 會清掉其他 filter 的設定值 (要設定兩次，多出一個Go button)

以上就是最近使用 Joomla 的一些心得分享，整理完畢之後，未來要查筆記就方便多啦 :D

本系列其他文章：

Windows 合併網卡實作 (以 Broadcom 網卡為例)

2010-05-15T21:59:00.002+08:00

上週實作了三台 Windows 主機的合併網卡(active-standby mode，觀念可參考Wikipedia – Link aggregation, 在 Linux 上通常稱為 NIC Bonding，作法可參考Linux Bonding (合併網卡)實作)，若利用 Windows 內建的網路橋接器(Bridge)，無法正確實作 NIC Bonding (active-standby mode)，必須使用網卡廠商提供的管理軟體來實作。以下紀錄以 Broadcom 網卡實作 active-standby mode 的步驟。
步驟一：安裝 Broadcom 提供的 Windows 管理工具 – Broadcom Advanced Control Suite (BACS)，可從 Broadcom 官網下載。安裝完成後，可從命令列啟動：

或者從開始功能表啟動：

步驟二：點選功能表中的「Teams」-->「Create a Team」

步驟三：選擇「ExpertMode」(專家模式)，這個模式比較好用，若使用預設值，則兩張網路卡會是 Load Balancing 的組態，而不是 active-standby。

步驟四：逐一設定以下項目

Team Name：也就是 Linux 的 Bonding DEVICE 名稱，按照慣例命名為Bond0
Team Type：也就是 Linux 的 Bonding Mode，設定為 Smart Load Balancing (TM) and Failover
Load Balance Members：也就是 Linux 的 Primary NIC—>Active 的網卡
Standby Member：顧名思義，就是 standby 的網卡

設定完成後的畫面如下：

步驟五：點選視窗左下的「Update」按鈕，先不要按視窗右下角「Apply/Exit」按鈕(按了以後 NIC Bonding 就會生效，網路會斷掉)

步驟六：抄下現有的網路橋接器(Bridge)上的 IP 設定，之後刪除網路橋接器(此時網路開始斷掉)
步驟七：回到 BACS，點選視窗右下角的「Apply/Exit」按鈕，BACS 會開始設定 NIC Bonding

步驟八：此時在控制台的網路連線中，會出現 Bond0 這個 BASP Virtual Adapter

步驟九：按照一般設定 Windows 網路卡的方式設定 IP、Netmask、Gateway、以及 DNS (在設定完成前網路都是斷掉的狀態)

以上就是在 Windows 系統上以 Broadcom 網卡管理軟體-BACS 實作合併網卡的過程啦，其實蠻簡單的 :D
參考資料：

phpMyAdmin 匯出中文資料成 utf-8 編碼的 .csv 格式之注意事項

2010-05-05T14:49:00.002+08:00

今天測試了從 phpMyAdmin 介面將 MySQL DB 中的中文資料匯出成 .csv 檔，原本想說既然中文資料可以正確以 utf-8 編碼存入 MySQL，在 phpMyAdmin 的網頁介面上也可以正常顯示，之前匯出成 .sql 檔也沒有亂碼問題，那匯出 .csv 這種純文字格式應該更沒有問題吧？誰知道匯出成功後用 Excel 打開卻是下面這個樣子：

但是用 Notepad++ 這個超好用超強的免費軟體來看卻是正常的：

後來我發現，從 Notepad++ 中可以看出，phpMyAdmin 匯出的 utf-8 編碼文件是「檔首無BOM」的格式：

只要利用 Notepad++ 把整份文件重新編碼為 utf-8 格式後存檔：

再用 Excel 打開，就不會有亂碼問題了：

補充：phpMyAdmin 的 export 設定可參考下圖：

有勾選「將欄位名稱放在首行」，匯出的文件才會含有標題列，比較清楚易讀。

何謂雲端運算＆ HDFS 補充 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)

2010-04-21T15:37:00.001+08:00

前陣子整理了之前上課的筆記：以運算就資料(在地運算) vs. 以資料就運算 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)，那次課程的內容包括：

雲端運算簡介
Hadoop簡介
Hadoop 安裝與設定解析
Hadoop Distributed File System 簡介 (HDFS)
MapReduce 介紹
快速佈建 Hadoop 叢集 (Cluster)

接下來再補充一些心得。

何謂雲端運算？

這是個最近很熱門的話題，講義裡面(P.3)濃縮成一句話是「能夠隨時隨地使用任何裝置存取各種服務」(但我覺得這講得太模糊了，甚至跟 Web 1.0 or U 化都無法區別)。講義中比較精確的定義是參考 NIST (word 檔，重點就是 543, 講義 P.4, 5大基礎特徵，4個佈署模型，3個服務模式)。另外也看到 Gartner 的定義，以及Twenty-One experts defining Cloud Computing等等。

如果講得更技術一點：雲端運算是一種新的運算方式，可讓任何連網裝置透過網路(基本上是 Internet)，使用者根據(可能會劇烈變動的)需求存取所需的運算資源(CPU Power / Storage)，最後根據使用量付費 (pay-as-you-go)。我覺得使用者能夠 on-demand 的、基本上無上限的(只要付的出錢來)、在短時間內(數十秒到幾分鐘)擴充所需的運算資源，是雲端運算最重要的特性，因為這是以往的架構所做不到的。這個定義的重點除了 on-demand 的動態擴充能力之外，還包括：運算資源透過網路存取、根據使用量付費。假如像某些專家所說，只要把資料/服務放到網路上遠端的電腦，從此可以讓任何連網裝置透過網路存取，就叫做雲端的話，那所有的 Web-based 系統都可以叫做雲端運算囉？這根本就是鬼扯。難道有人可以在 5 分鐘內把 SVN 系統從 1 台變成 50 台嗎？保證辦不到的嘛！而且現在所有的系統都必須透過網路溝通(例如三層式架構)，就算不開放公開的 Internet 存取，企業內部也會建構 Intranet，所以透過網路存取這點就沒什麼好稀奇的了。

至於根據使用量付費，從技術的觀點來看，我覺得也不是雲端運算最重要的特性(雖然說這也不太容易做，系統必須在盡可能不干擾使用者使用服務的狀況下，詳盡的記錄使用情形，並且提供一個 web-based 的 dashboard 讓使用者隨時隨地掌握服務的運作/使用狀況)，不過上課的時候老師有提到，未來如果這種依使用量付費的商業模式越來越成熟，可能會出現一種新的專業(顧問)：雲端精算師，主要工作是要幫客戶規劃如何使用雲端服務，能夠以最少的成本滿足運算的需求 (例如要用怎樣的 OS/AP 組合來執行運算任務，不是透過網路把精算工作丟給遠端的精算人員唷揪咪^.<)。

要提供 on-demand 動態擴充的運算能力，除了需要靠虛擬化技術以外，也必須建構在分散式運算 (Hadoop) 以及分散式檔案系統 (HDFS) 之上。如果僅能透過虛擬化技術作到快速的新增虛擬機器(VM)，並且設定好相關的網路組態(我覺得這樣已經很厲害了)，但是資料無法有效的存放到分散式的檔案系統中，以提昇存取效率，對於超大量資料 (PB等級) 的運算是沒有幫助的。而若只是將資料由集中改為分散存放，程式是不會自動變成以分散式的方式去執行的，程式架構必須重新設計(也就是利用 MapReduce 演算法改寫)，這就和單執行緒程式如果不經過調整，只是把 CPU 從單核換成多核，程式也不會自動變成多執行緒，是一樣的道理。

在 Gartner 的文章裡面有一段講得很好，過去講 Client/Server 架構的精髓就是：使用者要的是一種「不是放在 mainframe 上面跑」的系統；而雲端運算的精髓則是：使用者付費想要買的是服務以及服務所產生的結果，而不是運算的基礎設施(也就是不要再自己買機器、建機房了)。我認為這是從 PaaS Provider / SaaS Provider / SaaS Provider 的客戶等人的角度來看的，也就是把建構、維運基礎設施的成本轉嫁到 IaaS Provider 身上，而對 IaaS Provider 來講，則可以提高機器的利用率(multi-tenant)，並且可收割位於長尾末端的客戶的運算需求(也就是無力自建機房，或者需要面對劇烈變動的需求的小型企業)。(但我一直在想，雲端運算真的有完全解決 IaaS Provider 所面臨的效能不足<under-utilization> 和效能過剩<over-utilization>問題嗎？感覺為了避免效能不足的問題，很容易就會造成效能過剩的現象。)

下一段補充 HDFS 分散式檔案系統的觀念。

以機率的觀點出發，將資料平均分散儲存在HDFS的成員(Datanode)中，以提高存取效率

前情提要：存入 HDFS 中的資料至少都會有3 份副本 (Replication)，存放於(理想上位於不同機架<rack>)的機器上

把一個檔案存入 HDFS 時，HDFS (更精確的說是 Namenode) 會把檔案切割成固定大小的 block，而後將各 block 分散儲存到不同的 Datanodes 上，由於每個檔案的儲存都是跨實體機器的，因此 HDFS 可視為一個虛擬的分散式檔案系統 (傳統的檔案系統一樣會將檔案切割為 block，但都儲存到同一台實體機器的硬碟上)，或者說是一個 Logical File System，而 Namenode 就負責扮演 Linux file system 中 inode 的角色，要知道組成某個檔案的所有 block 被儲存在哪些 Datanodes? 問 Namenode 就對了。

為了盡可能的提昇 HDFS 的存取效能(特別是讀取速度)，HDFS 在儲存資料時必須將資料根據機率平均的分佈在組成 Hadoop cluster 的成員硬碟上(balancer的工作)。由於資料是平均分佈的，因此存取時就可以多管齊下，如下圖：

(資料來源：Apache.org - HDFS 架構設計)

當 Client 需要讀取 data 時，可以同時分別從五台 Server 各讀取一個 block，讀到以後再組合成完整的檔案即可，如此一來存取效率會比循序的從單一 Server 上依序讀取 block 1~5 來的快速許多，也可以降低每一台 Server 的 read lock 時間。

HDFS 其他的好處：

資料存取時間可以控制在一定的範圍內，硬碟的損耗也更平均，進一步減少檢修硬體的成本。
儲存於 HDFS 中的檔案大小可超過一顆實體硬碟的容量。由於 HDFS 是一個虛擬的分散式檔案系統，每個檔案的 block 本身就會跨實體機器儲存，因此自然不會受限於單一機器的硬碟大小了。例如雖然一個 Hadoop cluster 中的每台主機的硬碟都只有 500G，但這個 cluster 還是可以用來儲存 1TB/1PB 甚至更大的單一檔案，只要 cluster 內硬碟的總容量夠大就好。
整個HDFS系統是可以熱插拔的，當某一台 Server 的硬體壞掉時，HDFS 仍可正常運作(因為資料至少還會有另外 2 份副本)，並且由於資料的副本數低於 Policy 所規範的量，HDFS 會立即開始找尋另外正常運做的 Server 來維持副本的數量。接下來的維修只要直接把那台 Server 關機，換一台新的 Server 上去加入服務就好。因此機房管理人員就不需要利用三更半夜進行硬體的修復了。
由於分散式架構可大幅提昇檔案的讀取速度，因此有雲端運算需求的企業(如 Google) 就不用再耗費鉅資購買高階的 Server，只要以一般的消費型機種就可以架構出高效能的運算平台 (以1台高階伺服器的價格可以輕易的買到10台以上的消費型機種，但1台高階伺服器的效能不會比10台消費型機種的總和來的強)，如此可進一步降低 Data Center 的成本。

量少質精的資料不如超大量、品質還OK的資料

這是 Google 奉行不渝的原則，從以下兩篇文章可以略知一二：

[The Official Google Blog] Helping computers understand language

We use many techniques to extract synonyms, that we've blogged about before. Our systems analyze petabytes of web documents and historical search data to build an intricate understanding of what words can mean in different contexts.
[Google Public Policy Blog] Making search better in Catalonia, Estonia, and everywhere else

In the past, language models were built from dictionaries by hand. But such systems are incomplete and don't reflect how people actually use language.

When building our models, we use billions of web documents and as much historical search data as we can, in order to have the most comprehensive understanding of language possible.

其他類似的例子還有很多很多。以 Google Translate 的作法為例，與其依靠極少數的專家來進行高品質的精確翻譯(成本很高)，Google 選擇去蒐集大量的各種語文的對照文件(當然要有相當的品質，例如聯合國的文件)，在有足夠大量文件的前提下，就可以提供很不錯的翻譯品質(隨著收集到的資料越來越多，自動翻譯的品質可以持續提昇)，如此也才可以很迅速的根據使用者的需求，即時的將某個網頁從 A 語言翻譯為 B 語言。那麼要如何有效綠的儲存超大量的資料呢？當然是靠 HDFS 啦！超大量的資料蒐集完畢以後如何進行快速的分析呢？那就靠 MapReduce 囉！

其他感想

要打造一個包含軟硬體的完整架構真的很不容易，一旦架構建立以後，透過適當的講授就可以讓人在短短地幾小時內掌握此架構的重點，進而啟發出更廣泛的應用，如此可以快速的促成技術的進步，這是Google很大的貢獻。而Google把這個完整的架構以論文的形式發布，讓有心的人能夠很快的實作出來，真的是佛心來著呀！

關於雲端運算課程的心得，除了這兩篇文章以外，還有 key-value store 這個重要的軟體架構沒講到，希望在閱讀更多資料以後可以整理出一篇比較完整的心得。

另外還有從傳統的 IT 運算架構轉移到雲端運算的架構會遇到的困難，也是很值得深入討論的～

參考資料：

國網中心
- NCHC Cloud Computing Research Group: 有 Project News 和 Training Course
- 雲端運算核心技術 Hadoop 與 MapReduce 概念班: 我這次上的課
Wikipedia
[石頭閒語] 電腦技術::雲端運算 survey 項目-分散式文件系統
[XDite] Scaling Rails Site: Reading Material #5 – Distributed Filesystem/Database, Database Optimization, NoSQL
[Gartner] Experts Define Cloud Computing: Can we get a Little Definition in our definitions?
Twenty-One experts defining Cloud Computing

以運算就資料(在地運算) vs. 以資料就運算 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)

2010-04-14T21:16:00.002+08:00

前陣子上了一堂課：雲端運算核心技術 Hadoop 與 MapReduce 概念班，講師是國家高速網路與計算中心(國網中心)副研究員-王耀聰老師，一整天充實的課程讓我獲益良多，內容包括：

雲端運算簡介
Hadoop簡介
Hadoop 安裝與設定解析
Hadoop Distributed File System 簡介 (HDFS)
MapReduce 介紹
快速佈建 Hadoop 叢集 (Cluster)

由於課程內容太多，把上課筆記寫成流水帳也沒有意思，因此以下就 focus 在觀念的探討，希望讓沒有研讀過相關資料的人也能看得懂。(這些觀念都是 Google 提出來的，也是 Google 的產品設計哲學的精髓)
在進行以下的討論之前，先來確定一些基本假設：

Hadoop 架構的設計目標是要能夠以低成本且有效率的方式處理 PB 等級的資料量
HDFS 是一個可動態擴充的分散式檔案系統，在 Hadoop 架構中一份資料預設會有 3 份副本(Replication)

以運算就資料(在地運算) vs. 以資料就運算
這是整天的課程中我最感興趣的，因為這代表一種思維的轉變。傳統在設計系統時，最常使用的就是三層式架構 (Three-tier architecture)，如下圖：

(資料來源：Wikipedia - Multitier architecture)
就算在佈署時把 Presentation 和 Logic Tier 放在同一台 Server (在小型的 site 也許可以)，Data Tier 一定會放到另一台 Server 上面去。在 Logic tier 執行系統核心的運算前，必須將待運算的資料從 Data Tier (DB Server) 搬運到 Logic Tier (AP Server) 進行運算，也就是以資料就運算，負責執行運算的程式檔案本身是不移動的(固定佈署在 Logic Tier 上)，執行運算所需的資料則從其他的機器(或者 cluster) 搬運到程式所在的機器上。
在這樣的傳統架構中，資料的傳輸情況如下：

在網路上傳輸待運算的資料(大量)：Data Tier –> Logic Tier
程式要執行時，從 Disk 複製到記憶體中(少量)：Logic Tier Disk –> Logic Tier Memory

這樣的作法有幾個缺點：

以檔案大小而言，要執行的程式檔案是很小的 (e.g., .exe/.dll)，但待運算的資料量是非常大的 (Hadoop 的 target 是 PB 等級的資料)。
AP Server 必須要先從 DB Server 拿到資料才能開始運算，在這段網路傳輸時間內資料只是單純的被搬運而已，並沒有被計算，因此對運算任務而言，網路傳輸時間是完全的 overhead。
當待運算的資料量越來越大，例如達到 PB 等級時，消耗在網路傳輸的時間會大幅增加，因此需要佈建超高速的網路 (e.g., Fiber Channel, FC)，相較於成本較低且技術已經很成熟的 GE 網路來講，又要花費更高的成本。

而 Hadoop 架構則是如下圖：
(資料來源：Hadoop簡介 P.21)
以下是 Hadoop 中各角色的簡單說明 (參考 Hadoop簡介 P.19~20)。首先，負責儲存資料的單元可區分為：

Namenode: 擔任 master 的角色(只能有一個)，管理檔案的讀寫，以及 Replication (副本) 的策略
Datanodes: 擔任 slave 的角色(可以有多個)，接受 Namenode 的指揮，實際儲存資料的 Replication (副本)，並執行檔案的讀/寫，將資料提供給 Tasktracker 進行運算

以上算是一組的，接下來，執行運算的單元可區分為：

Jobtracker: 擔任 master 的角色(只能有一個)，也就是工頭，接受使用者 (Client，通常是另一個程式，不一定是指真實的人) 發起的工作，並進行工作排程 (Job Scheduling)，將工作 (Job) 分派給 Tasktrackers 執行，並彙整 Tasktrackers 的計算結果後，將最終結果回傳給使用者
Tasktrackers: 擔任 slave 的角色(可以有多個)，也就是工人，接受 Jobtracker 的工作指派，跟 Datanodes 要求待運算的資料，執行實際的運算後，將結果回傳給 Jobtracker 彙整

一個 Hadoop Job 執行的流程如下 (Client Submit Job 到 Job 開始執行)：

(資料來源：我自己用 Google Doc 畫滴)
(註：Job 執行完畢以後，每個 TaskTracker 會將計算結果回傳給 JobTracker 彙整，而後再由 JobTracker 回傳給 Client)
(2010-04-20 補充：石頭閒語有篇文章有個類似的圖，參考這裡)
由上圖可以看出，當一個運算任務 (Job) 要被執行時，JobTracker 會將要執行的程式(相較之下檔案很小)傳送到資料所在的位置(Datanodes)，而後待執行的運算便就地在 Datanode 上由 Tasktracker 完成，這就是以運算就資料，與其將很大量的資料到程式透過網路搬運到程式所在的機器上，不如先搞清楚資料在哪裡，接下來把小小的程式複製到資料所在的位置去執行。在這樣的架構中，資料的傳輸情況如下：

在(GE)網路上傳輸要執行的程式(少量資料)：Client –> Jobtracker –> Datanodes
在 Datanodes 本機上傳輸待運算的資料(大量資料)：Datanodes Disks –> Datanodes memory，完全不需要透過網路！速度肯定快很多！

2010-04-20 補充：Hadoop 官網有份文件有講到這一點，HDFS Architecture - Moving Computation is Cheaper than Moving Data，但是內容蠻精簡的。

通常原本很大量的資料經過運算以後，產生的資料量會比原來的資料小很多很多，因此在 JobTracker 與 TaskTracker 之間的資料傳輸就不會消耗太多的網路頻寬(這和 WCG 的特性是一樣的)。上課時老師也提到，根據估計，目前每年全世界產生的資料量已經大於全世界硬碟的總容量，因此未來如何能夠快速的處理大量原始資料，而僅儲存運算之後所得到的有用資訊，就是各大未來企業競爭的重點(目前已經是 Google、Yahoo 等每天需要分析超大量 web server log 的公司所面對的挑戰)，目前看來 Hadoop 這個經過實戰(Yahoo)驗證的架構是很有希望的技術。
以上就是我認為這次課程最重要的觀念啦！
補充
雲端運算核心技術 Hadoop 與 MapReduce 概念班內容包括：

雲端運算簡介：重點在投影片 P.3~P.6<雲端運算的定義及精髓>、P.19 <全球資料爆炸的預估量>、P.22~P.25<大量資料運算的教訓與未來趨勢>、P.40 <What we learn today?>
Hadoop簡介：重點在投影片 P.4~P.6<Hadoop基礎概念>、P.14 <Hadoop 與 google 的對應>、P.18<名詞，這一段非常重要！是未來討論的基礎>、P.19~21 <Hadoop 的 4 種身份以及最常見的佈署方式>
Hadoop 安裝與設定解析：這個部份等到要實作的時候再看就好
Hadoop Distributed File System 簡介 (HDFS)：這份投影片每一張都很重要！其中我覺得 P.5 <設計目標(2)> 中的「在地運算」非常有意思，下一段會詳細說明。
MapReduce 介紹：again, 這份投影片每一張都很重要！P.2~P.9 是 MapReduce 演算法的介紹，P.10~16 有很多應用 MapReduce 演算法的實例
快速佈建 Hadoop 叢集：當企鵝龍遇上小飛象 DRBL-Hadoop (投影片)，這是利用國網中心開發的快速、大量佈署技術(企鵝龍) 來快速佈建 Hadoop cluster 的作法，一樣是等到實作再看就可以了。(不過老師也提到，利用這種技術可以幫助人力吃緊的中小學老師快速有效的管理電腦教室，並且替學校節省很多成本，這也是國網中心的重要任務之一。)

參考資料：

國網中心
- NCHC Cloud Computing Research Group: 有 Project News 和 Training Course
- 雲端運算核心技術 Hadoop 與 MapReduce 概念班: 我這次上的課
Wikipedia
新聞
- [2009-06-24] iThome-Yahoo! 推出 Hadoop 雲端發行套件
- [2009-11-17] iThome-開發 Hadoop 雲端應用沒那麼難
- [2009-12-09] iThome-日本雲端伺服器明年1月搶先上市
[石頭閒語] 電腦技術::雲端運算 survey 項目-分散式文件系統
[XDite] Scaling Rails Site: Reading Material #5 – Distributed Filesystem/Database, Database Optimization, NoSQL

利用 Joomla 做資產管理 (Asset Management) -3 : 安裝 Fabrik 擴充套件及其使用方法

2010-04-09T14:46:00.003+08:00

在上一篇：利用 Joomla 做資產管理 (Asset Management) -1 : 安裝過程紀要中曾經提到，這次要架站是為了記錄機器設備的基本資料，把以往用 excel 記錄的資料 web 化、集中化，只維護一個版本，可從任何有連網的裝置上存取，同時必須滿足以下六個需求：

免費！免費！免費！-> 找 Freeware / Open Source Software
簡單易用的web介面，支援 CRUD operation (增刪改查)
批次匯入現有資料
以選單的方式輸入資料
條件式的查詢、篩選資料
保留資料異動的 log

其中在權限控管上，要做到以下要求：

利用 Joomla! 內建的角色：管理者/一般使用者來實作權限控管
管理者：可讀寫所有欄位
一般使用者(有登入)：

大部分欄位可讀，不可修改
有某些欄位不可讀(看不見)，當然不可修改
在修改的 view 中 (link to detail) 都是唯讀

一般使用者(沒登入)：什麼都看不到

安裝好 Joomla 之後，接下來就是要找到合用的套件來完成以上的需求啦！以下補充瀏覽 Joomla 擴充套件的注意事項，以及 Fabrik 套件的下載點。
Joomla 豐富的擴充套件 (extension) 可以在 Joomla Extensions 找到 (全都是英文的)，共有 4276 個 extension，分為數十個大類別，其中在 Contacts & Feedback 中有一個 Forms 的類別，在瀏覽的時候要注意，Type 為 Commercial 的是商業軟體，要錢低；Type 為 Non-Commercial 的才是我們要找的免費擴充套件！

點進去這次要使用的套件：Fabrik – as joomla app builder 以後，畫面如下：

Fabrik 這個套件的官網比較複雜些，包括很多 templates、nodules 和 plug-ins，套件主程式反而放在下載頁面的最下面：

下載好 Fabrik 擴充套件主程式後，安裝方式請參考：利用 Joomla 做資產管理 (Asset Management) -2 : 安裝過程紀要 (Linux)
接下來要介紹 Fabrik 擴充套件的設定。首先登入管理員後台，進入 Fabrik 套件的管理介面：

包括 Forms、Tables、Groups、Elements 都是需要設定的：

步驟一：新增一個 Fabrik Form
在 Forms 管理介面中，按最右邊的「新增」以新增一個 Form:

Form 即為使用者在網頁中輸入資料的表單，表單中的每一項資料稱為一個 Element。設定好 Table name 後，Fabrik 會在 Joomla DB 中建立一個同名的 table，同時也會在 Groups 中新增一個同名的 Group，屬於此 Group 的 Elements (欄位)就會出現在接受使用者輸入資料的表單。

步驟二：新增一個 Fabrik Table
在 Table 管理介面中，按最右邊的「新增」以新增一個 Table:

此時在「Data」的設定中的「Link to table」，要選擇剛剛在新增 Form 時所設定的 Table name:

Table 用來呈現儲存於DB中的資料，並提供Advanced search功能，在過濾資料時非常方便。以下是此 Table 的存取權限設定，這裡使用的都是 Joomla 內建的角色 (role)，「註冊會員」是指正確登入 Joomla 網站的人，而「管理者」則是擁有 Joomla 網站管理者權限的人。
以下圖的設定為例，必須要先登入網站才能看到 DB 中的資料，而只有管理者有權限可以新增/修改資料。

在過濾設定部分，建議採用以下設定：

進階搜尋的畫面如下，操作上很直覺：

Search all 的功能則是可以搜尋此 Table 內所有欄位的所有內容 (就是 LIKE 的效果啦):

Table 還可進一步設定匯入/匯出資料的權限：

步驟三：開始新增 Form 中用來蒐集使用者輸入資料的欄位 - Element
以下的設定都與權限控管有關，要特別注意。以下先以 Element type = text area 為例：

以一般使用者身分登入是看不到 VIP 欄位的：

一般使用者也無法修改 DB 中的資料：

若以管理者身分登入，則可看到 VIP 欄位：

管理者也可以編輯 VIP 欄位：

步驟四：設定每個 Element 的 Table settings
基本上這些設定值都很好了解，若不確定作用為何，可以隨時從管理介面變更設定值，嘗試一下就知道每個設定的意義了，如下圖：

步驟五：若需要驗證欄位內容，則進行 Validations 設定(以驗證空白為例)

若使用者沒有輸入資料，會看到以下錯誤訊息，非常明確：

Fabrik 內建了很多的 validation rules，一看就知道怎麼用：

步驟六：根據需要新增各種不同類型的輸入欄位
Field：也就是文字方塊 (textbox)
drop down：下拉式選單

text area：文字區域 (適合輸入大量文字)

最後製作出來的 Form 大概就長得像下面這樣：

而呈現使用者在以上的 Form 中輸入的資料的 Table，大概長得像下面這樣：

以上就是 Fabrik 擴充套件的用法介紹，基本上都很簡單，所有的設定都存在 DB，想要深入了解網站運作方式的話可以打開 phpMyAdmin 來查看 DB 中的資料，網站原始碼 (php) 也可以好好研讀 (這就是 open source 的好處呀！)。

下一篇再來談談我對 Joomla & Fabrik 套件做的一些客製化，以及目前遇到的問題和解法。

本系列其他文章：

[Chart Control 技巧篇] 改變特定軸線的樣式

2010-03-26T22:52:00.001+08:00

前陣子坎尼看到論譠上問了標題這個問題
想說試著來解解看 (以前沒遇過這個需求 :D
另外本篇來提供一下坎尼平常思考問題的方式

I.問題思考方式

先來看一下問題
「設定Y軸的25是一條有顏色的線(有點類似標準線的意思)，
其它Y軸的線正常顯示」
坎尼先擬定了幾個主要的方法：

利用 Custom Label 直接設定特定線段的樣式

開啟 Secondary Y 則是想用其他線段來蓋掉原本的線段

所以坎尼開啟了 Visual Studio，開始測試相關屬性
(這邊可以用心智圖之類的工具來輔助思考，如上圖)

從 Custom Label 的經驗得知，並無法只設定特定格線的樣式
格線屬性為整個 Y 軸所共用
但可以修改 GridTicks 屬性，使想要的格線顯示出來

經由上面的經驗，坎尼想到了 ChartArea 預設還有另一條軸線
如果同時打開兩邊的軸線，應該其中一邊的樣式會蓋掉另外一邊吧?

坎尼打開 Secondary Y ，加入 Custom Label 實驗出來的成果
Bingo!!!
Secondary Y 軸的樣式會蓋住主軸線的樣式，測完收工!!!

II.範例

上面已經將過程說明，所以這邊放一下實際的範例圖片吧

打開 ChartArea 的 Axes 集合
調整 Secondary Y 的 MajorGrid 線條樣式
建立 Custom Label，並設定顯示位置為 25
將 GridTicks 屬性設定成 Gridline，讓 Chart 只顯示自訂 Label 以及它的格線
實際設定完成後的原始碼
執行畫面

III.小結

其實坎尼寫到這邊發現，用 MinorGrid 是否也能達成此項需求?
這邊就賣個關子，不公布答案，讀者們有興趣可以試試看 :D

思考問題的過程其實很有趣
能建立起一套自己的思考方式，其實對自己的未來很有幫助 :P

讓 tar 檔解壓縮出來的檔案的 modification time 變成執行解壓縮指令的當下時間 (用於以解壓縮 tar 檔的方式更新程式時)

2010-03-26T20:36:00.002+08:00

嗯 … 標題有點囉嗦，在系統上要更新程式時，常常會先將欲更新的程式，重點在於在下指令解壓縮 tar 檔時，如果只用一般常見的下法：tar zxvf xxx.tar.gz 的話，那麼解壓縮出來的檔案的 modification time 會維持當初打包 tar 檔的時間，而不會是執行解壓縮 tar 檔的時間，在資安稽核要求很嚴謹的環境中，以上的狀況是不被接受的。

要讓 tar 檔解壓縮出來的檔案的 modification time 被修正為執行指令的當下時間很簡單，參考 tar 指令的 man page：

-m, --touch, --modification-time

don't extract file modified time

此處渴看到關鍵字「touch」，再查一下 touch 指令的 man page：

touch [OPTION]... FILE...

Description

Update the access and modification times of each FILE to the current time.

所以說，爾後解壓縮 tar 檔時只要下如此的指令：tar zxvfm xxx.tar.gz，那麼解壓縮出來的檔案的 modification time 就會是執行指令的當下時間啦！(看起來是 tar 這支程式會自動幫你 touch 壓縮檔內的所有檔案/目錄)

PS. 昨天為了這個需求，還寫了個 4、50 行的 Perl 程式 (先建立 temp 目錄 –> 把原始 tar 檔複製到 temp 目錄 –> 在 temp 目錄解壓縮 –> 把解壓縮出來的所有檔案/目錄 touch 一遍 –> 再壓縮成一個新的 tar 檔 –> 把新的 tar 檔複製到真正的目的資料夾 –> 在目的資料夾解壓縮 –> 回頭刪掉 temp 目錄)，現在看起來真的是蠢斃了 =.= 幸好隔了一天就發現 -m 這個參數 … 可見認真的讀完 man page 是多麼重要的事情！

不過在寫 Perl 的過程中又多學到了一些處理檔案、目錄的技巧，例如 mkdir -p 可以自動幫你建立完整的目錄階層；cp -a 類似沒有加上 -m 的 tar，效果等同於幫指定目錄建立另一個名稱不同的目錄，再把指定目錄下的所有子目錄和檔案複製到新目錄中，但是新目錄下的檔案 modification time 跟原目錄是一樣的 …

~.:.': .NET碎碎念:'.':.~

iPhone 4S 預購心得

2011年回顧

[SQL SERVER] SQL SERVER 無法使用帳號登入之原因

I. 伺服器安全性設定

II. 帳號安全性

III. 小結

如何將各種不同短網址服務(URL Shortening Services)產生的短網址還原

MIS 必備技能：製作光碟映像檔（.iso files）

設定 sudo 時要記得禁止一般權限使用者執行 sudo sudo

Openfind 2011 Solution Day 筆記

隨機將雲端/分散式系統中的 processes/services 刪除，以測試系統的容錯能力 - Netflix & Chaos Monkey

[ASP.NET] 在 Web 專案中進行排程工作

I. 概念

II.實作

III. 小結

[NPOI] 輕鬆地將 GridView 匯出成試算表-修正版

在自行撰寫的 DNN Module 中使用 & 列印 Microsoft Chart Controls 的注意事項

IIS 7.5 設定網站的實體路徑執行身分 (Physical Path Credentials) 時，AD 帳密輸入錯誤不會跳出錯誤訊息

[無用小工具] 大樂透對獎程式

預設的開獎號碼 (l.xml)

主程式畫面

對獎

如何升級 MacOS X 內建的 vim

Joomla 1.6 安裝注意事項 (手動編譯 Apache HTTP Server & PHP on RHEL 5)

[IE8] 應用 Developer Tool 進行網頁內容自動填寫

I. 找尋 Pattern

II. 撰寫 script

III. 小結

如何將外接硬碟格式化給 Mac 做 Time Machine 備份，同時又可繼續在 Windows/Linux 系統中使用

jpgraph 如何顯示中文

回顧2010年

在 Blogger 官方的分享按鈕中新增「推到噗浪」

DotNetNuke (DNN) 05.06.00 以 Auto 模式進行安裝之注意事項

AWStats 重新分析特定時段 log 的方法 - 以指令批次修改大量 AWStats 統計資料檔

[NPOI] Excel 上傳用 User Control

I. 實作過程

建立委派事件

建立屬性

上傳按鈕事件

NPOI 匯入事件

II. 使用方法

自行撰寫事件

執行畫面

III. 小結

[Shell Script] 批次修改使用者的密碼有效期限 - V2

利用Blogger Touch服務快速建立.NET碎碎唸手機版

[NPOI] 輕鬆地將 GridView 匯出成試算表

I. 實作過程

II. 測試

III. 小結

[FireFox] 利用 FireGestures 撰寫 script 呼叫 Readability

I. 實作

II. 實際執行畫面

III. 小結

傳統的架站方式(非雲端運算/虛擬化環境)要如何應付超大量的流量

如何設定 Becky email client 的 SMTP 驗證

[Outlook 2007] 如何將 Exchange Server 上的信件收到本機資料夾

如何批次將Yahoo!信箱中的聯絡人轉到Outlook

兩種更好的 AWStats 報表呈現方式 - BetterAWStats ＆ JAWStats

SIKULI 初體驗 -2：進階技巧 ＆ 其他感想

[Linux/Unix] 讓 script 在登出後仍可繼續在背景執行 - at 排程

[AWStats] 刪除因 awstats.pl 執行不完全造成的 awstatsMMYYYYDD.mySite.tmp.### 檔案

[AWStats] [解法] Error: Command for pipe 'xxx/logresolvemerge.pl xxx.log failed, Setup may be wrong. 問題

[shell script] 驗證 tar 解壓縮的執行結果

SIKULI 初體驗 - 利用 SIKULI 每日自動將 50 個 AWStats Report 另存成 mht 檔

[Excel 技巧] 善用資料剖析來調整資料格式 (以 MS Excel 2007 為例)

[可能解法] Red Hat 4 開機時卡在啟動網路介面

AWStats 重新分析特定時段 log 的方法

HP-UX 的 ntp client 設定方式

[心得] 參加中央氣象局局慶心得

[DOTNET] 利用 System.Globalization 提供的各種曆法類別取得特別的日期

I. 客製化曆法簡介

II. 實戰

III. 小結

[ASPNET] 在 FormView 中使用 WebUserControl 可能會導致 Visual Studio 罷工

I. 問題描述

II. 問題解決

III. 小結

[Tools] 利用 Web PI 輔助安裝 SSMSE 2008

SIKULI 初體驗 -2：進階技巧＆其他感想

利用 Joomla 做資產管理 (Asset Management) -4 : Fabrik 套件使用小技巧＆ Joomla 客製化

何謂雲端運算＆ HDFS 補充 (雲端運算核心技術 Hadoop & MapReduce 概念班上課心得)