James Chen's List: Big Data

• Big Data 時代，我們需要有超越 Hadoop 和 MapReduce 的殺手級技術
• Hadoop 是 Apache 軟體基金會所發展的雲端計算技術，使用 Java 撰寫並免費開放原始碼，優點在於有良好的擴充性，程式部署快速等，同時能有效地分散系統的負荷。
• Google 也為此提出了MapReduce 軟體編程架構，這是一種能以高可靠性與高容錯的方式，運作在由大規模電腦所組成的叢集上的技術，並可透過平行處理方式來處理 PB（Peta-Bytes）等級的資料量。
• • MapReduce 和 Hadoop 也不是萬能，「NoHadoop」時代的來臨
   
   

  但目前有個很重要的問題是，有些人注意到了 MapReduce 與 Hadoop 在功能上的不足與限制性，於是縱使他們需要能夠提供高效能與擴展性佳的應用工具，他們仍摒棄了 MapReduce 與 Hadoop，有些人甚至回頭使用了關聯式資料庫。
• 雖然 Hadoop 擅長於處理批次的資料量，但在多維度的資料處理分析上的表現並不佳。例如，大多數的企業總是會面對更複雜的資料連結（Complex Joins）、ACID 機制的要求（Atomicity-Consistency-Isolation-Durability，這是關聯式資料庫為了確保資料的完整性，所採用的機制，以使資料在存取或異動的過程中不會受到干擾）、即時分析（Real-Time Requirements）、量子電腦演算法（SuperComputing Algorithms）、圖型計算（Graph Computing） 或是資料的持續更新，而 Hadoop在處理這些資料的表現上還稱不上令人滿意的標準。
• 基於種種原因，「Post-Hadoop 架構」被提出了，而此新架構在處理資料的能力上有了更佳的效能。
• SQL 已經發展 25 年了，而目前有很多的創新都圍繞著下一代的資料庫技術（SQL Next-Gen）延伸
• 在 Big Data 的即時分析上，Cloudscale 打破了一般批次處理的限制。例如，當你打算分析一台伺服器上每秒百萬次的資料事件，而系統所允許的傳送結果延遲時間為 5 秒，那麼你就需要一個即時處理資料的架構。而 Cloudscale 就可以提供這種即時資料分析的能力，它比 Hadoop 的批次處理快了近 1 萬倍。

• 應用在：建模與模擬 （Modelling and Simulation）、流體力學 （Fluid Dynamics）。

   

  在許多的超級電腦應用中，往往需要在 Big Data 上建立複雜的演算法，而為了提升效能，都是依賴處理器直接存取資料。像 MPI 和 BSP 這些平行編程工具，就非常適合這類需要高效能計算的應用。
• 你需要分析一個在複雜環境中的社交關係網絡嗎？如果是的話，你所面對的不止是資料的問題而已，而是一個結構的問題。
• 如果你需要對大量的資料集進行不斷地更新，那麼 Percolator 會是一個不錯的應用選擇。它是 Google 應用在網路的索引架構，甚至比 Hadoop 更好用，而且 Google 的即時查詢功能「Google Instant」不能少了它。

9 more annotations...