新的資料中心架構提出了新的資料挑戰：資料獲取將如何驅動從邊緣到核心的資料中心架構的發展。
資料顯然不再是以往的樣子。 作為數位化轉型的一部分， 各種組織正在尋找資料的新用途。 從飛機引擎的資料到雜貨店的消費資料， 每個行業都有大量的例子， 資料成為企業競爭優勢的關鍵所在。 人們將這些資料稱之為新資料， 這與人們最熟悉的財務和ERP資料截然不同。 那些原有的資料大部分是交易性的， 而且是從內部資源中捕獲的， 而新資料推動了客戶機/伺服器的革命。
新的資料既是交易型的，
以下介紹資料中心新架構所提出的五個主要的資料挑戰：
(1)資料捕獲正在推動資料中心架構從邊緣到核心的發展：從源頭獲取新的資料。 這些資料來自海洋， 來自石油和天然氣勘探， 也可能來自于衛星軌道、天氣應用、電話、圖片、視頻和推特或電影的場景中。 從源頭收集的資料量將比人們目前所知道的高出幾個數量級。
(2)資料規模正在推動資料中心的自動化發展：大型雲提供商的規模已經十分龐大， 他們必須在自動化和智慧化方面投入大量資金來管理基礎設施。 任何人工管理在其運營規模上成本高昂。
(3)移動資料正在改變全球網路：如果資料無處不在， 那麼必須移動資料才能進行匯總和分析。 當人們認為並且希望網路在40到100 Gbps的速度可以滿足互聯網頻寬要求時， 資料移動的需求卻可能會增加100倍到1000倍。
(4)資料價值是革命性存儲：毫無疑問， 資料對組織來說越來越有價值， 資料在較長時間內的實用性隨著機器學習和基於人工智慧(AI)的分析而日益增長。 這意味著更多的資料需要存儲更長的時間， 並且資料必須是可以整體處理的，
(5)資料分析是未來計算密集型體系結構的驅動因素：通過分析的性質， 特別是機器學習， 組織必須保留更多的資料， 以便將其聚合到大資料存儲庫中。 當應用於多個更大的資料來源時， 這些類型的分析提供了更好的答案。 而分析和機器學習是一種計算密集型操作， 因此大資料集上的分析驅動大量的高速處理。 與此同時， 分析的計算密集性促使組織推出從記憶體中資料庫到100 PB級別的物件存儲多種新方式來存儲和訪問資料。
新的資料在源頭被採集。 從源頭收集的資料量將比人們目前所熟悉的高出幾個數量級。 例如， 一輛自動駕駛汽車每天將產生高達4TB的資料。 而全球的汽車數量數以億計，
很明顯， 人們不能從源頭採集所有的資料， 並嘗試通過當今的網路將其傳輸到集中的位置進行處理和存儲。 這推動了資料中心全新模式的發展， 不同的環境以不同類型的資料為特徵， 這種新的“邊緣計算”環境被優化， 以便在傳輸到一個獨立的核心資料中心環境之前， 對大量資料進行捕獲、存儲， 以及部分分析。
新的邊緣計算環境將推動計算基礎架構各個方面的根本性變革：從CPU到GPU甚至MPU(微處理單元)， 從低功耗的小型快閃記憶體存儲到物聯網(IoT)網路和協定， 不需要寶貴的IP位址。
以下來看不同的資料獲取例子。 在生物資訊學領域， 資料在源頭上得到爆炸式增長。
另外， 組織希望對這些圖像執行的處理類型是基於機器學習的， 並且比以前任何類型的影像處理計算強大得多。 最重要的是， 為了進行機器學習， 研究人員必須彙集大量的圖像進行處理才能有效。 處理這些圖像意味著要跨組織來移動或共用圖像， 這些圖像需要從源頭獲取資料， 保存在可訪問的表單中(不是磁帶上)，聚合成大型圖像庫，然後用於大規模的機器學習分析。
圖像可能以原始形式存儲，但中繼資料通常在源頭添加。另外，可以在源頭完成一些處理以實現“信噪比”的最大化。可以支援這些圖像的最終架構的特點是：(1)在源頭存儲資料。(2)將資料複製到共用存儲庫(通常在公共雲中)。(3)從共用的存儲庫處理資源以分析和處理資料。(4)採用網路連接以便結果可以返回給研究人員。這個新的工作流程正在推動包含多個存儲位置的資料架構發展，並根據需要移動資料並在多個位置進行處理。
對於製造行業的物聯網用例，這種資料架構的變化更加劇烈。例如，在西部資料公司，人們從全球各地的機器收集資料。這些資料被發送到一個存儲在三個位置的中央大資料存儲庫，一部分資料被推送到亞馬遜的Apache Hadoop資料庫中進行快速資料分析處理。其結果可供全公司的工程師進行視覺化和後處理。對來源資料進行處理，以提高該資料的信噪比，並對資料進行歸一化。對資料執行額外的處理，因為它在邏輯上集中的位置收集在物件存儲庫中。
由於這些資料必須長期受到保護，因此需要進行擦除編碼，並分佈在三個不同的地點。最後，資料一旦進入亞馬遜平臺，將再次使用分析處理。而支援製造用例的體系結構是一種邊緣到核心的體系結構，在許多位置都可以進行大資料和快速資料處理，而且這些元件是專門為此過程的每個步驟所需的處理類型而構建的。
由於集中式資料的概念不再適用，這些用例需要一種新的資料架構方法。人們需要有一個邏輯上集中的資料視圖，同時可以在任何工作流程的多個步驟中靈活地處理資料。資料量將會非常大，盲目地將全部的資料推送到一個中央存儲庫將會帶來成本和時間方面更多的限制。智慧體系結構需要開發人員瞭解如何在考慮到資料規模、傳輸成本以及處理要求的權衡的情況下逐步處理資料。
在西部資料公司，已經開發了其內部的物聯網資料架構，以便擁有一個“乾淨”資料的權威來源。資料在到達該權威來源之前被清理和規範化，一旦達到該資料來源，就可以推送到多個來源進行適當的分析和視覺化。其權威來源負責對資料進行長期保存，所以為了滿足資料的安全要求，它必須在自己內部部署的資料中心(實際上有三個託管的內部資料中心)。由於大部分清理工作都是在源頭進行，所以大部分的分析工作都是在雲端進行的，以便擁有最大的靈活性。
底線是組織需要停止考慮將大型資料集集中存儲和訪問。資料需要存儲在適合其預期用途的環境中。人們稱之為“資料蓬勃發展的環境”。大資料集需要共用，不僅用於協同處理，還要匯總用於機器學習，還要在雲端之間進行分離，以便進行計算和分析。以資料中心為中心的架構解決大資料存儲問題並不是一個好方法。為了從未來的大資料集獲得最大的價值，需要採用一種邊緣到核心的架構，並與混合雲體系結構相結合。
保存在可訪問的表單中(不是磁帶上)，聚合成大型圖像庫，然後用於大規模的機器學習分析。圖像可能以原始形式存儲，但中繼資料通常在源頭添加。另外，可以在源頭完成一些處理以實現“信噪比”的最大化。可以支援這些圖像的最終架構的特點是：(1)在源頭存儲資料。(2)將資料複製到共用存儲庫(通常在公共雲中)。(3)從共用的存儲庫處理資源以分析和處理資料。(4)採用網路連接以便結果可以返回給研究人員。這個新的工作流程正在推動包含多個存儲位置的資料架構發展，並根據需要移動資料並在多個位置進行處理。
對於製造行業的物聯網用例，這種資料架構的變化更加劇烈。例如，在西部資料公司，人們從全球各地的機器收集資料。這些資料被發送到一個存儲在三個位置的中央大資料存儲庫，一部分資料被推送到亞馬遜的Apache Hadoop資料庫中進行快速資料分析處理。其結果可供全公司的工程師進行視覺化和後處理。對來源資料進行處理，以提高該資料的信噪比，並對資料進行歸一化。對資料執行額外的處理，因為它在邏輯上集中的位置收集在物件存儲庫中。
由於這些資料必須長期受到保護，因此需要進行擦除編碼，並分佈在三個不同的地點。最後，資料一旦進入亞馬遜平臺，將再次使用分析處理。而支援製造用例的體系結構是一種邊緣到核心的體系結構，在許多位置都可以進行大資料和快速資料處理，而且這些元件是專門為此過程的每個步驟所需的處理類型而構建的。
由於集中式資料的概念不再適用，這些用例需要一種新的資料架構方法。人們需要有一個邏輯上集中的資料視圖，同時可以在任何工作流程的多個步驟中靈活地處理資料。資料量將會非常大，盲目地將全部的資料推送到一個中央存儲庫將會帶來成本和時間方面更多的限制。智慧體系結構需要開發人員瞭解如何在考慮到資料規模、傳輸成本以及處理要求的權衡的情況下逐步處理資料。
在西部資料公司，已經開發了其內部的物聯網資料架構，以便擁有一個“乾淨”資料的權威來源。資料在到達該權威來源之前被清理和規範化，一旦達到該資料來源，就可以推送到多個來源進行適當的分析和視覺化。其權威來源負責對資料進行長期保存，所以為了滿足資料的安全要求，它必須在自己內部部署的資料中心(實際上有三個託管的內部資料中心)。由於大部分清理工作都是在源頭進行，所以大部分的分析工作都是在雲端進行的，以便擁有最大的靈活性。
底線是組織需要停止考慮將大型資料集集中存儲和訪問。資料需要存儲在適合其預期用途的環境中。人們稱之為“資料蓬勃發展的環境”。大資料集需要共用，不僅用於協同處理，還要匯總用於機器學習，還要在雲端之間進行分離，以便進行計算和分析。以資料中心為中心的架構解決大資料存儲問題並不是一個好方法。為了從未來的大資料集獲得最大的價值，需要採用一種邊緣到核心的架構，並與混合雲體系結構相結合。