大資料的核心是什麼，大資料核心技術有哪些

1樓：6108方案

「大數bai

據」的核心：整理、du分析、**、zhi控制。重點dao並不是我們擁有專了多少資料屬，而是我們拿資料去做了什麼。

如果只是堆積在某個地方，資料是毫無用處的。它的價值在於「使用性」，而不是數量和儲存的地方。任何一種對資料的收集都與它最後的功能有關。

如果不能體現出資料的功能，大資料的所有環節都是低效的，也是沒有生命力的。

誰能回答我什麼叫大資料？大資料的核心內容是什麼呢？

2樓：記憶染離殤

大資料包含幾個方面的內涵吧

1. 資料量大，tb，pb，乃至eb等資料量的資料需要分

內析處理。

2. 要求快速響應，市容場變化快，要求能及時快速的響應變化，那對資料的分析也要快速，在效能上有更高要求，所以資料量顯得對速度要求有些「大」。

3. 資料多樣性：不同的資料來源，非結構化資料越來越多，需要進行清洗，整理，篩選等操作，變為結構資料。

4. 價值密度低，由於資料採集的不及時，資料樣本不全面，資料可能不連續等等，資料可能會失真，但當資料量達到一定規模，可以通過更多的資料達到更真實全面的反饋。

很多行業都會有大資料需求，譬如電信行業，網際網路行業等等容易產生大量資料的行業，很多傳統行業，譬如醫藥，教育，採礦，電力等等任何行業，都會有大資料需求。

隨著業務的不斷擴張和歷史資料的不斷增加，資料量的增長是持續的。

如果需要分析大資料，則可以hadoop等開源大資料專案，或yonghong z-suite等商業大資料bi工具。

不同行業的資料有不同的自身特點，還需要結合自身的行業知識才能把大資料轉換為價值。

什麼是大資料，大資料的核心價值是什麼？

大資料核心技術有哪些

3樓：西安it優就業

大資料技術的體系龐大且複雜，基礎的技術包含資料的採集、資料預處理、分散式儲存、nosql資料庫、資料倉儲、機器學習、平行計算、視覺化等各種技術範疇和不同的技術層面。首先給出一個通用化的大資料處理框架，主要分為下面幾個方面：資料採集與預處理、資料儲存、資料清洗、資料查詢分析和資料視覺化。

資料採集有硬體採集，如obd，有軟體採集，如滴滴，**。資料儲存就包括nosql，hadoop等等。資料清洗包括語議分析，流**格式化等等。

資料探勘包括關聯分析，相似度分析，距離分析，聚類分析等等。資料視覺化就是web的了。

4樓：加米穀大資料科技

簡單說有三大核心技術：拿資料，算資料，賣資料。

1、大資料採集與預處理：

flume ng實時日誌收集系統，支援在日誌系統中定製各類資料傳送方，用於收集資料，同時，對資料進行簡單處理；

logstash是開源的伺服器端資料處理管道，能夠同時從多個**採集資料、轉換資料，然後將資料傳送到「儲存庫」中；

sqoop，用來將關係型資料庫和hadoop中的資料進行相互轉移的工具，可以將一個關係型資料庫中的資料匯入到hadoop中，也可以將hadoop中的資料匯入到關係型資料庫中；

zookeeper是一個分散式的，開放原始碼的分散式應用程式協調服務，提供資料同步服務。

2、處理和分析大資料：

算資料需要計算平臺了，資料怎麼存(hdfs, s3, hbase, cassandra)，怎麼算(hadoop, spark)。兩大重點：

hadoop：一種通用的分散式系統基礎架構，具有多個元件：hadoop分散式檔案系統(hdfs)，它將檔案以hadoop本機格式儲存並在叢集中並行化; yarn，協調應用程式執行時的排程程式; mapreduce，這是實際並行處理資料的演算法。

spark：專注於在叢集中並行處理資料，使用rdd(彈性分散式資料集)處理ram中的資料。

3、大資料應用：

大資料的實際應用場景，如金融大資料、教育大資料、餐飲大資料、交通大資料、工業大資料、農業大資料等。