WHUG Azure HDInsight

10
Microsoft HDInsight Hadoop na Windows Azure Wlodek Bielski MCSE/MCSA/MCITP: SQL Server BI [email protected]

description

Session from Warsaw Hadoop User Group meeting.

Transcript of WHUG Azure HDInsight

Page 1: WHUG Azure HDInsight

Microsoft HDInsightHadoop na Windows Azure

Wlodek BielskiMCSE/MCSA/MCITP: SQL Server [email protected]

Page 2: WHUG Azure HDInsight

Big Data wg Microsoft

• Hadoop jako uzupełnienie SQL Server BI– Sterowniki, konektory

• Wiele rodzajów danych, jedno narzędzie– Excel 2013 + PowerBI

• Zarządzalność– Windows Server + System Center

Page 3: WHUG Azure HDInsight

Big Data wg Microsoft

Page 4: WHUG Azure HDInsight

Microsoft HDInsight

• Współpraca z Hortonworks (Hortoworks Data Platform for Windows)• HDInsight Server– Preview ograniczony do 1 węzła

• HDInsight Service – Windows Azure– Klaster Hadoop w chmurze

Page 5: WHUG Azure HDInsight

Architektura

• Węzły jako maszyny wirtualne Windows Azure• Dane w Azure Storage Vault lub HDFS• Kluczowe binaria jako usługi Windows

Page 6: WHUG Azure HDInsight

Tworzenie klastra HDInsight

Page 7: WHUG Azure HDInsight

Składniki HDInsight

• Hadoop 1.1.0• Hive 0.9.0• Pig 0.9.3• Sqoop 1.4.2• Oozie 3.2.0• HCatalog 0.4.1• Templeton 0.1.4• SQL Server JDBC Driver 3.0

• .NET SDK for Hadoop– .NET Streaming– LINQ to Hive

• PowerShell cmdlets• Hive ODBC Driver

Page 8: WHUG Azure HDInsight

Składniki HDInsight

Page 9: WHUG Azure HDInsight

Jak zacząć?

• Wersja testowa Windows Azurewww.windowsazure.com/pl-pl/pricing/free-trial

• Microsoftwww.windowsazure.com/en-us/documentation/services/hdinsight/

• Dokumentacja Windows Azure Guidancehttp://wag.codeplex.com/

• Dokumentacja Hortonworkswww.hortonworks.com/products/hdp

Page 10: WHUG Azure HDInsight