Hive vs Impala

Verschil Tussen Hive vs Impala ‘s

Hive is een data warehouse software project gebouwd op de top van APACHE HADOOP ontwikkeld door Jeff’ s team op Facebook met een huidige stabiele versie 2.3.0 uitgebracht. Het wordt gebruikt voor het samenvatten van Big data en maakt opvragen en analyse eenvoudig. Apache Hive is een effectieve standaard voor SQL-in Hadoop. Impala is een parallelle verwerking SQL query engine die draait op Apache Hadoop en gebruiken om de gegevens die opslaat in HBase verwerken (Hadoop Database) en Hadoop gedistribueerde bestandssysteem. Impala is een open-source product voor parallelle verwerking (MPP) SQL query engine Voor gegevens die zijn opgeslagen in een lokaal systeem cluster draait op Apache Hadoop. Apache Hive en Impala zijn beide belangrijke onderdelen van het Hadoop-systeem.

dus laten we zowel Hive als Impala in detail bestuderen:

HIVE

• Apache Hive helpt bij het analyseren van de enorme dataset die is opgeslagen in het Hadoop-bestandssysteem (HDFS) en andere compatibele bestandssystemen.
• Hive QL – voor het opvragen van gegevens die zijn opgeslagen in het Hadoop-Cluster.
• exploiteert de schaalbaarheid van Hadoop door vertaling.
• Hive is geen volledige Database.
• Het biedt geen updates op recordniveau.
• Hadoop is Batch-georiënteerd systeem.
• Hive Queries hebben een hoge latentie als gevolg van MapReduce.
• Hive biedt geen kenmerken van het zijn dicht bij OLAP.
• het meest geschikt voor datawarehouse-toepassingen.
• uitvoering van Query via MapReduce.
• query language kan gebruikt worden met aangepaste scalaire functies (UDF ‘s), aggregations (UDAF’ s) en tabelfuncties (UDTF ‘ s).
• Hive biedt ook indexering om te versnellen, indextype inclusief verdichting en bitmap index vanaf 0,10, meer indextypes zijn gepland.
• opslagtypen die door Hive worden ondersteund zijn RCfile, HBase, ORC en platte tekst.
• SQL-achtige queries (Hive QL), die impliciet worden omgezet in MapReduce of Tez, of Spark-taken.
• standaard slaat Hive metadata op in een ingesloten Apache Derby-database.

IMPALA

• Impala is een zoekmachine die draait op Hadoop. Het publiek beta test distributie werd aangekondigd in oktober 2012 en werd algemeen beschikbaar op mei 2013.
• Het ondersteunt HDFS Apache HBase opslag en Amazon S3.
• leest Hadoop-bestandsindelingen, waaronder tekst, Parket, Avro, RCFile, LZO en Sequentiebestand.
• ondersteunt Hadoop-beveiliging (Kerberos-authenticatie).
• gebruikt metadata, ODBC-stuurprogramma en SQL-syntaxis van Apache Hive.
• Het ondersteunt meerdere compressiecodecs:

(a) Snappy (aanbevolen voor de effectieve balans tussen compressieverhouding en decompressiesnelheid),

(b) Gzip (aanbevolen bij het bereiken van het hoogste compressieniveau),

(c) Deflate( niet ondersteund voor tekstbestanden), Bzip2, LZO (alleen voor tekstbestanden);

• Hiermee kunt u geneste structuren opvragen, waaronder kaarten, structs en arrays.
• het maakt gelijktijdige query ’s met meerdere gebruikers mogelijk en staat ook toegangsbeheer toe op basis van prioritering en wachtrijen van query’ s.

Head to Head vergelijkingen tussen Hive en Impala (Infographics)

Hieronder is de top 20 vergelijking tussen Hive en Impala:

belangrijk verschil tussen Hive en Impala

de verschillen tussen Hive en Impala worden uitgelegd in onderstaande punten:

• Hive is ontwikkeld door Jeff ‘ s team op Facebook, maar Impala is ontwikkeld door Apache Software Foundation.
• Hive ondersteunt bestandsformaat van Geoptimaliseerd row columnar (ORC) – formaat met zlib-compressie, maar Impala ondersteunt het parket-formaat met pittige compressie.
• Hive is geschreven in Java, maar Impala is geschreven in C++.
• Query verwerkingssnelheid In Hive is traag, maar Impala is 6-69 keer sneller dan Hive.
• bij Hive is de latentie hoog, maar bij Impala is de latentie laag.
• Hive ondersteunt opslag van RC-bestanden en ORC, maar Impala-opslag ondersteunt Hadoop en Apache HBase.
• Hive genereert query expressie tijdens het compileren, maar in Impala code generatie voor” big loops ” gebeurt tijdens runtime.
• Hive ondersteunt geen parallelle verwerking, maar Impala ondersteunt parallelle verwerking.
• Hive ondersteunt MapReduce, maar Impala ondersteunt MapReduce niet.
• in Hive is er geen beveiligingsfunctie, maar Impala ondersteunt Kerberos-authenticatie.
• bij een upgrade van elk project waar compatibiliteit en snelheid beide belangrijk zijn, is Hive een ideale keuze, maar voor een nieuw project is Impala de ideale keuze.
• Hive is fouttolerantie, maar Impala ondersteunt geen fouttolerantie.
• Hive ondersteunt complexe typen, maar Impala ondersteunt geen complexe typen.
• Hive is een batchgebaseerde Hadoop MapReduce, maar Impala is een MPP-database.
• Hive ondersteunt geen interactief computergebruik, maar Impala ondersteunt interactief computergebruik.
• Hive query heeft een probleem met “cold start”, maar in Impala daemon proces worden gestart tijdens het opstarten zelf.
• Hive resource manager is garen (nog een andere resource onderhandelaar) maar in Impala resource manager is native *garen.
• Hive distributies zijn allemaal Hadoop distributie, Hortonworks (Tez, LLAP) maar in Impala distributie zijn Cloudera MapR (*Amazon EMR).
• Hive audience is Data Engineers, maar in Impala publiek zijn Data Analist / data scientists.
• Hive doorvoer is hoog, maar in Impala doorvoer is laag.

Hive en Impala vergelijkingstabel

de primaire vergelijking tussen Hive en Impala wordt hieronder besproken.

serienummer	Basis For Comparison	Hive	Impala
	Developed By	Facebook	Apache Software Foundation
	File Format	Sequence file. Text File. Optimized row columnar (ORC) format with Zlib compression. RC file format.	Parquet formatith Avro LZO Sequentiebestand.
	Language	Written in JAVA	Written in C++
	Processing Speed	Hive is Slow	Impala is Fast
	Latency	High	Low
	Storage Support	RC file, ORC	Hadoop, Apache HBase
	Code Conversion	Generates query expression at compile time	Code generation happens at runtime.
	Supports Parallel Processing	No	Yes
	MapReduce Support	Yes	No
	Hadoop Security	No	Supports Kerberos Authentication.
	Usage	Ideal for project up-gradation	Ideal for starting New Project.
	Fault-Tolerant	Hive is Fault Tolerant.	Does not Supports Fault tolerance.
	Complex Types	Hive supports complex types.	Impala does not support complex types.
	Database Type	Hive is a batch-based Hadoop MapReduce.	It is MPP database
	Interactive Computing	Does not support Interactive computing.	Supports Interactive Computing.
	Execution	Hive query has a problem with “Cold Start”	Impala process always starts at the Boot-time of Daemons.
	Resource Management	YARN	Native *YARN
	Distributions	HIVE – all Hadoop Distributions, Hortonworks (Tez, LLAP)	Cloudera MapR, (*Amazon EMR)
	Audience	Data Engineers	Data Analyst/Data Wetenschappers
	Doorvoer	High-Throughput	Lage Doorvoer

Conclusie

In dit artikel hebben we geprobeerd showcase die welke zijn twee technologieën, namelijk Hive vs Impala ‘ s zijn en ook het belangrijkste verschil tussen deze technologieën. In praktische termen, kunnen we zeggen dat Hive en Impala zijn niet de concurrenten ze beide behoren tot dezelfde stichting die bekend staat als MapReduce voor het uitvoeren van de query ‘ s, het gebruik van beide kan het verschil maken. Volgens onze behoefte kunnen we het samen gebruiken of het beste volgens de compatibiliteit, behoefte en prestaties. Hive query taal is Hive QL die is zeer veelzijdig en universele taal, terwijl Impala is geheugenintensief en werkt niet goed voor het verwerken van zware gegevens operaties voorbeeld join queries. Als in uw project werk is gerelateerd aan batchverwerking voor een grote hoeveelheid gegevens, de korf zal beter in dat geval en als uw werk is gerelateerd aan de real-time proces van een ad-hoc query op gegevens dan Impala zal beter zijn in dat geval.

Aanbevolen artikelen

Dit is een leidraad geweest voor Bijenkorf vs Impala. Hier hebben we Hive vs Impala head to head vergelijking besproken, belangrijke verschillen, samen met infographics en vergelijkingstabel. U kunt ook kijken naar de volgende artikelen voor meer informatie –

1. Apache Hive vs Apache Spark SQL – 13 verbazingwekkende verschillen
2. Hive VS HUE – Top 6 nuttige vergelijkingen om
3. Apache Pig vs Apache Hive te leren – Top 12 nuttige verschillen
4. Hadoop vs Hive – ontdek de beste verschillen
5. met behulp van volgorde op functie In Hive
6. Complete Guide to Impala Database