Différence entre MapReduce de magasin de données comme CouchDB et celle de Hadoop?

voix
1

Récemment sur un webinaire par Couchbase, ils ont dit que Hadoop être utilisé pour traiter un grand fichier journal et Couchbase pour présenter à la couche d'application. Ils ont affirmé que la carte et de réduire de Couchbase et Hadoop était différent et adapté au cas d'utilisation respectif mentionné. J'allais utiliser la carte Couchbase réduire pour traiter un grand amouont du fichier journal. Quelqu'un peut s'il vous plaît préciser la différence exacte entre les deux carte réduire? Y a-t-il des fonctionnalités Hadoop ce qui le rend plus approprié pour le traitement de gros fichiers journaux?

Merci...

Créé 13/05/2012 à 11:33
source utilisateur
Dans d'autres langues...                            


2 réponses

voix
3

la principale différence dans le fait que Couchbase utilise la carte incrémentale / réduire et ne scanne pas toutes les données définies dont vous avez besoin de mettre à jour ou supprimer les éléments. Une autre différence est l'ampleur de la « grande ». si vous avez besoin de traiter des centaines de giga-octets de journaux une fois alors le meilleur choix du Couchbase.

Créé 13/05/2012 à 15:16
source utilisateur

voix
2

Couchbase est l'une des nombreuses applications de stockage de données NoSQL. Les données sont stockées par paires clé / valeur, avec les clés indexés pour une récupération rapide.

A l'inverse des données dans Hadoop n'est pas indexé (autre que le nom du fichier), et en tirant une valeur spécifique d'un fichier HDFS est beaucoup plus lent, peut-être impliquant la numérisation de nombreux fichiers.

Vous utiliserez généralement quelque chose comme Hadoop MapReduce pour traiter des fichiers volumineux, et mettre à jour / remplir un magasin NoSQL (comme Couchbase).

L'utilisation d'un magasin de données NoSQL pour le traitement de grandes quantités de données sera très probablement moins efficace que d'utiliser MapReduce pour faire le même travail. Mais le datastore NoSQL sera en mesure de réparer une couche web beaucoup plus efficace qu'un travail MapReduce (qui peut prendre 10 secondes de son pour initialiser et minutes / heures pour exécuter).

Créé 13/05/2012 à 15:13
source utilisateur

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more