Distcp une nouvelle tentative erreur lorsque j'utilise les informations d'identification de SSFE

voix
0

Je suis en train de pousser certains fichiers journaux de HDFS au seau s3

J'utilise la commande distcp pour cela, mais il continue à essayer depuis longtemps, me S'il vous plaît aider à résoudre ce.

sudo -u hdfs hadoop distcp -Dfs.s3a.access.key=xxxxxxxxxx -Dfs.s3a.secret.key=xxxxxxxxxxxxxx hdfs://prod1/data/exchange/inventory_snapshot/20160610 s3a://test-inventory-snapshot/test/

18/11/27 15:01:41 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false, syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[hdfs://prod1/data/exchange/inventory_snapshot/20160610], targetPath=s3a://test-inventory-snapshot/test, targetPathExists=true, preserveRawXattrs=false}
18/11/27 15:01:41 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:47 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:48 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:49 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:50 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:51 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:52 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)

lorsque je tente de faire une commande ls cela fonctionne, quelque chose de mal avec la façon dont je passe mes SSFE lettres de créance,

sudo -u hdfs hadoop fs -ls hdfs://prod1/data/exchange/inventory_snapshot/20160610
Found 1 items
drwxr-xr-x   - user hdfs          0 2016-06-10 12:30 hdfs://prod1/data/exchange/inventory_snapshot/20160610/.metadata

 hadoop version
Hadoop 2.7.1.2.3.2.0-2950
Subversion git@github.com:hortonworks/hadoop.git -r 5cc60e0003e33aa98205f18bccaeaf36cb193c1c
Compiled by jenkins on 2015-09-30T18:08Z
Compiled with protoc 2.5.0
From source with checksum 69a3bf8c667267c2c252a54fbbf23d
This command was run using /usr/hdp/2.3.2.0-2950/hadoop/lib/hadoop-common-2.7.1.2.3.2.0-2950.jar
Créé 27/11/2018 à 15:11
source utilisateur
Dans d'autres langues...                            


1 réponses

voix
2

Connexion à ResourceManager à xxxx.xxxx.com/xx.xx.xx.x:8032

On dirait que vous ne pouvez pas atteindre votre YARN ResourceManager de l'hôte que vous essayez d'exécuter un travail de distcp. Les « Hadoop fs -ls » fonctionne parce qu'il ne comporte pas YARN.

Il y a plusieurs raisons pour lesquelles cela pourrait se produire. Vérifiez si ResourceManager fonctionne bien sur le nœud xxxx.xxxx.com/xx.xx.xx.x:8032, vérifiez si vous pouvez atteindre cet hôte / port. Essayez d'exécuter un autre travail MapReduce (par exemple Pi à partir d'exemples de Hadoop).

Créé 27/11/2018 à 16:00
source utilisateur

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more