Hive 3.1 fichiers delta ACID - auto-compactage mineur non déclenché

voix
0

J'ai un acide activé, cloisonné, bucketed table de ruche à laquelle je suis en train d'écrire à l'aide d'un client de streaming. Je vois que plusieurs fichiers delta sont créés comme les enregistrements sont écrits dans des partitions. Je voulais permettre de compactage automatique et essayé la base suivante et params spécifiques:

    hive.support.concurrency=true 
    hive.enforce.bucketing=true 
    hive.exec.dynamic.partition.mode=nonstrict 
    hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager 
    hive.compactor.initiator.on=true 
    hive.compactor.worker.threads=1

avec,

hive.compactor.initiator.on=true 
hive.compactor.cleaner.run.interval=5000ms 
hive.compactor.delta.num.threshold=10 (to enable minor for 10 deltas)
hive.compactor.delta.pct.threshold=1000 (to disable major)
hive.compactor.abortedtxn.threshold=1000 
hive.compactor.initiator.failed.compacts.threshold=2 
hive.compactor.abortedtxn.threshold=1000

Je l' ai fait ci - dessus avec l'espoir de désactivation majeur compactage et permettant automatique mineur compactage (seuil = 10 fichiers delta). Cependant , je vois qu'aucun compactage est déclenché automatiquement. Quand je le lance (mineur) à la main, je vois les seaux dans plusieurs fichiers delta fusionnés en un seul fichier delta. Comment puis-je activer le compactage auto-mineur pour une table?

Créé 07/11/2018 à 20:15
source utilisateur
Dans d'autres langues...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more