Tensorflow - Sparse recherche d'intégration qui reste clairsemée

voix
0

Je mettre en œuvre un classificateur de texte avec une CNN similaire à Kim 2014 avec tensorflow. Tensorflow fournit tf.nn.embedding_lookup_sparse, ce qui vous permet de fournir le mot ID en tant que tenseur clairsemée. C'est agréable, en particulier pour permettre des séquences de longueur variable. Cependant, cette fonction nécessite une étape « combinaison » après la recherche, comme « moyenne » ou « somme ». Il en retour à l'contraint espace dense tenseur. Je ne veux pas faire une combinaison. Je veux garder mes vecteurs dans la représentation clairsemée, donc je peux faire d' autres circonvolutions après. Est - ce possible TF?

EDIT: Je veux éviter l'entrée padding avant la recherche de noyage. En effet , la recherche d'intégration de tensorflow génère des vecteurs de la valeur de pad, et son une bidouille essayer de le masquer avec des zéros (voir ici) .

Créé 07/11/2018 à 20:22
source utilisateur
Dans d'autres langues...                            


1 réponses

voix
0

Je pense qu'il ya deux points de confusion dans la question. Tout d' abord, l'opération de combinaison se produit à travers l'ensemble d'ID enrobage pour chaque ligne de l'entrée des indices rares sp_ids. Donc , si sp_idsa une forme de N x 1, alors vous êtes « Combining » juste un vecteur par l' intégration de chaque rangée de sp_ids, qui vient récupérer qu'intégrer vecteur (qui est je pense que ce que vous dites que vous voulez).

D' autre part cependant, la valeur de retour est le vecteur d'intégration pour chaque rangée d'entrée. Le vecteur d'intégration lui - même est un vecteur dense, par définition même de ce que l'intégration est et ce que les opérations d' enrobage tensorflow calculer. Donc , ce résultat de retour sera toujours dense, et c'est ce que vous voulez. Une représentation matricielle clairsemée serait horriblement inefficace, puisque la matrice sera vraiment dense (plein de plongement denses), que toute opération « combinateur » se produit ou non.

Le document de recherche que vous ne semble pas lié à faire tout type de méthodologie spéciale qui résulterait dans un cas particulier d'un vecteur d'intégration clairsemée, donc je ne vois pas une raison ici pour attendre ou désirer sorties rares.

Peut-être que je me trompe, pouvez-vous fournir plus de détails sur la raison pour laquelle vous vous attendez les vecteurs eux-mêmes pour être enrobage des vecteurs rares? Ce serait une situation très inhabituelle le cas échéant.

Créé 07/11/2018 à 20:56
source utilisateur

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more