Aprenda o que há de mais recente em aprendizado de máquina, IA generativa e muito mais no WiML Symposium 2023
Registre-se
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
tensorflow :: ops :: StringNGrams
#include <string_ops.h> Cria ngrams a partir de dados de string irregulares.
Resumo
Este op aceita um tensor irregular com 1 dimensão irregular contendo apenas strings e produz um tensor irregular com 1 dimensão irregular contendo ngrams daquela string, unidas ao longo do eixo mais interno.
Argumentos:
- escopo: um objeto Scope
- data: o tensor de valores do tensor de string irregular para fazer ngrams. Deve ser um tensor de string 1D.
- data_splits: O tensor de divisões do tensor de string irregular para fazer ngrams.
- separador: a string a ser anexada entre os elementos do token. Use "" para nenhum separador.
- ngram_widths: os tamanhos dos ngrams a serem criados.
- left_pad: a string a ser usada para preencher o lado esquerdo da sequência ngram. Usado apenas se pad_width! = 0.
- right_pad: a string a ser usada para preencher o lado direito da sequência ngram. Usado apenas se pad_width! = 0.
- pad_width: o número de elementos de preenchimento a serem adicionados a cada lado de cada sequência. Observe que o preenchimento nunca será maior que 'ngram_widths'-1, independentemente desse valor. Se
pad_width=-1 , então adicione max(ngram_widths)-1 elementos.
Retorna:
-
Output ngrams: O tensor de valores do tensor ragged ngrams de saída. -
Output ngrams_splits: O tensor de divisão do tensor ragged de ngrams de saída.
Atributos públicos
Funções públicas
StringNGrams
StringNGrams(
const ::tensorflow::Scope & scope,
::tensorflow::Input data,
::tensorflow::Input data_splits,
StringPiece separator,
const gtl::ArraySlice< int > & ngram_widths,
StringPiece left_pad,
StringPiece right_pad,
int64 pad_width,
bool preserve_short_sequences
)
Exceto em caso de indicação contrária, o conteúdo desta página é licenciado de acordo com a Licença de atribuição 4.0 do Creative Commons, e as amostras de código são licenciadas de acordo com a Licença Apache 2.0. Para mais detalhes, consulte as políticas do site do Google Developers. Java é uma marca registrada da Oracle e/ou afiliadas.
Última atualização 2020-04-20 UTC.
[null,null,["Última atualização 2020-04-20 UTC."],[],[],null,["# tensorflow::ops::StringNGrams Class Reference\n\ntensorflow::ops::StringNGrams\n=============================\n\n`#include \u003cstring_ops.h\u003e`\n\nCreates ngrams from ragged string data.\n\nSummary\n-------\n\nThis op accepts a ragged tensor with 1 ragged dimension containing only strings and outputs a ragged tensor with 1 ragged dimension containing ngrams of that string, joined along the innermost axis.\n\nArguments:\n\n- scope: A [Scope](/versions/r1.15/api_docs/cc/class/tensorflow/scope#classtensorflow_1_1_scope) object\n- data: The values tensor of the ragged string tensor to make ngrams out of. Must be a 1D string tensor.\n- data_splits: The splits tensor of the ragged string tensor to make ngrams out of.\n- separator: The string to append between elements of the token. Use \"\" for no separator.\n- ngram_widths: The sizes of the ngrams to create.\n- left_pad: The string to use to pad the left side of the ngram sequence. Only used if pad_width != 0.\n- right_pad: The string to use to pad the right side of the ngram sequence. Only used if pad_width != 0.\n- pad_width: The number of padding elements to add to each side of each sequence. Note that padding will never be greater than 'ngram_widths'-1 regardless of this value. If `pad_width=-1`, then add `max(ngram_widths)-1` elements.\n\n\u003cbr /\u003e\n\nReturns:\n\n- [Output](/versions/r1.15/api_docs/cc/class/tensorflow/output#classtensorflow_1_1_output) ngrams: The values tensor of the output ngrams ragged tensor.\n- [Output](/versions/r1.15/api_docs/cc/class/tensorflow/output#classtensorflow_1_1_output) ngrams_splits: The splits tensor of the output ngrams ragged tensor.\n\n\u003cbr /\u003e\n\n| ### Constructors and Destructors ||\n|---|---|\n| [StringNGrams](#classtensorflow_1_1ops_1_1_string_n_grams_1a52a1f08705af6ba58d3607b809b3f835)`(const ::`[tensorflow::Scope](/versions/r1.15/api_docs/cc/class/tensorflow/scope#classtensorflow_1_1_scope)` & scope, ::`[tensorflow::Input](/versions/r1.15/api_docs/cc/class/tensorflow/input#classtensorflow_1_1_input)` data, ::`[tensorflow::Input](/versions/r1.15/api_docs/cc/class/tensorflow/input#classtensorflow_1_1_input)` data_splits, StringPiece separator, const gtl::ArraySlice\u003c int \u003e & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)` ||\n\n| ### Public attributes ||\n|------------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------|\n| [ngrams](#classtensorflow_1_1ops_1_1_string_n_grams_1a447bd501492adc42e453473dd818baf0) | `::`[tensorflow::Output](/versions/r1.15/api_docs/cc/class/tensorflow/output#classtensorflow_1_1_output) |\n| [ngrams_splits](#classtensorflow_1_1ops_1_1_string_n_grams_1af326c6b4d4d0f53e7b7360546c807526) | `::`[tensorflow::Output](/versions/r1.15/api_docs/cc/class/tensorflow/output#classtensorflow_1_1_output) |\n| [operation](#classtensorflow_1_1ops_1_1_string_n_grams_1a96bbeebe04843441f8b36c587ed4f1c9) | [Operation](/versions/r1.15/api_docs/cc/class/tensorflow/operation#classtensorflow_1_1_operation) |\n\nPublic attributes\n-----------------\n\n### ngrams\n\n```text\n::tensorflow::Output ngrams\n``` \n\n### ngrams_splits\n\n```scdoc\n::tensorflow::Output ngrams_splits\n``` \n\n### operation\n\n```text\nOperation operation\n``` \n\nPublic functions\n----------------\n\n### StringNGrams\n\n```gdscript\n StringNGrams(\n const ::tensorflow::Scope & scope,\n ::tensorflow::Input data,\n ::tensorflow::Input data_splits,\n StringPiece separator,\n const gtl::ArraySlice\u003c int \u003e & ngram_widths,\n StringPiece left_pad,\n StringPiece right_pad,\n int64 pad_width,\n bool preserve_short_sequences\n)\n```"]]
