支持的精选 TensorFlow 算子

小心：算子列表会经常更新。

TensorFlow 核心算子

以下是具有精选 TensorFlow 算子功能的 TensorFlow Lite 运行时支持的 TensorFlow 核心算子的详尽列表。

TensorFlow Text 和 SentencePiece 算子

如果使用 Python API 进行转换并导入以下库，则支持下列 TensorFlow Text 和 SentencePiece 算子。

TF.Text 算子：

CaseFoldUTF8
ConstrainedSequence
MaxSpanningTree
NormalizeUTF8
NormalizeUTF8WithOffsetsMap
RegexSplitWithOffsets
RougeL
SentenceFragments
SentencepieceOp
SentencepieceTokenizeOp
SentencepieceTokenizeWithOffsetsOp
SentencepieceDetokenizeOp
SentencepieceVocabSizeOp
SplitMergeTokenizeWithOffsets
UnicodeScriptTokenizeWithOffsets
WhitespaceTokenizeWithOffsets
WordpieceTokenizeWithOffsets

SentencePiece 算子：

SentencepieceGetPieceSize
SentencepiecePieceToId
SentencepieceIdToPiece
SentencepieceEncodeDense
SentencepieceEncodeSparse
SentencepieceDecode

以下代码段展示了如何使用上述算子转换模型：

import tensorflow as tf
# These imports are required to load operators' definition.
import tensorflow_text as tf_text
import sentencepiece as spm

converter = tf.lite.TFLiteConverter.from_keras_model(your_model)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS
]
model_data = converter.convert()

在运行时端，还需要将 TensorFlow Text 或 SentencePiece 库链接到最终的应用或二进制文件。

用户定义的算子

注：此功能仅从 TensorFlow 2.5 版开始提供

如果您创建了自己的 TensorFlow 算子，您还可以通过在 experimental_select_user_tf_ops 中列出所需的算子，将包含它们的模型转换为 TensorFlow Lite，如下所示：

import tensorflow as tf

ops_module = tf.load_op_library('./your_ops_library.so')

converter = tf.lite.TFLiteConverter.from_saved_model(your_model)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS
]
converter.target_spec.experimental_select_user_tf_ops = [
    'your_op_name1',
    'your_op_name2'
]
model_data = converter.convert()

在运行时端，还需要将算子库链接到最终的应用或二进制文件。

将 TensorFlow 核心算子添加到允许列表。

如果您遇到 TensorFlow 核心算子不在上面允许列表中的情况，您可以在此处报告功能请求，并提供未在允许列表中列出的 TensorFlow 核心算子的名称。

您还可以从源代码创建自己的拉取请求。例如，如果您想要在允许列表中添加 raw_ops.StringToNumber 算子，则有三个地方可以像此提交一样更新。

(1) 将算子内核源代码添加到 portable_extended_ops_group2 BUILD 规则中。

filegroup(
    name = "portable_extended_ops_group2",
    srcs = [
        ...
+       "string_to_number_op.cc",

        ...
    ],
)

为了在 tensorflow/core/kernels 目录下找到相关的算子内核源文件，您可以搜索源代码位置，其中包含以下带有算子名称的内核声明：

REGISTER_KERNEL_BUILDER(Name("StringToNumber")                 \
                            .Device(DEVICE_CPU)                \
                            .TypeConstraint<type>("out_type"), \
                        StringToNumberOp<type>)

如果算子内核源代码需要在 tensorflow/core/kernels 目录下有任何头文件，则需要将头文件添加到 portable_extended_ops_headers BUILD 规则中，如下所示：

filegroup(
    name = "portable_extended_ops_headers",
    srcs = [
        ...
+       "string_util.h",

        ...
    ],
)

(2) 将算子名称添加到允许列表。

允许列表在 tensorflow/lite/delegates/flex/allowlisted_flex_ops.cc 中定义。需要列出 TensorFlow 核心算子名称，才能通过 Select TF 选项获得允许。

static const std::set<std::string>* allowlisted_flex_ops =
    new std::set<std::string>({
        ...
+       "StringToNumber",

        ...
    });

因为上面的列表按字母顺序排序，因此能确保名称处于正确的位置。

(3) 将算子名称添加到此指南页面。

为了向其他开发者展示算子成员，本指南页面也应该更新。此页面位于 tensorflow/lite/g3doc/guide/op_select_allowlist.md。

## TensorFlow core operators

The following is an exhaustive list of TensorFlow core operations that are
supported by TensorFlow Lite runtime with the Select TensorFlow Ops feature.

...
+*   `raw_ops.StringToNumber`
...