케라스NLP
TensorFlow에서 텍스트 처리를 시작하는 가장 쉬운 방법은 최첨단 사전 설정된 가중치 및 아키텍처를 갖춘 모듈식 구성 요소를 제공하는 자연어 처리 라이브러리인 KerasNLP를 사용하는 것입니다. KerasNLP 구성요소를 즉시 사용하거나 필요에 따라 사용자 정의할 수 있습니다. KerasNLP는 모든 워크플로에 대해 그래프 내 계산을 강조하므로 TensorFlow 생태계를 사용하여 손쉬운 제작을 기대할 수 있습니다.
KerasNLP를 설치하려면 설치를 참조하세요.
TensorFlow 텍스트
tensorflow_text 패키지는 TensorFlow와 함께 사용할 수 있는 텍스트 관련 클래스 및 작업 모음을 제공합니다. 라이브러리는 텍스트 기반 모델에 정기적으로 필요한 전처리를 수행할 수 있으며 핵심 TensorFlow에서 제공되지 않는 시퀀스 모델링에 유용한 기타 기능을 포함합니다.
자세한 설치방법은 가이드를 참고하세요
TensorFlow 모델 - NLP
TensorFlow 모델 저장소는 최첨단(SOTA) 모델 구현을 제공합니다. tensorflow-models-official pip 패키지에는 nlp.layers , nlp.losses , nlp.models 및 nlp.tasks 포함하여 SOTA NLP 모델을 구축하기 위한 많은 고급 기능과 클래스가 포함되어 있습니다.
pip 사용하여 패키지를 설치할 수 있습니다.
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
NLP 기능은 tfm.nlp 하위 모듈에서 사용할 수 있습니다.
import tensorflow_models as tfm
tfm.nlp