ตำราตำรา

หน้านี้แสดงรายการชุดคำแนะนำและเครื่องมือที่ทราบในการแก้ปัญหาในโดเมนข้อความด้วย TensorFlow Hub เป็นจุดเริ่มต้นสำหรับใครก็ตามที่ต้องการแก้ปัญหา ML ทั่วไปโดยใช้ส่วนประกอบ ML ที่ผ่านการฝึกอบรมมาแล้ว แทนที่จะเริ่มต้นจากศูนย์

การจำแนกประเภท

เมื่อเราต้องการที่จะทำนายชั้นเรียนเช่นกำหนดตัวอย่างเช่นความเชื่อมั่นความเป็นพิษประเภทบทความหรือลักษณะอื่นใด

กราฟิกการจำแนกข้อความ

บทช่วยสอนด้านล่างนี้กำลังแก้ไขงานเดียวกันจากมุมมองที่ต่างกันและใช้เครื่องมือที่แตกต่างกัน

Keras

การจัดหมวดหมู่ข้อความที่มี Keras - ตัวอย่างสำหรับการสร้างความเชื่อมั่นจําแนกไอเอ็มกับ Keras และ TensorFlow ชุดข้อมูล

ประมาณการ

การจัดหมวดหมู่ข้อความ - ตัวอย่างสำหรับการสร้างความเชื่อมั่นจําแนกไอเอ็มกับประมาณการ ประกอบด้วยเคล็ดลับหลายประการสำหรับการปรับปรุงและส่วนการเปรียบเทียบโมดูล

BERT

ทำนายความเชื่อมั่นรีวิวภาพยนตร์กับเบิร์ตบน TF Hub - แสดงให้เห็นถึงวิธีการใช้โมดูล BERT สำหรับการจำแนกประเภท รวมถึงการใช้ bert ห้องสมุด tokenization และประมวลผลเบื้องต้น

Kaggle

จำแนกไอเอ็มบน Kaggle - แสดงให้เห็นวิธีการง่ายโต้ตอบกับการแข่งขัน Kaggle จาก Colab รวมทั้งการดาวน์โหลดข้อมูลและส่งผล

ประมาณการ Keras TF2 TF Datasets BERT Kaggle APIs
การจัดประเภทข้อความ เสร็จแล้ว
การจัดประเภทข้อความด้วย Keras เสร็จแล้วเสร็จแล้วเสร็จแล้ว
ทำนายอารมณ์รีวิวหนังกับ BERT บน TF Hub เสร็จแล้วเสร็จแล้ว
การจัดประเภท IMDB บน ​​Kaggle เสร็จแล้วเสร็จแล้ว

งานบางลาด้วยการฝัง FastText

ปัจจุบัน TensorFlow Hub ไม่มีโมดูลในทุกภาษา บทช่วยสอนต่อไปนี้แสดงวิธีใช้ประโยชน์จาก TensorFlow Hub เพื่อการทดลองที่รวดเร็วและการพัฒนา ML แบบแยกส่วน

บางลาบทความลักษณนาม - แสดงให้เห็นถึงวิธีการสร้างนำมาใช้ใหม่ฝังข้อความ TensorFlow Hub และใช้ในการฝึกอบรมลักษณนาม Keras สำหรับ ชุดข้อมูลที่นักประพันธ์เพลงบางลาบทความ

ความคล้ายคลึงกันทางความหมาย

เมื่อเราต้องการค้นหาว่าประโยคใดมีความสัมพันธ์กันในการตั้งค่าแบบ Zero-shot (ไม่มีตัวอย่างการฝึกอบรม)

กราฟิกความคล้ายคลึงกันความหมาย

ขั้นพื้นฐาน

ความคล้ายคลึงกันความหมาย - แสดงให้เห็นถึงวิธีการใช้โมดูลประโยคเข้ารหัสความคล้ายคลึงกันประโยคคำนวณ

ข้ามภาษา

ครอสภาษาความหมายคล้ายคลึงกัน - แสดงให้เห็นถึงวิธีการใช้อย่างใดอย่างหนึ่งของการเข้ารหัสประโยคข้ามภาษาคล้ายคลึงกันประโยคคำนวณในหลายภาษา

การดึงความหมาย

การดึงความหมาย - แสดงให้เห็นถึงวิธีการใช้ Q / เข้ารหัสประโยคดัชนีคอลเลกชันของเอกสารสำหรับการเรียกใช้ขึ้นอยู่กับความหมายคล้ายคลึงกัน

ประโยคPiece input

ความคล้ายคลึงกันความหมายกับ Lite เข้ารหัสสากล - แสดงให้เห็นถึงวิธีการใช้โมดูลเข้ารหัสประโยคที่รับ SentencePiece รหัสกับการป้อนข้อมูลแทนข้อความ

การสร้างโมดูล

แทนการใช้โมดูลเฉพาะใน hub.tensorflow.google.cn มีวิธีในการสร้างโมดูลเอง นี้สามารถเป็นเครื่องมือที่มีประโยชน์สำหรับโมดูล ML codebase ที่ดีขึ้นและสำหรับการแบ่งปันเพิ่มเติม

การฝังการฝังที่ฝึกไว้ล่วงหน้าที่มีอยู่แล้ว

ข้อความส่งออกฝังโมดูล - เครื่องมือในการตัดที่มีอยู่ก่อนการฝึกอบรมการฝังเข้าไปในโมดูล แสดงวิธีรวมการดำเนินการก่อนการประมวลผลข้อความลงในโมดูล ซึ่งช่วยให้สามารถสร้างโมดูลการฝังประโยคจากการฝังโทเค็น

ข้อความฝังโมดูลส่งออก v2 - เช่นเดียวกับข้างต้น แต่เข้ากันได้กับ TensorFlow 2 และการดำเนินการกระตือรือร้น