tokenizer

[US]/ˈtəʊkənaɪzə/
[UK]/ˈtoʊkənaɪzər/

Translation

n.a program or tool that breaks text into tokens, such as words or phrases

Phrases & Collocations

tokenizer input

ข้อมูลนำเข้าตัวแยกคำ

using a tokenizer

การใช้ตัวแยกคำ

tokenizer output

ผลลัพธ์ของตัวแยกคำ

tokenizer library

ไลบรารีตัวแยกคำ

tokenizer function

ฟังก์ชันตัวแยกคำ

tokenizer class

คลาสตัวแยกคำ

tokenizer method

เมธอดตัวแยกคำ

custom tokenizer

ตัวแยกคำแบบกำหนดเอง

Example Sentences

we used a fast tokenizer for efficient text processing.

เราใช้ตัวแปลงข้อความที่รวดเร็วเพื่อการประมวลผลข้อความที่มีประสิทธิภาพ

the tokenizer splits the text into individual tokens.

ตัวแปลงข้อความจะแบ่งข้อความออกเป็นโทเค็นแต่ละรายการ

a subword tokenizer handles rare words effectively.

ตัวแปลงข้อความย่อยจัดการกับคำที่หายากได้อย่างมีประสิทธิภาพ

the character tokenizer is simple but less effective.

ตัวแปลงข้อความตัวอักษรนั้นง่าย แต่มีประสิทธิภาพน้อยกว่า

we need a robust tokenizer for our nlp pipeline.

เราต้องการตัวแปลงข้อความที่แข็งแกร่งสำหรับท่อส่ง NLP ของเรา

the sentence tokenizer separates sentences accurately.

ตัวแปลงข้อความประโยคจะแยกประโยคได้อย่างถูกต้อง

the word tokenizer is a common starting point.

ตัวแปลงข้อความคำเป็นจุดเริ่มต้นที่พบบ่อย

we compared different tokenizers for optimal performance.

เราเปรียบเทียบตัวแปลงข้อความต่างๆ เพื่อประสิทธิภาพสูงสุด

the tokenizer’s output is used for feature extraction.

เอาต์พุตของตัวแปลงข้อความถูกใช้สำหรับการดึงคุณสมบัติ

regular expressions can be used to define a custom tokenizer.

สามารถใช้ regular expressions เพื่อกำหนดตัวแปลงข้อความที่กำหนดเองได้

Popular Words

Explore frequently searched vocabulary

Download App to Unlock Full Content

Want to learn vocabulary more efficiently? Download the DictoGo app and enjoy more vocabulary memorization and review features!

Download DictoGo Now