31/10/2026
รู้ไหมคะว่า ถึงเราจะเล่าเรื่องเดียวกัน แต่ถ้าเปลี่ยนจากภาษาอังกฤษเป็นภาษาไทย AI อาจต้องใช้ token มากขึ้นในการประมวลผลค่ะ
แล้ว token เกี่ยวอะไรกับการคุยกับ AI?
ทุกครั้งที่ AI จะตอบเรา มันต้องอ่านข้อมูลที่เกี่ยวข้องก่อนค่ะ ทั้งคำสั่งที่เราให้ ข้อความที่คุยกันก่อนหน้า รวมถึงเอกสารที่เราแนบไปด้วย
ข้อมูลทั้งหมดนี้ต้องอยู่ภายในพื้นที่ที่เรียกว่า Context Window ซึ่งมีขีดจำกัดว่า รองรับได้กี่ Token ยิ่งข้อความใช้ Token มาก ก็ยิ่งกินพื้นที่ตรงนี้มากตามไปด้วยค่ะ
แล้วทำไมภาษาไทยถึงใช้ token มากกว่า? เหตุผลอยู่ที่วิธีอ่านของ AI ค่ะ
ก่อนประมวลผล ข้อความจะถูกแบ่งเป็นชิ้นเล็ก ๆ ที่เรียกว่า token บางชิ้นเป็นคำเต็ม บางชิ้นเป็นแค่ส่วนหนึ่งของคำ ตัวที่ทำหน้าที่แบ่งข้อความนี้เรียกว่า tokenizer
หลายโมเดลแบ่งภาษาอังกฤษได้ค่อนข้างคุ้มพื้นที่กว่าภาษาไทย เพราะภาษาไทยจะถูกซอยเป็นชิ้นเล็กกว่าภาษาอังกฤษ พอเล่าเรื่องเดียวกัน ภาษาไทยเลยอาจใช้ token มากกว่า
ฝั่งทีมไทยอย่าง SCB 10X ก็มีงานวิจัยที่น่าสนใจเกี่ยวกับการพัฒนา tokenizer สำหรับภาษาไทยค่ะ
ทีม SCB 10X เพิ่มคำย่อยภาษาไทย 5,000 หน่วยเข้าไปใน tokenizer ของ Typhoon-7B งานวิจัยเมื่อปี 2023 รายงานว่า tokenizer นี้จัดการข้อความไทยได้มีประสิทธิภาพกว่า tokenizer ของ GPT-4 ที่ใช้เปรียบเทียบในตอนนั้นประมาณ 2.6 เท่า
ตัวเลขนี้เทียบ tokenizer สองตัวกับข้อความไทยชุดเดียวกันนะคะ ไม่ได้หมายความว่าภาษาไทยใช้ token มากกว่าภาษาอังกฤษ 2.6 เท่า
ต้องยกเครดิตให้ทีม SCB 10X เลยค่ะ งานนี้แสดงให้เห็นว่าการออกแบบ tokenizer ให้เหมาะกับภาษาไทย ช่วยให้ AI ประมวลผลข้อความภาษาไทยได้มีประสิทธิภาพมากขึ้นจริง ๆ ค่ะ
แต่ถึง tokenizer จะคุ้มขึ้น หรือ context window จะใหญ่ขึ้น ก็ไม่ได้แปลว่าใส่ข้อมูลทุกอย่างลงไปได้โดยไม่ต้องเลือก เพราะไม่มีอะไรรับประกันว่า AI จะใช้ข้อมูลทุกส่วนได้แม่นเท่ากัน โดยเฉพาะเมื่อมีหลายเรื่องปนอยู่ในบทสนทนาเดียว
การเลือกว่าจะให้ AI เห็นข้อมูลอะไร มีชื่อเรียกว่า context engineering ค่ะ คือการดูว่าอะไรจำเป็นกับงาน อะไรควรสรุปไว้ และอะไรค่อยดึงมาใช้เมื่อถึงเวลา
ครั้งหน้าที่ AI เริ่มตอบหลุดจากสิ่งที่ตกลงกันไว้ ก่อนจะลองเปลี่ยน prompt ลองดูก่อนก็ได้ค่ะว่า ตอนนี้เราให้มันอ่านกี่เรื่องพร้อมกัน และข้อมูลสำคัญยังอยู่ครบไหม