การรู้จำท่าสะกดนิ้วแบบอเมริกันด้วยโมดูลการรวบรวมเชิงเวลา และการเรียนรู้แบบหลายงาน

ในงานวิจัยนี้ได้น าเสนอวิธีการส าหรับการรู้จ าท่าสะกดนิ้วแบบอเมริกันโดยใช้ชุดข้อมูลวิดีโอท่าสะกดนิ้วที่เก็บ
รวบรวมจากการใช้งานจริงที่เผยแพร่บนอินเทอร์เน็ต ซึ่งมีความหลากหลายของล่ามภาษามือและสภาพแวดล้อมวิดีโอ
สูง โดยใช้โครงข่ายประสาทเทียม งานวิจัยนี้น าเสนอโมดูลการรวบรวมเชิงเวลา (Temporal Aggregation Module:
TAGG) ในสถาปัตยกรรมโครงข่ายประสาทเทียม เพื่อช่วยให้แบบจ าลองโครงข่ายประสาทเทียมสามารถเก็บรวบรวม
ความสัมพันธ์เชิงเวลาของเฟรมที่อยู่ใกล้กันจากช่วงความยาวเฟรมหลายค่า ท าให้แบบจ าลองมีความทนทานต่อ
ความเร็วในการท าท่าสะกดนิ้วของล่ามภาษามือที่มีค่าไม่คงที่ และความยาวของท่ าสะกดนิ้วแต่ละท่าที่ไม่เท่ากัน
นอกจากนี้ งานวิจัยนี้ยังได้น าเสนอการรู้จ าท่าสะกดนิ้วจากการเรียนรู้แบบหลายงาน (Multitask learning) ซึ่ง
ประกอบด้วยการเรียนรู้จากการจ าแนกการเชื่อมต่อชั่วคราว (Connectionist Temporal Classification: CTC) และ
การเรียนรู้จากตัวถอดรหัสความสนใจ (Attention-based Decoder) การแบ่งปันข้อมูลกันระหว่างการเรียนรู้หลาย
แบบช่วยให้แบบจ าลองสามารถท างานได้ดียิ่งขึ้นกับข้อมูลที่มีความหลากหลายสูง จากผลการทดลองวิธีการที่น าเสนอ
สามารถให้ผลการประเมินประสิทธิภาพที่อัตราความผิดพลาดระดับตัวอักษรที่ต่ ากว่าวิธีที่มีอยู่เดิม