4月21日至23日,第37届四川省青少年科技创新大赛终评展示暨颁奖活动在资阳举行。记者获悉,乐山一中高二(21)班学生吉克杨坡的作品《基于mediapipe和openCV的手语识别》荣获四川省青少年科技创新作品一等奖,吉克杨坡个人荣获“四川省科协主席奖”。
“我看过一个视频,在人来人往的街头,一名聋哑朋友用手语向路人询问一些信息,由于路人不懂手语,并不能为聋哑朋友提供有效的帮助,这就让我萌发了设想用计算机技术解决手语翻译的问题,实现与聋哑人的有效沟通。”去年暑假,学校动员同学们积极参与省青少年科技创新大赛,吉克杨坡便借此机会完成自己的设想,并通过网上自学软件、请教指导老师岑雪莲、徐梦,初步完成了该作品。
“简单来说,我的获奖作品就是一段程序,使用工具包‘mediapipe’‘openCV’编写的一段能识别简单的手语手势的程序。”他解释说,通过使用openCV调用设备的摄像头采集连续图像并处理图像,再使用mediapipe定位识别手部的3D位置,得到手部21个关机键点坐标数组,再对这些坐标进行各种运算、限制,对应读取手势语言。
他告诉记者,作品的创新之处在于融合运用opencv强大的图像处理功能和mediapipe的手部模型提取的功能,以及综合运用角度计算等,使得判断更稳定,判断的姿势更丰富。“这款识别系统不只可应用于手语翻译,也可以通过它来控制计算机,为人机交互的进一步发展提供一条新的道路。”他说。
“目前,这段程序只在Windows系统中测试,已实现数字等简单手语翻译,将来再加入关键帧的提取和语言学等知识,实现手语的翻译指日可待。”吉克杨坡坦言,他目前正处于进入高三的关键阶段,学业繁忙,暂时无法继续钻研下去,“我希望未来有一天我能完成它,成功实现手语翻译,装于便捷的设备中,提供给需要帮助的人。”