你听说过一种叫做“Sheng”的语言吗?这是一种斯瓦希里语-英语俚语,主要使用者为肯尼亚内罗毕等城市地区的青年。近年来,随着“Sheng”的使用量不断增加,一家非盈利组织正在帮助更新该地区的社区信息资源,随时根据词汇中的新变化做出调整,以便及时为当地的人们提供尽可能准确可靠的信息。
CLEAR Global,前身为无国界译者(Translators Without Borders),是一个非营利组织,致力于帮助人们突破语言的边界,获取重要信息并积极传达自身观点。
CLEAR Global与澳鹏Appen作为公益合作伙伴,长期在一些文化发展较为不足的地区积极开发语音聊天机器人等人工智能应用,以促进当地的文化交流和人们的心理健康。
CHALLENGE
挑 / 战
CHALLENGE
由于“Sheng”是澳鹏Appen和CLEAR Global从未处理过的一种新语言,澳鹏Appen语言学家团队需要围绕语言研究、最佳实践和方法论开发一个项目模型。澳鹏Appen团队需要提供针对该语言特性的咨询服务,并形成定制文档,在未来的应用中实现类似的输出。
“Sheng”的使用发展迅速,目前已经被应用于广告和各类社会活动中。然而,由于社区之间的语言差异很大,词汇转换率很高,为形成规范文档带来了一定挑战。
SOLUTION
解 / 决
SOLUTION
在处理一种对澳鹏Appen而言复杂或陌生的语言时,我们的团队会进行结构化研究,其输出是一份语言特性(LSP)文档。LSP是一份简明的研究文档,它概述一种语言的语音、语法和缀字法,以及该语言的应用环境,例如语音聊天机器人等。
“Sheng”LSP需要强调这些变化模式,以帮助开发人员在他们的模型中妥善处理可变性。在两个多月的时间里,项目团队提供了5种咨询模板、一份Sheng LSP文档和一份LSP模板,其中包含了创建未来LSP文档的说明。
“作为一名母语为Sheng和斯瓦希里语的人,澳鹏Appen提供的LSP文档的精准度让我印象深刻。这是个强大的工具,展现出诸多未开发语言的无限可能,相信我们可以在这些语言领域大有所为。”
——Paul Waramabo
CLEAR Global 斯瓦希里语负责人
RESULT
成 / 果
RESULT
该项目的咨询模板和LSP模板专为CLEAR Global开发,供人们进行可持续的进一步研究,特别是研究不太为人所知的小语种。通过澳鹏Appen提供的材料,CLEAR Global能够开发自己的LSP研究文档,用于未来开发一系列非洲语言的ASR模型。
与此同时,澳鹏Appen也通过参与此项目深受启发,为不同项目开发和编写的LSP文档的专业知识和流程得到进一步优化,这对于未来研究资源较少的语言和方言将大有裨益。