昆仑万维全面开源Skywork-13B大语言模型系列,助推AI技术与商业应用向新高度迈进

时间:2023-10-31 所属栏目:行业动态 浏览:150
昆仑万维近期推出全新开源大语言模型Skywork-13B系列,拓展其在AIGC、信息传递等多领域的业务范围。Skywork-13B系列在多项权威评估标准上展现良好性能,同时开源的中文数据集为开发者提供强大支持。

昆仑万维近期宣布了其全新的开源大语言模型Skywork-13B系列,同时提供了一个庞大的高质量开源中文数据集,其容量高达600GB、包含150B Tokens。昆仑万维的创立可追溯至2008年,最初专注于游戏领域,现如今已拓展至AIGC、信息传递、社交娱乐等多个领域。自2020年起,公司开始进军AIGC领域,不仅推出了大型语言模型和AI搜索技术,同时也投资于AI芯片公司,进一步布局AI芯片领域。

Skywork-13B系列包括两个主要模型以及一个大规模的中文数据集。Skywork-13B-Base模型是该系列的基础模型,它利用了3.2万亿的高质量多语言数据进行训练。而Skywork-13B-Math模型则通过专门的数学能力强化训练。这些模型在中文处理方面表现优异,可广泛应用于科技、金融和政务等领域。

评分

Skywork-13B系列具有130亿参数和3.2万亿高质量多语言训练数据,拥有较强的生成、创作和数学推理能力。该系列模型已在CEVAL、CMML、MMLU、GSM8K等权威评估标准上进行过测试,并在与同规模大模型的比较中展现了良好的性能。

与此同时,昆仑万维也开源了一个名为Skypile/Chinese-Web-Text-150B的600GB高质量中文语料数据集,这是迄今为止最大的开源中文数据集之一,可助力开发者在大模型预训练和模型定制方面的需求。

值得一提的是,昆仑万维取消了商业使用中的许多常见限制,使得用户无需经过申请便可将Skywork-13B系列模型用于商业目的。

昆仑万维自2020年起在AIGC领域不断深耕,已积累了近三年的相关工程研发经验,并形成了包括AI大模型、AI搜索、AI游戏、AI音乐、AI动漫、AI社交在内的六大AI业务矩阵。

2023年春季,昆仑万维推出了国产大语言模型‘天工3.5',并开启了邀请测试。随后在8月,推出了天工AI搜索产品。到9月,昆仑万维进一步加大了对AI芯片领域的投资,取得了来艾捷科芯的控股权。

昆仑万维的领导团队也十分强大,由早期参与开源生态建设和推动中文Linux开源的开源老兵方汉担任董事长兼CEO,同时,国际顶级的计算机视觉和机器学习专家颜水成也加入了昆仑万维,与创始人周亚辉共同担任天工智能的联席CEO,负责前沿技术的研发。

更多行业动态、技术前沿、AI数字人及AI教程等资讯,尽在智慧大脑!我们将持续为您提供最新资讯和深度见解,欢迎定期回访,以保持知识的更新。如果您有任何问题、建议或反馈,请随时与我们联系,再次感谢您一直以来的支持与关注!