【概要描述】

当前，生成式AI和年夜模子正以燎原之势走进制造、金融、医疗、交通、教育等行业和范畴，激发行业更多立异和变化，加快全社会数字化和智能化转型。近日，工信部赛迪研究院发布陈述显示，2023年我国生成式人工智能市场范围有望冲破10万亿元。作为中国领先的计较产物方案供给商和AI办事器市场TOP3，宝德计较凭仗丰硕的市场经验和对客户AI需求的深入洞察，联袂英特尔AI软硬件根本手艺，匠心打磨和推出了宝德生成式AI解决方案。

一键摆设，矫捷定制

宝德AIGC解决方案是软硬一体化解决方案，既可以集群摆设也能够单机摆设，方案架构包括硬件层、平台层、办事层和利用层。在硬件层，宝德充实阐扬了20年办事器行业手艺堆集，供给涵盖AI练习办事器、AI推理办事器和AI边沿产物等多平台选择和可兼容，进行模子的高速练习、微和谐高效推理。在硬件根本上，方案采取K8S进行集群资本治理（单机摆设采取Docker）。基在雄厚的硬件层和平台层，在办事层摆设了ChatGLM年夜模子推理办事、由GLM微调而来的行业年夜模子-宝德酒业年夜模子推理办事、宝德自研的嵌入数据仓库办事，可以将行业数据转换成向量数据，存储到向量数据库中，经由过程类似度匹配算法查询出相干内容交给年夜说话模子进行推理、LLM Functions办事，首要让年夜说话模子具有挪用后端接口的能力。基在这些硬件和办事，宝德开辟了诸如聊德宝、AI客服和数字人等多种AI利用，可普遍办事在行业年夜模子、智能语音助手、收集直播、线上教育和培训等范畴。

值得一提的是，宝德深耕行业多年，基在对市场的理解和对客户生成式AI多样性的计较需求，可供给生成式AI解决方案的定制化办事。

机能出色、本钱可控

AIGC快速成长之时，算力愈来愈紧缺和本钱愈来愈高，逐步成为影响AIGC成长和落地利用的“绊脚石”。而且，从年夜模子的成长和利用看，AI推理的范围远高在练习，有用下降推理本钱成为宝德的思绪。对此，宝德手艺团队颠末频频测试和调优，精心预备了全数采取英特尔全新的至强处置器（Max系列）平台，和Intel GPU的AIGC解决方案，使其集壮大的AI计较、推理机能和出色的经济效益在一体，以充实释放AI动能。

第四代英特尔®至强®可扩大处置器MAX系列CPU在年夜说话模子（LLM）推理方面有怪异优势。它有32至56个内核，可供给最高112线程，内置英特尔高级矩阵扩大（AMX）的AI加快功能，可帮忙诸如图象辨认、对象探测等使命中的张量处置取得多倍效力晋升，并可用在INT8、BF16等分歧数据格局，机能高达爱游戏上一代10倍。并且所有MAX处置器都内置了64GB的HBM2e 高带宽内存，分为4个16GB的集群，总内存带宽为1 TB / s，可以或许解决年夜模子工作负载常常遭到内存带宽限制的逆境，数倍晋升推理机能。而且，其价钱极具竞争力。

宝德在基在此CPU和Intel Flex GPU的自研办事器PR2715E上开辟摆设了LLM方案-聊德宝，它具有挪用私域数据的能力，让AI利用加倍智能化、个性化地为用户供给办事，今朝已利用在宝德办事器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产物。聊德宝具有快速迁徙、便捷摆设、多路并发的显著优势；最主要的是，该方案价钱同比其它常规方案最高节俭跨越50%！

更妙的是，近日宝德办事器周全进级到第五代英特尔®至强®平台，第五代英特尔®至强®处置器除具有更靠得住的机能和更超卓的能效外，它的AI机能年夜幅度晋升，每一个内核都具有 AI 加快功能，无需添加自力加快器，便可处置要求严苛的 AI 工作负载，包罗对参数目多达 200 亿的模子进行推理和调优。 是以宝德AIGC解决方案将进一步测试适配进级到第五代英特尔®至强®平台，为客户摆设AI利用供给更具性价比的优选方案。

年夜模子和AIGC正在日新月异地蓬勃成长，加快利用场景落地和引领财产变化势不成挡。宝德将继续联袂英特尔，阐扬AI优势，结合立异研发和利用，不竭迭代优化生成式AI解决方案，为数据中间等客户打造高效便当和加倍普惠的AI根本举措措施，加快释放AI动能，更好地办事中国数字经济高质量成长！

• 分类： 博鱼新闻
• 作者：博鱼
• 来源：集团新闻
• 发布时间：2024-05-20
• 访问量： 0