2023 英特尔On技术创新大会中国站已正式上线!

2023 英特尔On技术创新大会中国站已正式上线!大会面向智算时代的开发者,由中国专家深度讲解英特尔最新一代加速AI能力的计算平台,支持开放、多架构的软件方案和工具,塑造未来的技术和应用创新。即刻注册登录,共同观看2场主题演讲,5大技术洞察,5大专题论坛,19堂专题课程,20个DEMO演示,精彩不间断!#英特尔On技术创新大会# #IntelON# 点击链接访问官网,参加活动:https://ua

openlab_4276841a 1年前
5804 0 0

親愛的我把AI模型縮小了- 模型減量與壓縮技術簡介

作者:英特尔边缘计算创新大使 許哲豪 博士 1989年科幻电影《亲爱的,我把孩子缩小了》,2015年「蚁人」,2017年「缩小人生」,以及我们从小看到大的多啦A梦「缩小灯」、「缩小隧道」,都不约而同的提到一个概念,就是可以通过一种神奇的机器,就能把人的体积大幅缩小但生理机能完全不减。 这里姑且不论是否符合物理定律,但如果真的能实现,就会像「缩小人生」中所提到的,可大幅减少地球资源的浪费,大幅改善

openlab_4276841a 1年前
6724 0 0

使用英特尔独立显卡上加速HALCON AI推理

作者:张佳骥 MVTec 售前工程师;张晶 英特尔AI开发者市场部经理 1.1 什么是HALCONMVTec HALCON 是一款在全球范围内使用,综合性的机器视觉标准软件。它有一个专门的集成开发环境(HDevelop),专门用于开发图像处理解决方案。使用 MVTec HALCON,您可以: · 受益于灵活的软件架构 · 加快所有可行的机器视觉应用发展 · 保证快速进入市场 · 持续地降低成

openlab_4276841a 1年前
12424 0 0

如何利用低比特量化技术进一步提升大模型推理性能

作者:杨亦诚 针对大语言模型(LLM)在部署过程中的性能需求,低比特量化技术一直是优化效果最佳的方案之一,本文将探讨低比特量化技术如何帮助LLM提升性能,以及新版OpenVINO™ 对于低比特量化技术的支持。 · 大模型性能瓶颈相比计算量的增加,大模型推理速度更容易受到内存带宽的影响(memory bound),也就是内存读写效率问题,这是因为大模型由于参数量巨大、访存量远超内存带宽容量,意味着模

openlab_4276841a 1年前
15688 0 0

如何在LangChain中调用OpenVINO加速大语言模型

作者:杨亦诚 LangChain简介 LangChain是一个高层级的开源的框架,从字面意义理解,LangChain可以被用来构建 “语言处理任务的链条”,它可以让AI开发人员把大型语言模型(LLM)的能力和外部数据结合起来,从而去完成一些更复杂的任务。简单来说,LangChain可以让你的LLM在回答问题时参考自定义的知识库,实现更精确的答案输出。例如在以下这个Retrieval Augment

openlab_4276841a 1年前
8284 0 0