借助OpenVINO™ 在NPU上运行BGE embedding模型，提升RAG整体性能
作者：杨亦诚 BGE全称是BAAI General Embedding，即北京智源人工智能研究院通用Embedding模型，它可以将任意文本映射到低维的稠密向量，在文本向量化任务中得到了广泛的应用。可以看到在C-MTEB中文排行榜中，BGE系列模型的综合能力名列前茅，而在MTEB排行榜所有小于500MB的模型列表中，基于相同模型结构的BGE英文版本bge-large-en-v1.5的综合能力也能位
openlab_96bf3613
11月前
如何使用 OpenVINO™ 生成式AI API (GenAI API) 以更少的代码构建更快的生成式AI应用
新的 OpenVINO™ 生成式AI API (GenAI API)为开发人员提供了更简单、更清晰的代码来维护。OpenVINO™也从计算机视觉和AI加速和优化库发展成为面向开发人员的生成式AI推动者。 作者：Raymond Lo, Dmitriy Pastushenkov, 武卓 Intel AI软件布道师 随着 ChatGPT 等聊天机器人的风暴席卷全球，生成式预训练Transformers
openlab_96bf3613
11月前
实战精选 | 使用OpenVINOTM和LlamaIndex构建Agentic-RAG系统
杨亦诚，英特尔高级 AI 工程师背景RAG系统的全称是Retrieval-augmented Generation，本质上是Prompt Engineering，通过在Prompt中注入检索得到的外部数据，可以有效地解决大语言模型在知识时效性和专业性上的不足。但同时传统的RAG系统也有它的缺陷，例如灵活性较差，由于RAG会过分依赖于向量数据库的检索结果，导致其在解决一些复杂问题的时候，只是一味地
openlab_96bf3613
11月前
基于Qwen-Agent与OpenVINOTM构建本地AI智能体
杨亦诚 Qwen2是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。Qwen2具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。 图：智能体中工具使用执行逻辑 Qwen-Agent是一个AI智能体的开发框架。开发者可基于本框架开发Agent应用，充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。同时该框
openlab_96bf3613
11月前
OpenVINO2024.2 - 三行代码完成生成式AI部署
英特尔边缘计算创新大使 贾志刚 OpenVINO介绍OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成式AI支持包，新发布的GenAI开发包支持C++与Python语言接口调用，支持多种LLM加载与推理部署能力，实现了OpenVINO对CNN网络、生成式模型、LLM网络主流模型的全面推理支持。安装包下载地址如下：https://doc
openlab_96bf3613
11月前
