红杉资本：关于AI的一份访谈报告-环球快播

（原标题：红杉资本：关于AI的一份访谈报告）

作者 | Michelle Fradin & Lauren Reeder

来源 | Sequoiacap
导语：所有被访企业都认为AI的发展速度太快，难以跟上节奏。
ChatGPT通过大型语言模型(Large Language Models)引发了创新浪潮，越来越多的公司将自然语言交互的能力应用到他们的产品中。
语言模型API的采用正在形成一种新的技术风潮。为了更好地了解人们正在构建的应用和所使用的技术栈，我们与红杉网络中的33家公司进行了访谈，包括种子阶段的初创企业和大型上市企业。
我们在两个月前和上周进行了访谈，以捕捉到变化的速度。
由于许多创始人和开发者自己还在摸索他们的人工智能战略，我们希望分享我们的发现，即使这个领域正在快速发展。

红杉网络中的几乎每家公司都在将语言模型集成到他们的产品中

【资料图】

我们已经看到了许多神奇的自动完成功能，涵盖了从代码（Sourcegraph、Warp、Github）到数据科学（Hex）的各个领域。我们还看到了更好的聊天机器人，用于客户支持、员工支持和消费者娱乐等方面。

其他一些公司则通过以人工智能为核心来重新构想整个工作流程，如视觉艺术（Midjourney）、营销（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、销售（Gong）、联系中心（Cresta）、法律（Ironclad、Harvey）、会计（Pilot）、生产力（Notion）、数据工程（dbt）、搜索（Glean、Neeva）、杂货购物（Instacart）、消费者支付（Klarna）和旅行规划（Airbnb）。这只是一小部分示例，这仅仅只是开始。

应用程序的新技术栈以语言模型API、检索和编排为中心，但开源模型的使用也在增长

65%的公司已经将应用程序投入生产，相比两个月前的50%有所增加，其余的公司仍在进行实验。

94%的公司正在使用基础模型API。在我们的样本中，OpenAI的GPT是明显的首选，占比为91%，然而Anthropic的兴趣在过去的一个季度增长到了15%（有些公司使用多个模型）。

88%的公司认为检索机制，比如向量数据库，将仍然是他们技术栈的关键部分。为模型提供相关上下文以进行推理有助于提高结果的质量，减少“幻觉”（不准确性）并解决数据新鲜度问题。一些公司使用定制的向量数据库（Pinecone、Weaviate、Chroma、Qdrant、Milvus等），而其他公司使用pgvector或AWS的解决方案。

38%的公司对像LangChain这样的LLM编排和应用开发框架很感兴趣。有些公司在原型设计中使用它，而其他公司在生产中使用它。在过去几个月里，采用率有所增加。

不到10%的公司正在寻找监控LLM输出、成本或性能以及A/B测试提示的工具。我们认为随着更多大公司和受监管行业采用语言模型，这些领域的兴趣可能会增加。

少数公司正在研究补充性的生成技术，例如结合生成文本和语音。我们也相信这是一个令人兴奋的增长领域。

15%的公司从头开始或使用开源工具构建定制语言模型，通常是在使用LLM API。几个月前，定制模型训练的需求有所增加。这需要自己的计算、搭建模型库、托管、训练框架、实验跟踪等技术栈，其中包括一些备受喜爱的公司，如Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等。

我们与每位从业者交谈时都说AI的发展速度太快，无法对最终技术栈有很高的信心，但他们一致认为LLM API将继续是一个关键支柱，其次是检索机制和LangChain类似的开发框架。开源和定制模型训练和调整似乎也在增长。其他领域的技术栈也很重要，但还处于早期阶段。

根据其独特的上下文定制语言模型

通用的语言模型很强大，但对于许多用例来说，并不具备差异化或足够的能力。很多公司希望能够在其数据上实现自然语言交互，例如开发者文档、产品库存、人力资源或IT规则等。在某些情况下，这些公司还希望根据用户的数据进行模型定制，比如个人笔记、设计布局、数据指标或代码库。

目前，有三种主要的定制语言模型的方法（有关更深入的技术解释，请参阅Andrej在Microsoft Build上的最新GPT现状演讲）：

1）从头开始训练一个定制模型，这也是最困难的方法。

这是解决这个问题的经典和最困难的方式。通常需要高技能的机器学习科学家、大量相关数据、训练基础设施和计算资源。这也是为什么在历史上大部分自然语言处理创新发生在大型科技公司内部的主要原因之一。

BloombergGPT是一个很好的例子，它是一个在大型科技公司之外进行定制模型工作的努力，使用了Hugging Face和其他开源工具资源。随着开源工具的改进和更多公司对LLM进行创新，我们预计会看到更多定制模型和预训练模型的使用。

2）微调基础模型，难度适中。

这是通过使用专有数据或领域特定数据进行额外训练来更新预训练模型的权重。开源创新也使这种方法变得越来越可行，但它通常仍需要一个精通的团队。

一些从业者私下承认，微调比听起来要困难得多，并且可能会产生意想不到的后果，比如模型漂移和在没有预告的情况下“破坏”模型的其他技能。虽然这种方法更有可能变得更普遍，但目前对于大多数公司来说仍然不可行。但同样，这一切正在迅速改变中。

3）使用预训练模型并检索相关上下文，难度最低。

人们通常认为他们希望为自己进行微调的模型，实际上他们只是希望在合适的时候让模型对其信息进行推理。有许多方法可以在适当的时间为模型提供正确的信息：

向SQL数据库进行结构化查询、在产品目录中进行搜索、调用一些外部API或使用嵌入式检索。嵌入式检索的好处是可以使用自然语言轻松搜索非结构化数据。

从技术上讲，这是通过将数据转化为嵌入式向量、将其存储在向量数据库中，在查询发生时搜索这些嵌入式向量以获得最相关的上下文，并将其提供给模型来实现的。

这种方法有助于突破模型的有限上下文窗口，成本更低，解决了数据新鲜度的问题（例如，ChatGPT不了解2021年9月之后的世界），并且可以由单独的开发人员在没有正式机器学习训练的情况下完成。向量数据库在高规模情况下非常有用，它们使存储、搜索和更新嵌入式向量变得更加容易。

到目前为止，我们观察到较大的公司仍在使用他们的企业云协议内的工具，并使用他们云服务提供商的工具，而初创公司倾向于使用专门构建的向量数据库。

然而，这个领域变化非常快速。上下文窗口正在增长（刚刚发布的消息，OpenAI将扩展到16K，而Anthropic推出了10万个令牌的上下文窗口）。基础模型和云数据库可能会直接嵌入检索功能到其服务中。我们将密切关注这个市场的发展。

LLM API的技术栈与定制模型训练的技术栈可能感觉有些分离，但随着时间的推移，它们会趋于融合

有时候我们会感觉存在两个技术栈：利用LLM API的技术栈（更多是闭源的，面向开发人员）与训练定制语言模型的技术栈（更多是开源的，历史上面向更复杂的机器学习团队）。一些人纳闷，LLM通过API的可用性是否意味着公司会减少自己的定制训练。到目前为止，我们看到的情况恰恰相反。

随着对AI的兴趣增加和开源开发的加速，许多公司对训练和微调自己的模型越来越感兴趣。我们认为LLM API和定制模型的技术栈将随着时间的推移越来越融合。例如，一家公司可能从开源中训练自己的语言模型，但通过向量数据库进行检索来解决数据新鲜度的问题。为定制模型技术栈构建工具的智能初创公司也在努力扩展其产品，使其与LLM API的革命更相关。

技术栈变得越来越适合开发人员使用

语言模型API将强大的现成模型交到了普通开发人员手中，而不仅仅是机器学习团队。现在，使用语言模型的人群已经显著扩大到所有开发人员，我们相信会看到更多面向开发人员的工具。

例如，LangChain通过抽象常见的问题，帮助开发人员构建LLM应用程序：将模型组合成更高级的系统，将多个模型调用链接在一起，将模型与工具和数据源连接起来，构建可以操作这些工具的代理，并通过简化切换语言模型，帮助避免供应商锁定。有些人在原型设计中使用LangChain，而其他人则继续在生产环境中使用它。

语言模型需要在输出质量、数据隐私和安全性方面变得更可信，以实现全面采用

在将LLM完全应用于他们的应用程序之前，许多公司希望有更好的工具来处理数据隐私、隔离、安全性、版权以及监控模型输出。从金融科技到医疗保健的受监管行业的公司尤其关注这一点。报告称很难找到解决这个问题的软件解决方案（这是创业者的一个潜在领域）。

理想情况下，会有软件来警告（如果不是阻止）模型生成错误/幻觉、歧视性内容、危险内容或其他问题。

一些公司还担心与模型共享的数据被用于训练：例如，很少有人了解到ChatGPT Consumer数据默认用于训练，而ChatGPT Business和API数据则不用于训练。随着政策的明确和更多的监管措施的出台，语言模型将获得更多信任，并且我们可能会看到采用率的另一个重大变化。

语言模型应用将越来越多元化

很多公司已经找到了将多个生成模型结合起来产生巨大效果的有趣方法：结合文本和语音生成的聊天机器人可以实现全新的对话体验。文本和语音模型可以结合使用，帮助您快速修正视频录制中的错误，而无需重新录制整个视频。

模型本身也越来越多元化。我们可以想象未来丰富的消费者和企业AI应用将结合文本、语音/音频和图像/视频生成，以创建更具吸引力的用户体验并完成更复杂的任务。

目前仍处于早期阶段

人工智能正逐渐渗透到技术的方方面面。只有65%的受访公司目前处于生产阶段，而且其中许多应用相对简单。随着越来越多的公司推出LLM应用，新的障碍将出现，为创业者创造更多机会。

未来几年基础设施层将继续快速发展。如果我们看到的演示中只有一半进入生产阶段，我们将迎来一个令人兴奋的未来。看到从最早期的Arc投资到Zoom的创始人们都专注于同一件事情——用人工智能来让用户满意，这真是令人激动。