开始接触大规模语言模型？以下是OpenAI、Vimeo等公司数据团队目前正在实践的五个热门应用场景。

图片来源于作者。

关于生成式AI的热议确实存在，相关团队感受到了压力。

在各个行业中，高管都在督促他们的数据负责人开发能够省时、增加收入或带来竞争优势的AI产品。

科技巨头如OpenAI、谷歌、亚马逊和微软一直在市场上涌入各种由大型语言模型（LLM）和图像生成扩散模型驱动的功能。他们承诺帮助公司大规模分析数据、汇总和提炼信息、创作内容，以及其他方式来转变他们的业务。

大多数公司在将生成式AI融入业务时，实际上是从哪里开始的？哪些实际的生成式AI应用场景是实际可行的，并且确实能带来合理的投资回报？

我们深入研究了早期采用者的策略，了解他们如何将这项技术应用于今天，并探讨了数据团队大规模实施AI技术所需条件。

构建更高效的知识工作者们的工作流

在各个行业中，公司通过自动化和简化知识工作者的耗时任务，推动早期生成式AI的使用案例，驱动其广泛应用。

由于大型语言模型能够理解并从非结构化数据中提取有用信息，企业正在利用这些模型从大量内部信息中获取摘要、分析、搜索和提取信息的价值。让我们看看几个关键行业是如何利用生成式人工智能的。

律师事务所

在法律行业中，AI赋能的系统通过以下方式协助律师事务所：

• 自动化监管监控，确保客户遵守合规要求
• 起草和审查标准文件，如遗嘱和其它标准文件
• 通过审阅大量文档协助尽职调查，识别潜在风险及问题
• 分析合同标记可能的问题并提出修订建议
• 协助进行法律研究，通过识别、分析和总结案例法、法规、期刊、规章等中的相关信息，以及其他相关资料中的相关内容

技术解决方案: 法律团队正在采用专用解决方案，这些解决方案包括专为法律系统定制的模型或经过微调的大型语言模型（LLM），例如CoCounsel（基于GPT-4技术）、Harvey 和汤森路透的多款软件。

实际案例: 伦敦的麦克法兰律师事务所使用哈维来利用哈维支持研究，分析和总结文件，以及撰写电子邮件和备忘录的初稿，包括与客户相关的工作——由律师进行最终审核工作。

金服业务 金服业务 金服业务 金融服务

早在2023年的年初，比如高盛和花旗这样的华尔街机构出于对数据隐私的担忧，禁止了像ChatGPT这样的AI工具。尽管有那些“反AI”的头条新闻，金融行业多年来一直在利用机器学习算法，用于欺诈检测和即时信用决策。金融产品和公司中有着广泛的应用场景，适合生成式AI的使用。

不过目前，Databricks 估计，在金融服务领域，80%的生成式AI应用案例主要是在简化流程以节省时间和资源。这包括：

1. 能与用户进行对话的金融聊天机器人，能够使用内部文件作为知识库
2. 自动化基本会计功能，如捕获发票信息和处理发票
3. 分析、总结并提炼这些文件中的关键信息，如年度报告、保险合同和收益报告电话会议记录

另外，行业领军人物认为，AI在防范金融犯罪和欺诈行为方面的能力是一个非常有说服力的应用场景。

科技解决方案： 定制化的解决方案已经开始出现，包括 BloombergGPT，这是一款专门为金融服务打造的大型语言模型，拥有50亿参数。

实际用例: 2023年9月，摩根士丹利推出了一款AI驱动的助手，以支持理财顾问提供便捷访问其内部研究报告和文件。员工可以用这个工具查询市场信息、内部流程和建议。更多信息请参见此链接：https://www.cnbc.com/2023/09/18/morgan-stanley-chatgpt-financial-advisors.html

销售队伍

销售和营销团队正在大量采用生成式AI，应用场景有，例如：

• 撰写电子邮件、着陆页、博客文章等初稿内容
• 根据CRM数据个性化个人外联活动内容
• 分析销售互动以指导代表提高表现
• 根据人口统计、公司信息和数字行为自动化潜在客户评分
• 总结电话和视频会议中的互动

技术方案: 销售平台如Gong利用专有模型生成通话摘要并提供下一步建议，以帮助潜在客户顺利推进购买过程，而Salesforce的Einstein Copilot则根据客户的具体情况自动生成电子邮件回复和账户更新。

实际案例： 6sense 使用了一种利用 AI 技术的对话邮件方案，与潜在客户进行沟通，这为营销互动账户带来了10%的新商机。

自动化工程和数据处理

通过自动化编码和数据工程中的重复性或平凡工作，生成式AI正在简化工作流程，提高效率，从而提升软件和数据工程师的工作效率。

例如，团队可以使用生成式AI来实现各种任务，比如：

• 自动生成代码段并检查代码中的错误
• 自动调试并修正小错误，或预测可能出现错误的地方
• 生成大量与现实世界信息相匹配的合成数据，让工程师能够安全地测试模型而不用担心隐私泄露
• 自动生成代码及其相关文档的详细文档
• 更容易地将COBOL等遗留软件更新到现代语言版本

LLM也被直接集成到开发者的解决方案中。例如，在Monte Carlo平台上，我们利用OpenAI API支持两个功能——使用AI修复和生成——帮助团队更好地实现数据的可观测性。使用AI修复功能利用LLM来识别数据质量检查中的问题，而使用AI生成功能则利用LLM生成新的数据质量检查建议。

即使是 OpenAI 本身，LLMs 也被用来支持 DevOps 和内部功能。正如 AI 专家团队负责人 Yaniv Markovsi 所说，他们的团队使用 GPT 模型来聚合并解释操作信号，比如服务器日志或社交媒体事件，以便更好地理解客户在使用产品时的体验。这种方法比传统的手动调查和处理事件的方法要高效得多。由站点可靠性工程师团队手动调查和处理事件。

技术解决方案： 工程团队正在使用诸如GitHub Copilot和Amazon的CodeWhisperer之类的工具来支持他们的日常开发工作。开发人员可以输入自然语言提示，并获得Python、JavaScript、Ruby等语言的代码片段和建议。

实际用例: 一家全球媒体公司的数据工程团队正在使用LLM对dbt工作流中的拉取请求（Pull Request）进行分类，将其分为不同级别的所需处理。根据变更的分类，模型触发不同的构建命令（build commands）。这大大简化了开发流程——此前，团队的替代方案是硬编码复杂的解析逻辑来确定测试变更时应使用的命令。

让整个公司实现数据民主化

在数据的世界里，公司利用生成型AI最大的机会可能在于让非技术人员更容易访问数据。大型语言模型为组织中的不同部门成员提供了一种方式，他们可以通过输入自然语言提示来生成SQL查询，从而检索特定数据或回答复杂问题。

这是亚当·康威（Databricks产品的高级副总裁）最近在这篇博客文章中提到的具体用例，他认为这是公司应该迈出的第一步。

“我见过一些拥有大量文档的行业，他们希望让内部团队在成千上万页记录中找到答案，”亚当说，“这是正确的做法，因为风险很低——让我们可以动手试试，提供了很多价值，同时也不会带来很大的风险。在我们公司 Databricks，我们有一个内部聊天机器人，帮助员工解决问题和查看数据。我们确实看到了很大的价值。”

技术解决方案: Databricks这类平台等正在开发嵌入式功能——他们最近发布了LakehouseIQ，承诺使团队能够用自然语言查询数据。

虽然这些技术还处于起步阶段，数据团队可以利用内部文档或知识库来微调模型，为组织构建定制能力——或者使用生成式AI帮助员工简化流程，实现自助查询功能，正如我们在实际例子中所描述的。

实际用例：直播购物平台Whatnot 鼓励每位员工学习 SQL，让他们可以自己查询数据、制作仪表盘以及编写 dbt 模型——即便是市场、财务和运营等部门的非技术人员。生成式 AI 还用于员工培训。

正如工程总监艾曼努尔·富恩特斯最近告诉我们的那样，“它在帮助人们快速上手。如果他们对SQL一无所知，这能帮助他们快速提升，这真是太棒了。比如说，如果有人还不懂怎么用窗口函数，他们可以描述他们想做什么，得到一段SQL，然后把我们提供的数据表代进去。这就像有个导师一样，帮助那些还不懂高级数据分析的人。”

扩大客户支持

客户支持团队同样值得特别赞扬，他们是特别适合使用LLM增强的工作流程的理想受众。通过在基本聊天机器人和工作流程中加入语义搜索，数据团队可以让客户支持团队更快地访问信息，创建回复，处理请求。

技术解决方案： 一些客户体验解决方案已经在其平台中集成了生成式AI。例如，Oracle的Fusion Cloud CX 使用了一个大模型（LLM），该模型参考内部数据来帮助代理即时生成回复，这些回复基于与客户的过往互动，并针对新出现的服务问题，建议更新相关知识库内容。

实际案例：Vimeo工程师利用生成式AI构建了一个帮助台聊天机器人原型。该工具将公司托管在Zendesk上的帮助文章索引到向量数据库中，并与LLM提供商连接。当客户与现有聊天机器人交流失败时，聊天记录会被发送给LLM寻求进一步帮助。LLM会将问题重新表述为一个单一的问题，查询与问题相关的文章内容，并获取相关文档。然后，LLM会为客户生成一个最终的、简洁的回答。

支持提供翻译服务和语言支持

最后，生成式人工智能使组织能够实现近乎即时的翻译和语言支持的自动化，这些组织每年在语言服务上花费近$60亿，但仅翻译了其生成内容的一部分。像GPT-4这样的大型语言模型（LLM）有潜力帮助团队提供多语言客户服务，并进行全球范围的情感分析，同时大规模本地化其内容。

技术解决方案如下: 当前，大多数模型可能缺乏对使用较少的语言进行熟练训练的数据——或者无法很好地理解和翻译口语表达或行业术语——因此，团队可能需要微调模型，以确保其在这些语言上的表现更加可靠。尽管如此，Google 正在开发一个基于400多种语言训练的通用语音模型，目标是构建一个能够翻译任何语言的通用翻译器。

实际用例是： 在对传统翻译模型的独特创新中，健康科技公司Vital 推出了一个由AI驱动的医生与患者之间的翻译工具，能即时将复杂的医学术语转化为通俗易懂的语言。

开始使用生成式AI时需要考虑的三个关键点

当您的团队进入不断变化的生成式AI的世界时，需要注意几点关键事项。

扩展你的技术栈

拥有合适的科技栈来支持生成型人工智能将帮助你的团队更快地扩展规模并创造价值。除了现代化的数据栈中的常见组件之外，你可能还需要考虑添加：

矢量数据库

向量数据库（https://www.pinecone.io/learn/vector-database/），目前是团队使用OpenAI的大语言模型（LLM）来构建可扩展的应用程序之一最有效的方法。这些数据库进行向量嵌入，这些信息携带语义，帮助AI理解数据中的关系和模式。

团队可以使用独立的向量数据库，例如Pinecone 或Zilliz，或者在现有数据存储解决方案中使用向量嵌入功能，例如Databricks 和Snowflake。

调整模型

对于有更多自定义需求的团队，调整模型——在特定于您需求的数据集上训练预训练模型——可能是向量嵌入之后的下一步。接下来可以使用诸如Tensorflow和HuggingFace之类的工具来调整您的模型。

无结构或实时流数据处理技术

生成型的人工智能通常通过从大量非结构化数据中提取见解来发挥最大的作用。如果你还没有将非结构化数据处理纳入你的技术栈里，你可能需要使用一个工具，比如Spark，或者Kafka，如果你正在处理流数据或者准备处理流数据。

组建正确的团队和获取资源

创建一个AI飞行员项目需要时间和资源。虽然你可能有一位充满热情的首席执行官，愿意不惜一切代价将生成式AI引入你的产品或业务，但重要的是要有实际的时间和成本预期。需要多长时间和花费多少，这一点非常重要。

组建你的团队

你可能更傾向於讓現有的員工去開發原型或驗證概念，而不是立即雇用有經驗的生成式AI開發人員，因為這個領域還很新，所以很難找到有相關經驗的開發人員。這些老虎團隊通常由具備一些機器學習知識的數據工程師組成。

换句话说，你们的一些重要成员可能需要从直接的创收工作中抽调出来，投入到AI试点项目。考虑到这种转换的机会成本，并将其纳入整体规划——同时，让团队与一位能够支持这种资源配置的商业赞助人配对，以确保团队始终贴近业务价值。

想想硬件的花费

如果你刚接触机器学习运营并且打算微调你的模型，注意预测和留意所有自定义训练可能产生的计算成本。这些GPU小时费可不少哦。

基于数据质量的优先考虑

无论你的技术栈是什么，你选择的模型是什么，或者你的应用场景是什么，一个事实始终不变：你需要确保你的数据输入和输出的质量。否则，你可能会将质量问题的坏数据暴露给更多的内部团队，要么通过自然语言提示直接暴露，要么通过生成式AI产品间接暴露。

生成式AI有潜力改变每一家企业，但它也伴随着风险和潜在的隐患。数据测试、数据监控、AI治理和数据可观测性有助于确保生成式AI为您的组织创造巨大价值，而不是令人尴尬的数据灾难。

特别感谢以下人士在撰写本文时花时间与我们交谈：Naren Venkatraman、Yaniv Markovski 和 Emmanuel Fuentes。