在低代码开发平台 ILLA Cloud 中使用 Hugging Face 上的模型

用 AI 模型创造更多可能,邀请你在 ILLA Cloud 平台里使用 Hugging Face!

ILLA Cloud 是一个面向开发者的开源低代码开发平台,平台专注于帮助开发者快速建立企业内部应用,为开发者节约数据调用与页面设计的时间。平台具有面向开发者、数据整合、协同开发、灵活部署等功能与特点,通过少量代码输入以及拖拉拽等形式搭建此类定制化系统,降低开发者、工程师的研发成本。

今天,我们正式与 ILLA Cloud 共同宣布这个新的合作: ILLA Cloud 已经正式支持集成 Hugging Face Hub 上的 AI 模型库和其他相关功能啦!

我们希望通过此次合作共同推进 AIGC / Generative AI 在生产力工具领域的实践和落地,帮助更多团队通过 AI 提升工作效率,以节省更多的时间和精力去应对更具有挑战的工作。从今天开始,你就可以在 ILLA Cloud 中体验 AI 啦!

ILLA x Hugging Face

在 Hugging Face 中,有超过 13 万个机器学习模型可以通过公开的 API 访问,你可以免费使用、测试这些 API。此外,如果你需要用于生产场景,可以使用 Hugging Face 提供的解决方案 Endpoints,部署并使用 Inference Endpoints 访问。

ILLA Cloud 提供了数十种常用的前端组件,支持根据实际需求快速搭建不同的前端界面。同时,ILLA Cloud 也提供了连接到 Hugging Face 的连接方式,可以快速连接到 Hugging Face API,发起请求并拿到返回数据。将 API 和前端组件连接,即可实现用户通过前端填入内容并提交给 API,API 返回生成内容并展示到前端的需求。

在 ILLA Cloud 中使用 Hugging Face

步骤 1: 在 ILLA Cloud 中使用组件构建 UI

我们先来基于我们期望的使用场景搭建前端界面。
例如,如果你的产品是输入文字、输出生成图,那你可以使用输入组件和图片组件;如果你的产品是输入文字、输出生成也是文字,那你可以使用输入组件或文本组件。

下图是一个基于文本内容做问答的应用界面:

步骤 2: 创建一个 Hugging Face 资源,并配置 Action

点击 Action 列表的「+ 新建」并选择 Hugging Face Inference API:

通过完成下述表单,配置 Hugging Face 资源:

  • 名称: 由你自定义的该资源在 ILLA Cloud 中显示的名称;
  • Token: 注册并登录 Hugging Face,点击右上角头像,通过 Profile Settings 下的 Access Tokens 页面新建并获取 Token 填入:
    https://hf.co/settings/tokens

接下来我们配置 Action。首先是确认 Hugging Face 中模型的连接信息,你需要前往 Hugging Face Hub 页面,按需选择模型:

本文我们以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large 模型为例,进入模型的详情页,点击右上方 Deploy,并选择 Inference API:

这里在 inputs 参数后面的内容,就是你需要在 ILLA Cloud 中配置的参数内容:

接下来回到 ILLA Cloud 的 Action 配置,需要填入 Model ID 和 Parameter。对于上图的 Model 输入是多个键值对的场景,我们提供了键值对输入和 JSON 输入两种方式,如下图:

此外,ILLA Cloud 还支持输入文本和二进制文件,能够满足 Hugging Face 中现存模型的需求。

步骤 3: 连接 Action 和组件

将用户前端输入传给 API 的需求: 使用 {{ 获取组件里输入的数据,如 input2 组件用于输入 questioninput1 组件用于输入 context ,只需要在 Action 中这两个参数值的位置,填入相关信息即可。下面是使用 JSON 的示例代码:

{"question": {{input2.value}},"context": {{input1.value}}}

接下来,我们要在前端组件中展示 Action 的输出数据。

我们需要确认不同模型的输出放在哪个字段,仍以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large 模型为例,运行结果如下:

因此这里我们可以用 {{ textQuestion.data[0].answer }} 来获取答案 (其中,textQuestion 是 Action 的名称),将 {{ textQuestion.data[0].answer }} 填入用于展示结果的组件的属性配置即可:

大功告成!

以上就是使用 ILLA Cloud 集成 Hugging Face 上的模型快速构建一个智能问答机器人的应用界面。在公司内部使用的场景下,还可以通过类似的模型解决很多具体场景的问题,比如内部资料通过模型训练之后的问答客服,随着不同的内容输入,也可以应用在更多场景。另外,Hungging Face 上还有很多有趣的模型,通过 ILLA Cloud 的调用可以快速地实现一些有趣的功能,比如在极短的时间构建类似 Lite 版本的 ChatGPT 或者图像生成内容的应用等。

如果你做了哪些有趣的、帮助通过 AI 提升团队效率的应用,欢迎你通过留言的方式告诉我们,我们已经迫不及待地看到你使用 ILLA Cloud 和 Hugging Face 构建的应用啦!

即刻体验 ILLA Cloud: