基于LLM的Unity游戏开发利器——LLMUnity

创始人

2024-03-23 12:07:37

0次

作者：朱先忠

在本文中，我们将向您展示如何在Unity引擎中使用LLM（大型语言模型）。我们将使用LLMUnity包（https://github.com/undreamai/LLMUnity）展示如何仅用几行代码即可搭建一个交互对话的实例！

免责声明：我本人是LLMUnity开源包的作者。如果您有任何意见或者建议，请通过打开GitHub网址https://github.com/undreamai/LLMUnity/issues多多留言！

为什么在游戏中使用LLM？

目前，几乎所有的电脑游戏互动都是基于多选择对话形式。这是自早期PC游戏时代以来建立的一种非常原始的互动类型。游戏中的LLM可以构建更令人身临其境的体验，因为它们可以允许与PC游戏元素或角色（NPC）进行智能交互。

以《天际线》这款游戏为例，它是目前最成功的RPG游戏之一。当你第一次遇到莉迪亚——一个你可能会在游戏的大部分时间里作为同伴一起度过的NPC时，你将遇到三种可能的对话选项。那么，如果你想了解更多的关于她的信息或想讨论其他相关事情，该怎么办呢？

与Skyrim（《天际线》）游戏中的NPC Lydia互动（这是从游戏中获得的屏幕截图）

这正是LLM的优越点所在。由你来指定人工智能的角色和它们的知识世界（你已经将其作为游戏叙事的一部分），这些内容确实有助于提升对话的质量。

基于对话形式的《天际线》）游戏中的与Lydia互动的示例情形

ChatGPT怎么样？

大多数阅读本文的读者可能都熟悉OpenAI公司发布的ChatGPT，并见证了与LLM的互动是多么自然和强大。那么，为什么不在游戏中直接使用ChatGPT呢？这是因为：

需要以大规模成本使用ChatGPT。虽然每一次交互都花费很小的成本，但当以大规模方式进行时，对于成千上万的用户来说，每一次都有数千次的交互，此时成本是不可忽略的。
ChatGPT的使用会创建一种依赖性。如果出于任何原因，ChatGPT停止工作，或者价格上涨，开发者再也负担不起，此情况下游戏就会崩溃。
开源LLM的准确性与ChatGPT不相上下。尽管目前我还没有找到一个标准化的基准来证明这一点，但Meta（Llama）和Mistral发布的模型似乎在质量上与ChatGPT具有相似的准确性。
LLM的尺寸越来越小。最近的Mistral 7B在许多基准上击败了Llama2 13B，并超过了Llama 34B。量化方法通过将模型大小缩小到可以在任何最近的PC和GPU上使用的程度，进一步推动了这一限制。用Q4_K_M方法（模型，量化）量化的Mistral 7B至多需要7GB RAM就能运行！

欢迎LLMUnity！

LLMUnity是一个允许在Unity引擎中运行和分发LLM模型的免费开源包。

LLMUnity建立在功能强大的llama.cpp库（https://github.com/ggerganov/llama.cpp）基础之上——该库允许在没有外部软件依赖的情况下使用LLM；还依赖llamafile——以跨平台的方式部署llama.cpp。

归纳起来看，LLMUnity提供以下功能：

跨平台！支持Windows、Linux和macOS
在本地运行，无需访问互联网，但也支持远程服务器
基于CPU和GPU的快速推理
支持主流的LLM模型
易于设置，只需一行代码即可调用
免费用于个人和商业目的

LLMUnity的工作原理

LLMUnity架构

LLMUnity在后台使用llama.cpp服务器。服务器接收POST请求，在LLM上运行推理并返回回复。该服务器由llamafile编译成可执行文件，可在基于国际化库的不同操作系统（Windows、Linux、MacOS）中使用。

LLMUnity实现了一个客户端，该客户端发送POST请求并将结果传递给Unity应用程序。

使用前的设置准备

LLMUnity包可以使用GitHub URL的方式以自定义包形式进行安装，也可以作为Unity资源文件的形式进行安装（在资源商店中将显示等待审批状态）。链接https://github.com/undreamai/LLMUnity?tab=readme-ov-file#setup提供了详细的安装说明。

开发人员可以创建LLM或LLMClient对象来使用LLM功能。注意，LLMClient类仅能够处理客户端功能，而LLM类在继承自LLMClient类的基础上还能够处理服务器端功能。

接下来，开发人员可以指定LLMClient/LLM的如下属性：

prompt（提示词）：用于指定AI的角色。
player / AI name（一个可选用属性）：可以为角色定义玩家和AI名称。
streaming functionality（流功能，也是一个可选用属性）。流功能允许Unity应用程序实时接收模型产生的输出。如果禁用，Unity应用程序将会在回复内容完全生成时收到模型的回复。
其他模型选项（可选）。通过llama.cpp服务器直接使用的专家级用户可以指定更多的模型选项。

下面列举的仅是LLM类提供的属性：

model（模型）：这个属性指定了要使用的LLM。经TheBloke量化的Mistral 7B Instruction v0.2模型（https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2）可以作为默认模型直接在Unity Inspector中下载使用。当然，也可以加载llama.cpp支持的任何LLM。注意，llama.cpp使用gguf格式，并为HuggingFace模型提供转换脚本（https://github.com/ggerganov/llama.cpp/tree/master?tab=readme-ov-file#prepare-data--run）。如果你想避免安装llama.cpp并自己进行转换，那么你可以使用TheBloke已经转换好的现成的模型。

llama.cpp支持的所有模型列表

l running resources（运行资源，可选用属性）。您可以指定用户应用程序可以使用的CPU线程数和/或GPU将运行的模型层数。如果不支持使用用户的GPU功能；则将默认使用CPU。

除非你使用一切默认设置；否则，你可以简单地按下按钮“Download model（下载模型）”并定义提示词！

可以在LLM脚本中参数化的不同选项

如何使用LLMUnity

现在，让我们进入有趣的部分！

LLMUnity的开发使得它可以与最少的代码一起使用。您所要做的就是构造一个LLM对象，然后与它交互：

复制

_ = llm.Chat(message, HandleReply, ReplyCompleted);

其中的各个参数含义如下：

message：包含用户输入的字符串对象
HandleReply：以字符串类型的模型回复作为输入的方法。在这个函数中，您可以指定如何处理回复。如果启用了流媒体功能（默认行为），该函数将在模型生成时接收实时回复；否则，将接收一次完整回复。
ReplyCompleted（可选参数）：不带参数的方法。当模型完成生成回复内容时，即会调用此函数。

基本功能

下面显示了一个最小的示例。在这里，我们仅发送一条消息“Hello bot！”，并在控制台中显示模型的回复：

复制

using UnityEngine;

using LLMUnity;

public class MyGame : MonoBehaviour{

public LLM llm;

void HandleReply(string reply){

Debug.Log(reply);

}

void Start(){

_ = llm.Chat("Hello bot!", HandleReply);

}

上述代码中调用了LLM的Chat函数，在HandleReply函数中完成回复（以流式或非流式方式）后以异步方式接收回复。

要在Unity中创建应用程序，您需要使用以下内容创建一个场景：

一个对应于LLM脚本的游戏对象GameObject。LLM对象的属性显示在Unity Inspector中，可以按照上一节中的描述进行设置。
还有一个对应于MyGame脚本的GameObject。在此处实现中，您需要链接上面在Unity Inspector的LLM属性中创建的LLM GameObject。

而且…仅此而已！

实现一个简单的交互界面

现在，我们来看一个基本交互的演示示例：

简单的交互示例

本实例中，我们创建了这样的一个场景：

一个对应于LLM脚本的游戏对象GameObject（如前所述）
一个对应于SimpleInteraction脚本的游戏对象GameObject
一个允许用户输入文本的InputField（绿色）
一个从模型获取答复的文本字段（蓝色）

SimpleInteraction脚本的完整内容如下：

复制

using UnityEngine;

using LLMUnity;

using UnityEngine.UI;

public class SimpleInteraction : MonoBehaviour

{

public LLM llm;

public InputField playerText;

public Text AIText;

void Start()

{

playerText.onSubmit.AddListener(onInputFieldSubmit);

playerText.Select();

}

void onInputFieldSubmit(string message)

{

playerText.interactable = false;

AIText.text = "...";

_ = llm.Chat(message, SetAIText, AIReplyComplete);

}

public void SetAIText(string text)

{

AIText.text = text;

}

public void AIReplyComplete()

{

playerText.interactable = true;

playerText.Select();

playerText.text = "";

}

该脚本定义了以下函数：

Start：在场景开始时选择playerText输入字段，以便用户可以输入文本。一个监听器被附加到playerText，当文本被提交时，它调用onInputFieldSubmit函数。
onInputFieldSubmit：当用户提交输入时，playerText将被禁用，直到模型回复。清空模型输出字段AIText，然后调用LLM聊天函数。
SetAIText：当模型生成一些回复并将AIText文本设置为回复内容时，会调用此函数。
AIReplyComplete：当模型完成回复时，会调用此函数。playerText输入字段再次启用并清空，以便玩家可以输入下一个输入。

就这么简单，我们可以进行成熟的LLM交互（功能方面已经成熟，只是不那么漂亮）了。您可以在SimpleInteraction示例（https://github.com/undreamai/LLMUnity/tree/main/Samples~/SimpleInteraction）中找到此示例的完整代码。

多种AI功能

到目前为止，我们已经看到了与单个人工智能的交互。在实际开发中，我们往往会在一个游戏中创建多个NPC。解决方案是，按上面的办法创建一个LLM对象，该对象处理服务器功能，但还具有创建另外几个LLMClient对象，以便使用不同的提示词为AI定义额外的行为。

ServerClient示例（https://github.com/undreamai/LLMUnity/tree/main/Samples~/ServerClient）中提供了展示此功能的示例。其实，这仅是上面基础代码的扩展，它为第一个AI使用LLM对象，为第二个AI使用具有不同提示词的LLMClient对象（使用与第一个AI相同的服务器）。

多种AI功能

聊天机器人

创建更像真实游戏中的内容的最后一步是增强UI展示，因为你希望它们出现在你的游戏中。如果你对更复杂的UI感兴趣，我推荐你可以看看ChatBot示例（https://github.com/undreamai/LLMUnity/tree/main/Samples~/ChatBot），它可以创建一个类似于消息应用程序的更令人愉快的交互。