机器之心报谈

机器之心剪辑部

在大模子落地诳骗的经过中，端侧 AI 口舌常蹙迫的一个场所。

近日，斯坦福大学商榷东谈主员推出的 Octopus v2 火了，受到了开辟者社区的极大面孔，模子通宵下载量超 2k。

20 亿参数的 Octopus v2 不错在智高手机、汽车、个东谈主电脑等端侧开动，在准确性和延伸方面卓越了 GPT-4，并将崎岖文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 有算计打算快 36 倍。

不少网友景仰：修复端 AI 智能体的时期到来了！

论文：Octopus v2: On-device language model for super agent论文地址：https://arxiv.org/abs/2404.01744模子主页：https://huggingface.co/NexaAIDev/Octopus-v2

模子综合

Octopus-V2-2B 是一个领有 20 亿参数的开源讲话模子，专为 Android API 量身定制，旨在在 Android 修复上无缝开动，并将实用性推广到从 Android 系统治理到多个修复的编排等各式诳骗武艺。

频繁，检索增强生成 (RAG) 挨次需要对潜在函数参数进行详备形貌（无意需要多达数万个输入 token）。基于此，Octopus-V2-2B 在考验和推理阶段引入了私有的函数 token 战术，不仅使其约略达到与 GPT-4 相配的性能水平，何况还显赫晋升了推理速率，卓越了基于 RAG 的挨次，这使得它对角落诡计修复荒谬有意。

Octopus-V2-2B 约略在各式复杂场景中生成单独的、嵌套的和并行的函数调用。

数据集

为了考验、考证和测试阶段选拔高质料数据集，荒谬是已毕高效考验，Bookmaker商榷团队用三个枢纽阶段创建数据集：

生成研讨的查询过甚关联的函数调用参数；由相宜的函数组件生成不研讨的查询；通过 Google Gemini 已毕二进制考证维持。

商榷团队编写了 20 个 Android API 形貌，用于考验模子。底下是一个 Android API 形貌示例：

def get_trending_news (category=None, region='US', language='en', max_results=5):

皇冠体育hg86a

Fetches trending news articles based on category, region, and language.

Parameters:

- category (str, optional): News category to filter by, by default use None for all categories. Optional to provide.

- region (str, optional): ISO 3166-1 alpha-2 country code for region-specific news, by default, uses 'US'. Optional to provide.

- language (str, optional): ISO 639-1 language code for article language, by default uses 'en'. Optional to provide.

- max_results (int, optional): Maximum number of articles to return, by default, uses 5. Optional to provide.

Returns:

- list [str]: A list of strings, each representing an article. Each string contains the article's heading and URL.

据悉，失踪潜艇是美国海底勘探公司“海洋之门”（OceanGate Expeditions）为一项旅游观光项目所设计，该项目可带领游客在海底参观“泰坦尼克”号残骸。“海洋之门”曾因安全问题而面临诉讼，该公司前雇员大卫·洛克里奇曾指出，该潜艇存在“严重的安全问题”。

模子开辟与考验

该商榷选拔 Google Gemma-2B 模子当作框架中的预考验模子，并选拔两种不同的考验挨次：齐备模子考验和 LoRA 模子考验。

在齐备模子考验中，该商榷使用 AdamW 优化器，学习率确立为 5e-5，warm-up 的 step 数确立为 10，选拔线性学习率更正器。

LoRA 模子考验选拔与齐备模子考验调换的优化器和学习率成就，LoRA rank 确立为 16，并将 LoRA 诳骗于以下模块：q_proj、k_proj、v_proj、o_proj、up_proj、down_proj。其中，LoRA alpha 参数确立为 32。

关于两种考验挨次，epoch 数均确立为 3。

使用以下代码，就不错在单个 GPU 上开动 Octopus-V2-2B 模子。

from transformers import AutoTokenizer, GemmaForCausalLMimport torchimport time

def inference (input_text):

start_time = time.time ()

input_ids = tokenizer (input_text, return_tensors=\"pt\").to (model.device)

input_length = input_ids [\"input_ids\"].shape [1]

outputs = model.generate (

input_ids=input_ids [\"input_ids\"],

皇冠客服飞机：@seo3687

max_length=1024,

do_sample=False)

generated_sequence = outputs [:, input_length:].tolist ()

res = tokenizer.decode (generated_sequence [0])

end_time = time.time ()

return {\"output\": res, \"latency\": end_time - start_time}

model_id = \"NexaAIDev/Octopus-v2\"

tokenizer = AutoTokenizer.from_pretrained (model_id)

model = GemmaForCausalLM.from_pretrained (

model_id, torch_dtype=torch.bfloat16, device_map=\"auto\"

input_text = \"Take a selfie for me with front camera\"

nexa_query = f\"Below is the query from the users, please call the correct function and generate the parameters to call the function.\\n\\nQuery: {input_text} \\n\\nResponse:\"

start_time = time.time () print (\"nexa model result:\\n\", inference (nexa_query)) print (\"latency:\", time.time () - start_time,\"s\")

评估

Octopus-V2-2B 在基准测试中推崇出不凡的推理速率，在单个 A100 GPU 上比「Llama7B + RAG 处分有算计打算」快 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo 比拟，Octopus-V2-2B 速率晋升了 168%。这种成果冲破归功于 Octopus-V2-2B 的函数性 token 想象。

Octopus-V2-2B 不仅在速率上推崇出色，在准确率上也推崇出色，在函数调用准确率上卓越「Llama7B + RAG 有算计打算」31%。Octopus-V2-2B 已毕了与 GPT-4 和 RAG + GPT-3.5 相配的函数调用准确率。