阿里推出的AI数据科学家：运用Modelscope-Agent框架实现科研自动化与复杂任务处理，助力数据科学全流程自动化

阿里近期推出了全新的AI数据科学家助手——Data Science Assistant（简称DS Assistant），旨在通过自动化流程简化复杂的科研任务，让即便是科研新手也能轻松上手。基于阿里开源的Modelscope-Agent框架构建，DS Assistant能够自动执行从探索性数据分析到模型评估等一系列步骤，大大降低了数据科学领域的入门门槛。

核心框架与特性

DS Assistant的核心优势在于采用了plan-and-execute框架，这是一种专为复杂任务设计的新一代Agent框架。与传统的ReAct框架相比，它能更有效地规划和执行多步骤任务，避免了不必要的LLM调用，提高了整体效率。此外，Modelscope-Agent框架还具备以下特性：

– 模型接入灵活：支持通过vllm、ollama等工具接入多种主流开源模型，并直接调用模型API。
– 丰富的工具生态：不仅支持Modelscope社区内的大量模型作为工具，还兼容langchain工具，并接入了诸如网络浏览、文本生成图像等功能。
– 交互式创建Agent：开发者无需编写任何代码即可创建自己的Agent助手。

系统架构与工作流程

DS Assistant的系统架构分为四个关键模块：

1. DS Assistant模块：作为整个系统的控制中心，负责协调各个模块的工作。
2. Plan模块：接收用户指令，将复杂任务拆解成多个子任务，并进行合理的排序。
3. Execution模块：执行各个子任务，保存执行结果。
4. Memory Management模块：记录中间结果、代码和数据详情，便于后续分析。

案例分析

为了更好地理解DS Assistant的实际应用，我们选取了一个Kaggle竞赛任务——ICR（Identifying Age-Related Conditions）作为示例。在这个任务中，DS Assistant成功地执行了数据探索、数据预处理、特征工程、模型训练和预测等步骤，并针对执行过程中出现的问题进行了调整和优化。

– 数据探索：自动生成代码进行数据探索，即使遇到错误也能迅速修正。
– 数据预处理：合理处理缺失值，清理无关数据。
– 特征工程：对数据进行编码处理，更新相关变量。
– 模型训练：选择合适模型进行训练，并挑选最佳模型。
– 模型验证：利用最佳模型对验证集进行测试，计算性能指标。

实验结果显示，在多个维度上，DS Assistant的表现超越了现有开源技术，特别是在规范化性能得分（NPS）、任务执行时间和消耗的token数量方面表现突出。

展望未来

对于不同用户群体，DS Assistant提供了多样化的支持。无论是初学者还是资深科研人员，都能从中受益。未来，团队计划进一步提升任务执行的成功率、优化交互体验，并增强对批量文件处理的支持，以满足更广泛的应用需求。

本文来源：