数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新

产品动态
报道时间:2024-06-05

一年一端午,一岁一安康。端午佳节临近, ModelWhale 也带来了新一轮的版本更新,期待为大家带来更优质的使用体验。


本次更新中,ModelWhale 主要进行了以下功能迭代:

  • 新增 从对象存储更新数据集(专业版✓ 团队版✓ )

  • 新增 从 API 更新数据集(专业版✓ 团队版✓ )

  • 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )

  • 新增 支持搜索数据集内的数据文件(专业版✓ 团队版✓ )

  • 新增 上传文件夹到 IDE 代码编辑器(专业版✓ 团队版✓ )

  • 新增 用户级、项目级的环境变量管理(专业版✓ 团队版✓ )

  • 新增 站外 API 使用离线任务(专业版✓ 团队版✓ )

  • 新增 回看组织公告(团队版✓)


01 新增 从对象存储更新数据集(专业版✓团队版✓ )


ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用,同时支持对“对象存储”内的数据进行预览查看、制作数据集(或定时数据集)、追溯数据使用情况,以及安全的数据共享。


当“对象存储”的数据有更新时,你也可以从“对象存储”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“对象存储”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。


02 新增 从 API 更新数据集(专业版✓团队版✓ )


如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计,ModelWhale 也支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。填写 API 相关信息后,即可在平台实现对这些数据产品的调用分析(平台也支持从 API 创建数据集)。


当“第三方系统”的数据有更新时,你也可以从“第三方系统”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。




03 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )

本地保存管理的数据,往往存在层级结构,比如:城市中心站/2024年/1月气温.csv。将数据迁移到平台(创建平台数据集)时,现已支持上传一整个文件夹(保留文件结构),以便你无缝衔接工作流。


在平台完成数据处理后,你也可以在运行时(Notebook、IDE、Canvas)内将结果导出为数据集,这时:同样支持勾选文件夹(保留文件结构)导出。


(1)工作台



(2)运行时内

0



04 新增 支持搜索数据集内的数据文件( 专业版✓团队版✓ )



文件夹和数据文件的名称通常有一定规范和含义(i.e 城市中心站 20240604),溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力:支持在工作台、运行时(Notebook、Canvas)搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大,依然可以被快速搜索找到。


(1)运行时内


1


(2)工作台 - 空间

2

3


05 新增 上传文件夹到 IDE 代码编辑器( 专业版✓ 团队版✓ )


对于文件级的数据输入输出、其他脚本处理流程,建议使用 ModelWhale IDE 代码编辑器。除了支持与 Git 关联管理外,本地文件上传时,现已支持在 project 目录下上传文件夹以进行多个文件的批量上传


4

5



06 新增 用户级、项目级的环境变量管理( 专业版✓ 团队版✓ )


ModelWhale 支持通过“环境变量”管理敏感信息(比如数据库密码、模型 API Key、个人账号 Token 等)避免泄密:

  • 用户级的环境变量:建议存放个人 Token 、模型 API Key 等敏感信息(可在“个人设置”中设置);

  • 项目级的环境变量:可以配置 git 信息、Kernel 变量、用户名等(在“运行设置”中设置);

注:环境变量支持通过“大写字母+下划线+数字”组合;如有冲突,“项目级”环境变量将覆盖“用户级”。


(1)用户级的环境变量

6


(2)项目级的环境变量

7

8


07 新增 站外 API 使用离线任务( 专业版✓ 团队版✓ )


如果你的数据处理、模型训练需要持续运行较长时间,可以使用 ModelWhale “离线任务” 功能云端托管运行:我们会为你跑完整个项目、记录运行版本,你也可以实时查看运行结果、资源使用情况、系统日志。


现已支持在站外通过 API 使用该功能(i.e 你可以在本地电脑中将代码托管至 ModelWhale 离线任务运行),使用时请在网站完成信息填写,然后即可一键【复制配置项】写入你的代码项目中。具体 API 使用指南,可参考用户手册。


(1)追踪离线任务

9


(2)配置离线任务

0

08 新增 回看组织公告( 团队版✓ )

平台提供“组织公告”功能,供管理员向组织成员发布平台消息(i.e 某个数据库的连接方式说明),现已支持查看历史公告。


1

2

3


以上,就是本期 ModelWhale 版本更新的全部内容。


点击进入 Modelwhale 官网,免费试用 ModelWhale 专业版(个人研究)团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎扫描下方二维码,产品顾问 MoMo 很高兴为你服务、与你交流(咨询备注“产品咨询”)。


4

开启 AI 之旅新篇章,立即体验和鲸 ModelWhale 的云端协作魅力
数以万计的用户正在使用中
电话咨询
商务咨询请致电:
021-8037 0235(转8)
微信咨询
工具使用、办赛需求 欢迎联系我们