百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Gitee AI 命令行工具发布:从此告别模型上传失败

wxin55 2024-11-19 12:40 7 浏览 0 评论

自 Gitee AI 开放内测以来,它已为众多开发者提供了世界领先的大模型和数据集,助力其实现快速且高效的应用与部署。越来越多的 Gitee AI 用户也基于现有的大模型进行了微调,并将这些定制化的模型上传和部署到平台上。

但当开发者们摩拳擦掌准备展示模型时,由于模型文件过于庞大,动辄就是一个数十 GB 的大文件,上传十次都很难成功一次,这种痛苦的体验相信每个 AI 开发者都经历过。

为了改变模型上传的痛苦体验,Gitee AI 命令行工具(gai)现已正式发布!gai是一款专为开发者设计的高效工具,帮助用户轻松地将模型和数据集上传到 Gitee AI 平台。

如何安装和使用gai

Windows 用户

对于 Windows 平台的用户,强烈建议使用 Git Bash 来执行本文档中的命令。原因如下:

  1. 兼容性:Git Bash 提供了类 Unix 的命令行环境,使得 Unix/Linux 风格的命令可以在 Windows 上顺利运行。
  2. 一致性:使用 Git Bash 可以确保命令行体验与其他平台(如 macOS 或 Linux)保持一致。
  3. 功能完整性:Git Bash 包含了许多常用的 Unix 工具和命令,这些在标准的 Windows 命令提示符中可能不可用。

安装 Git Bash

如果您还没有安装 Git Bash,可以按照以下步骤进行安装:

  1. 访问 Git 官方网站:https://git-scm.com/downloads
  2. 下载适用于 Windows 的 Git 安装程序
  1. 运行安装程序,确保在安装选项中选择安装 Git Bash(可同时选择安装 Git LFS)

其他平台用户

对于 macOS 和 Linux 用户,可以直接使用系统自带的终端应用程序执行本文档中的命令。

除非特别说明,后续所有命令均默认在 Git Bash(Windows)或标准终端(macOS/Linux)中执行。

安装和配置

安装 Git LFS

Git LFS(Large File Storage)是一种专为 Git 设计的扩展,用于管理和存储超大文件,非常适合管理体积较大的模型文件。

前往 https://git-lfs.com 下载 git-lfs(Windows 用户可在安装 Git 时勾选 Git LFS),安装后运行下面的命令:

git lfs install

如返回Git LFS initialized.,则代表已安装成功。

安装 gai

非 Windows 系统首先需要安装 MD5 校验工具 md5sum:

brew install coreutils

随后运行下面的命令,下载并安装gai:

sudo /bin/bash -c "$(curl -fsSL https://gitee.com/gitee-ai/cli/raw/master/install.sh)"

安装完成后执行下列命令检查版本,如返回 gai version v0.0.2-alpha.1,则代表已安装成功。

gai version

配置 gai

安装完成后需要前往 Gitee 及 Gitee AI 完成私人令牌及访问令牌的配置。

配置 Gitee 私人令牌

访问 gitee.com ,点击 Gitee 右上角头像选择设置-私人令牌,点击右上角生成新令牌即可创建。

创建令牌时需勾选 projects 权限。

点击提交后即可创建成功,请将生成的令牌复制并妥善保存

配置 Gitee AI 访问令牌

访问 ai.gitee.com,点击右上角头像选择设置-私人令牌,点击右上角新建访问令牌即可创建。

创建时资源授权请选择全部资源。

与 Gitee 私人令牌相同,请将生成的令牌复制并妥善保存

在 gai 中配置令牌

成功生成Gitee 私人令牌和Gitee AI 访问令牌后,返回命令行为gai配置令牌:

# 全局配置 Gitee AI 和 Gitee 访问令牌
gai config gitee-token <Gitee 私人令牌>
gai config gitee-ai-token <Gitee AI 访问令牌>

如果希望为不同仓库设置不同令牌,可参考如下命令进行配置:

cd <仓库地址>

# 配置 Gitee 私人令牌
gai config --local gitee-token <Gitee 私人令牌>
# 配置 Gitee AI 访问令牌
gai config --local gitee-ai-token <Gitee AI 访问令牌>

开始使用

创建仓库

配置完成后,即可进行大模型文件的推送操作了。点击页面右上角头像,选择新建模型即可在 Gitee AI 创建新的模型仓库。

创建完成后,将仓库克隆到本地:

git clone https://ai.gitee.com/<namespace>/<model>
cd <model>

初始化仓库配置

运行下方命令进行初始化仓库配置,(使用 gai 作为 Git LFS 的自定义传输代理),每个仓库只需设置一次即可,相关配置将存储在仓库的 .git/config 文件中。

# 为本地仓库初始化 Gitee AI Cli 配置
gai config init

提交并推送文件到仓库

完成配置后,你就可以将模型文件复制到仓库目录(命令行或 GUI 均可)并提交了,提交流程与使用 Git 管理代码的操作一致,也就是大家熟悉的add+commit+push三件套。

# 拷贝大文件到当前目录(使用 GUI 复制可忽略该命令)
cp ~/<checkpoint_directory>/model.safetensors .
# 提交更新
git add .
git commit -m 'Add model.safetensors file'
    
# 将更新推送到 Gitee AI 模型、数据集仓库
git push origin master

推送完成后,你微调后的模型就可以在 Gitee AI 中访问了,你可以在仓库设置中更改其可见性,选择将其开源或私有。

以上就是 Gitee AI 命令行工具(gai)的安装配置及使用方法,gai为 Gitee AI 用户提供了便捷、高效的方式来管理和上传微调的大模型。

未来我们也会进一步为gai增添更多功能,不断提升用户体验,帮助开发者在模型训练、微调、部署和共享的过程中更加高效便捷地工作。如果你在使用过程中遇到任何问题或有任何建议,欢迎随时联系我们。

相关推荐

总结雅虎前端性能优化技巧(16条)

前言在日常开发中,有很多场景需要我们去做好前端优化,为了防止遗忘,加深记忆,今天参阅了一些资料以及自己的一些总结,梳理出来15条优化技巧。1.合并文件css、js合并,减少http请求数,每次http...

前端掉坑血泪史!4 个 React 性能优化绝招让页面秒开

在前端圈子里摸爬滚打这么多年,我发现React开发时踩坑的经历大家都大同小异。页面加载慢、组件频繁重渲染、状态管理混乱……这些痛点,相信不少前端工程师都感同身受。别愁!今天就给大家分享4个超...

Qwik:革新Web开发的新框架

听说关注我的人,都实现了财富自由!你还在等什么?赶紧加入我们,一起走向人生巅峰!Qwik:革新Web开发的新框架Qwik橫空出世:一场颠覆前端格局的革命?是炒作还是未来?前端框架的更新迭代速度,如同...

大模型服务平台百炼使用

提供完整的模型训练、微调、评估等产品工具,预置丰富的应用插件,提供便捷的集成方式,更快更高效地完成大模型应用的构建。一、通过变量的方式使用平台模板一个好的Prompt可以更好的让模型理解我们的需求,产...

Vue应用性能优化实战:8 个提升页面加载速度的关键策略

一、构建优化与代码精简1.1代码分割与异步加载路由级代码分割:使用动态导入语法拆分路由组件组件级懒加载:结合Suspense实现按需加载javascript//vue-router4.x配置...

前端里那些你不知道的事儿之 【window.onload】

作者:京东科技孙凯一、前言相信很多前端开发者在做项目时同时也都做过页面性能优化,这不单是前端的必备职业技能,也是考验一个前端基础是否扎实的考点,而性能指标也通常是每一个开发者的绩效之一。尤其马上接近...

谷歌站长后台的“核心网页指标”不合格先优化哪个最有效?

根据对上千个网站案例的分析,90%的站长在修复时都陷入“盲目优化”误区——要么死磕服务器配置却忽略图片规范,要么过度压缩JS反而引发CLS布局错位。事实上,移动端页面抖动(CLS)才是60%中小网站的...

Vue3 开发效率拉胯?这 10 个技巧让你开发速度翻倍!

写Vue3项目时,是不是经常被数据更新延迟、组件间传值混乱、页面卡顿这些问题搞得焦头烂额?别担心!今天带来10个超实用的Vue3实战技巧,全是从真实项目中总结出来的“血与泪”经验,帮你...

2024年的JavaScript性能优化:仍然重要吗?

#记录我的9月生活#在不断发展的Web开发领域,新的JavaScript框架和库令人眼花缭乱,很容易让人忽视一些基本的东西。但在这股兴奋之中,性能作为一个卓越用户体验的基石,不能被忽略。为什么?因为...

JS 图片简易压缩【实践】

作者:政采云前端团队转发链接:https://juejin.im/post/5ea574cc518825736e57fcca前言说起图片压缩,大家想到的或者平时用到的很多工具都可以实现,例如,客户端类...

Vue3 开发总踩坑?这 10 个技巧让你少走半年弯路!

前端开发的路上,Vue3虽然强大,但坑也不少!性能优化总没效果?复杂组件通信一头雾水?别担心!今天分享10个超实用的Vue3实战技巧,全是一线开发总结的经验,帮你轻松避开开发雷区,效率直接拉...

前端分享-Vue首屏加载优化

首屏加载速度直接影响用户留存率——当加载时间超过3秒,53%的用户会直接离开(网上来的数据)。Vue单页应用尤需重视,因为传统打包方案会将所有资源打包成巨大的vendor.js,导致用户首次访问时像下...

Core Web Vitals 变了,网站性能这件事得重新关注

现在做网站优化,不能只看速度条,不管你是搞外贸独立站,还是给品牌建站,体验页面这件事你迟早得面对。谷歌这两年把网站的“体验感”提得越来越多,尤其是CoreWebVitals(网页核心指标)一出来,...

页面卡顿到崩溃?5 个实战技巧让前端性能飙升 80%!

作为前端工程师,你有没有遇到过这种情况:精心开发的页面,一上线就被用户吐槽卡顿、加载缓慢,甚至频繁崩溃。明明代码逻辑没问题,可性能就是上不去,这到底是哪里出了问题?别着急,今天就来分享5个超级实用...

周末复习前端js基础知识点总结一,记录完之后好复习(大佬勿喷)

一、深浅拷贝知识1、基本数据类型只有赋值没有拷贝2、数组和对象的赋值是浅拷贝3、结构赋值是深拷贝还是浅拷贝?二、实现深拷贝的几种常用方法方法1、通过json方法深拷贝方法2.基本的封装深拷贝的方法采用...

取消回复欢迎 发表评论: