跳转到主要内容
可灵视频 3.0 Omni 支持全能多模态输入,有声角色驱动,直出音画和分镜。 在可灵视频 O1 和可灵视频 2.6 的基础之上,可灵 3.0 系列模型基于深度融合的统一模型训练框架,实现了更原生的多模态输入和输出,将音画同步能力和主体一致性控制能力融合,并且突破了时长限制。 在支持更长视频生成(15s)的同时,可灵 3.0 系列模型支持原生直出音画,并实现了高度灵活的分镜控制能力与更精准的语义响应精度,为 AI 影像内容注入生命力。 基于新一代的统一多模态大模型,可灵视频 2.6 模型升级为视频 3.0,可灵视频 O1 模型升级为视频 3.0 Omni,带来可控性与叙事力的全面进化,整体画面真实感显著提升,人物演绎更具表演张力。 可灵视频 3.0 Omni 模型能力对比概览

模型参数

  • 模型ID:kling-video-v3-omni
  • 模型价格:你可以在模型广场查看最新价格信息
  • 调用入口:https://geekai.co/api/v1/videos/generations
  • 模型参数:参考视频 API 手册
  • API认证:获取 API KEY
不支持视频公共 API 中的以下参数:
  • size
  • fps
附:可灵视频 3.0 官方 API 文档
aspect_ratio 参数支持以下取值:
  • 1:1
  • 16:9
  • 9:16
支持通过 quality 参数替代官方的 mode 参数来控制生成视频的分辨率,quality 的取值范围是 std(对应 720p 标准视频)、 pro(对应 1080p 高清视频)和 4k(v3开始支持),默认值是 std,不同质量的视频生成时间和成本不同。 支持通过 with_audio 参数替代官方的 sound 参数来控制是否生成带有音频的视频,with_audio 的取值范围是 true(对应 sound 值为 on) 和 false(对应 sound 值为 off),默认值是 false,生成带有音频的视频会增加生成时间和成本。 支持通过 watermark 参数替代官方的 watermark_info 参数来控制生成视频是否带有水印,watermark 的取值范围是 truefalse,默认值是 false,表示不带水印。 可灵视频 3.0 Omni 的 duration 参数支持生成 3-15s 的视频,默认值是 5s,生成更长时长的视频会增加生成时间和成本。 支持通过 extra_body 传递额外参数来设置视频分镜、参考主体和视频:
  • multi_shot: 控制是否开启分镜,取值范围是 truefalse,默认值是 false,开启多镜头模式后,可以通过 shot_type 参数来指定分镜类型。
  • shot_type: 指定分镜类型,取值仅支持 customize,代表自定义分镜, 当 multi_shottrue 时本参数必填。
  • multi_prompt: 描述每个分镜的信息,如提示词、时长等,当 multi_shottrueshot_typecustomize 时,本参数必填。
  • element_list: 参考主体列表,基于主体库中主体的 ID 配置,最多支持3个。
  • image_list: 参考图片列表,包括主体、场景、风格等参考图片,也可作为首帧或尾帧生成视频。
  • video_list: 参考视频列表,可作为特征参考视频,也可作为待编辑视频,默认为待编辑视频。
以上字段数据类型和官方参数完全一致: 可灵视频 3.0 Omni 分镜参数说明 此外,可灵视频 3.0 Omni 还支持通过 extra_body 传递额外参数来设置参考视频和主体:
  • video_list:参考视频列表,可作为特征参考视频,也可作为待编辑视频,默认为待编辑视频
  • image_list:参考图片列表,包括主体、场景、风格等参考图片,也可作为首帧或尾帧生成视频
  • element_list:参考主体列表
以上字段数据类型和官方参数完全一致: video_list参数说明 image_list参数说明 element_list参数说明

模型价格

可灵视频 3.0 Omni 的价格按照生成视频的质量、时长和是否带有音频来计算,以下是价格表: 使用极客智坊提供的低价代理渠道调用时,不同参数对应价格按照价格表x对应的折扣值即可:以高可用速度优先渠道为例,折扣值是 0.8,那么生成 5 秒无声无参考视频的标准视频价格是 0.6 x 5 x 0.8 = 2.4 元,其他参数以此类推。

文生视频

通过文字描述来生成对应视频:
响应是一个 JSON 对象,包含生成视频的 URL:

图生视频

首帧 通过 image 传入单图即可实现基于首帧生成视频:
首尾帧 通过 image + image_tail 传入首尾两张图即可实现基于首尾帧生成视频:
参考图 除了首尾帧外,可灵多模态视频模型还支持通过 images 传入多张参考图生成视频,包括主体、场景、风格等:
除了以上通用字段外,可灵视频 3.0 Omni 还支持通过 extra_body 传递额外参数来传入参考图,此时需要通过 type 来指定首尾帧:
如果是参考图,则不需要设置 type 字段:
图片要求:
  • 支持 JPG、PNG、WEBP 格式,单张图片大小不超过 10MB;
  • 支持 URL 和 Base64 两种方式传入图片,URL 方式需要保证图片可以被公网访问;
  • 图片宽高尺寸不小于 300px,图片宽高比介于 1:2.5 ~ 2.5:1 之间;
  • 无参考视频+仅有多图主体时,参考图片与多图主体数量之和不得超过7;
  • 无参考视频+有视频主体时,参考图片与多图主体数量之和不得超过4;
  • 有参考视频+仅有多图主体时,参考图片与多图主体数量之和不得超过4。

参考视频

视频编辑 可灵视频 3.0 Omni 支持通过 extra_body.video_list 传入参考视频进行视频编辑,此时需要设置 refer_type 字段为 base 来指定参考视频类型为待编辑视频:
你可以通过 keep_original_sound 字段来指定是否保留参考视频的原始音频,取值范围是 yes 表示保留,no 表示不保留。 视频参考 参考视频还可以作为特征参考视频,此时需要设置 refer_type 字段为 feature 来指定参考视频类型为特征参考视频:

视频分镜

可灵视频 3.0 Omni 支持通过 extra_body 参数来控制分镜能力,以下是一个多镜头图生视频示例:
出了设置分镜参数外,这里还通过 image_list 参数上传了参考图(仅 Omni 模型支持),视频生成时会将该图作为第一镜头的内容进行视频生成,后续镜头则根据对应的提示词进行生成。

异步任务

由于视频生成通常比较耗时,建议通过极客智坊提供的异步任务模式生成视频。 视频 API 中的 async 参数用于控制是否异步生成视频,默认为 false,表示创建视频接口会同步等待视频生成完毕并返回。如果设置为 true,则会异步生成视频并返回任务ID,你可以使用该任务ID轮询视频生成状态。 创建视频生成任务
响应中会包含任务ID:
查询视频生成结果 你可以使用返回的任务 ID 来查询生成状态和获取视频结果:
你可以根据视频生成任务状态 task_status 值判断视频是否已经生成完成,这个状态值包括四种情况:
  • pending:任务已创建,等待处理
  • running:任务正在处理
  • succeed:任务成功完成,可以获取结果
  • failed:任务失败,可能是由于内容违规或其他错误
如果任务还在运行中,返回结果如下:
轮询视频生成结果接口直到任务状态值为 succeed,你就可以获取到生成的视频 URL: