视觉生产技术

视觉生产技术

定义和分类

视觉生产定义

视觉生产就是通过一个/一系列视觉过程,产出新的视觉表达。这里的产出是指人或机器能够感知的图像视频,而不是标签或者特征并且必须是新的视觉表达,和输入的不一样。在过去,这个过程大多数是由人工来实现,但是现在我们希望通过AI技术,来产生一系列新的图像

视觉生产分类

  • 生成:从0到1
  • 拓展从1到N
  • 摘要:从N到1
  • 升维:从An到An+1
  • 增强/变换:从A到B
  • 插入/合成: A+B=C
  • 擦除: A-B=C

视觉生产-通用基础框架

请求(Request)

输入:参数 素材 草案 成品 案例

分发(Dispatch)

生产类型:

  1. 通用生成(General)
  2. 素材合成(Assemble)
  3. 照图生图(Imitate)
  4. 视频摘要(Summary)
  5. 编辑变换(Edit)
  6. 视觉拓展(Extend)
服务(Service)

视觉生产引擎:

  • 生成引擎:模型+知识
  • 搜索引擎:素材+案例
响应(Response)

输出:素材 成品 案例

视觉生产-五个关键维度

  • 可用:带来用户/商业价值
  • 可控:提供用户预期的抓手
  • 多样:保证结果的丰富性
  • 合理:合乎语义/内容逻辑
  • 可看:满足视觉/美学表现

精细理解

分割抠图

  1. 识别:知道是什么

人的识别、物的识别

  1. 检测:识别+知道在哪儿

缺陷检测 多目标检测

  1. 分割:识别+检测 知道每一个像素是什么

全景分割 病灶分割

难点:数据严重不足,标注成本高

思路:

1、复杂问题拆解:粗mask估计+精准matting

2、丰富数据样本:设计图像mask统一模型

视觉生成

照图生图

参考原图,将风格、布局等信息学习并迁移到目标致据上。

个性化设计

多元化设计风格,结合商品品类、投放场景、目标客群的差异进行订制化设计.

Al实现场景设计能力

**场景智能美工 ** IN:营销场景+原始素材 OUT:营销图片调用方式: API

场设计初始化100-200张输入 人工还原机器学习JPG- PSD 最终输出样式PNG
模板创作机器人
图片合成机器人

视频生成-框架流程

场景选择、关联商品、素材准备、参数设置-》视频算法(编辑器支持微调)-》渲染合成-》投放、上传

编辑器支持微调:

视频植入

  • 应用场景:广告植入
  • 业务流程:分镜检测
  • 视频理解:广告位检测、跟踪、遮挡检测
  • 素材匹配:场景标签
  • 光影渲染:边缘走样、阴影、高光、装饰
  • 核心挑战:位置、透视、尺寸、遮挡、时间

视频摘要

视觉编辑

视频内容擦除

  • 应用:字幕、台标、广告、场景文字、人体相关内容的擦除
  • 核心挑战和亮点:粗定位、精分割、像素填充、在线训练

视频植入

植入位检测与定位

视觉增强

  • 单点核心技术:人脸增强、去噪音、通用场景超分、LDR升HDR、倍频、去划痕
  • 复合应用技术:人脸修复、标清转高清、LDR-HDR互转、4K重生、老片修复、端上实时增强
  • 核心挑战:分辨率、帧率、色彩

风格迁移

  • 图像区域重要度分析:

    • Self Attention GAN–m知元离区域的特征相关性
    • 特征层计算, 1x1卷积,降低计算开销
  • 多笔触融合

    • 强注意力区域采用细拉度笔链,保证细节
    • 弱注意力区域采用粗粒度等触,充分风恰化

颜色拓展

  • 算法指标:高时效性、高合理性、高扩展度
  • 输入:给定目的色系、给定参考图、AUTO
  • 输出:目标图片

视觉制造

实体设计制造

  1. 效率低:多次打样,多次沟通(服装设计平均30天
  2. 协同差:设计、营销、生成脱节、倒置
  3. 定制难:无法实现柔性生产

核心逻辑

服装几何生成

视觉迁移及融合

多样拓展性

视觉开放平台

定位

  1. 聚合阿里巴巴视觉(国像/视频/3D图形)原能力,以云上API方式统一提供服务;

  2. 建设视觉智能API开放平台,高效管理视觉!法能力生命周期,提供相应效率工具;

  3. 基于平台上的API能力,建设双向进入和使机制,扩大开发者生态,打造行业用户心智;

  4. 建设和运营阿里视觉平台品牌,扩大影响力,得能力提供者和使用者欢赢

一站式能力选择

  1. 规模化:将在平台荟萃数百个AP能力;
  2. 多样化:针对多种媒体(图像、视频、3D)多种对象的多个能力;
  3. 细粒度:原子化、被集成,解决细粒度的具体问题
  4. 场景化:有价值,能实用,针对特定场景特定优化的能力。

评论

:D 一言句子获取中...

加载中,最新评论有1分钟缓存...