进击二次元，AI也能插手绘画创作
机器之心产业研究 机器之能
作者 | 熊利郎
一、日本ACG市场规模
根据2018年日本动画协会提供的数据显示，日本ACG产业将持续增长。与ACG相关的市场总额为21527亿日元（为上一年的108.1％），2017年也是历史上市场规模首次超过2万亿日元，连续第五年最高。最大的增长因素来自海外市场，该市场自2015年以来一直保持快速增长（比上年增长129.6％）。据估计，作品在中国主要互联网平台，亚马逊和Netflix的销售份额很大。由于动漫在全球范围内的普及，海外市场已显着增长，并且视频发行业务也持续增长。另一方面，由于缺乏DVD和商品的销售，日本国内市场连续第三年下跌。
深度学习：深度学习分析各种动画制作资料，根据模型和数据，自动生成用于过渡的动画或素描线条。该技术主要用于降低原画师或动画制作人用于重复工作的时间。深度学习技术的加入，可将动画制作的制作效率大大提升。
生成对抗网络（GANs）： GAN的核心是包含两个具有相互竞争目标的代理，这些目标通过相反的目标发挥作用。通过使AI学习大量的真实人脸照片和动漫人物面孔，可以创建全新的图像样本。不同类别的GAN能够实现将照片转化为二次元风格图片，或反向操作等等。
图像识别技术：通过图像识别，将图像/动画的边缘或素描线条正确从动漫原稿中识别。识别的内容用于后续的深加工。将草图反馈迭代地进行细化，直到产生最后的作品。如卷积模型可与光栅图像一起，将多个粗略的草图线条转化成一个干净的线条。
语音合成技术：自然语言处理技术的分支。语音合成技术将文本转化为声音。将文字信息转化为可听的声音信息，也即让虚拟人物像人一样开口说话。主要模拟人对自然语言的理解过程——文本规整、词的切分、语法分析和语义分析，使计算机对输入的文本能完全理解，并给出后两部分所需要的各种发音提示。
三、人工智能技术在二次元领域中的落地场景
漫画草稿自动描线：早稻田大学开发的漫画草稿自动描线技术，用AI将从最开始的草图，根据反馈迭代地进行细化直到产生最后的作品。使得创作者可以优先考虑尽快地将概念和想法表达出来，而非精美的细节。图像作为网络的输入，得到与输入图像相同尺寸的输出。网络结构十分简单，第一部分作为编码器，在空间上压缩图像。第二部分，处理并提取图像中的基本线条。最后一部分作为解码器，将小的或者更简单的特征转换成与输入同样分辨率的灰度图。这些全部用卷积来完成。
动画中间帧自动生成：Dwango 公司的技术团队，利用了 2016 年早稻田大学公开的草稿自动描线技术，在此基础上进行了一些专门为制作中间帧动画的技术适配，使用 Google 的TensorFlow 深度学习系统，与 GTX Titan X 进行实际运算，深度学习的数据来源是《偶像事变》的动画制作资料，由 AI 自动生成相当于原作 4 倍的中间帧动画。AI 的加入，将动画制作的工作效率大大提升。
漫画草稿自动上色：台湾东吴大学的计算机实验室融合了残差U-net和辅助分类器GAN（AC-GAN）卷积模型。生成器负责生成逼真的假图，欺骗判别器；而判别器负责识破假图。该技术可帮助漫画家在短时间内，针对同一个线稿生成大量各不相同的，合理的色彩构图让漫画家进行挑选。从而降低漫画家重复工作的时间，将更多的精力投入到漫画或情节的创意上。
虚拟角色香水自动推荐：日本的sceneryscent公司另辟蹊径，在创建香水时使用人工智能（AI）分析符合消费者品味形象的气味。通过Twitter、Facebook等SNS上的大数据进行分析，提取与人物形象接近的单词。并从最常用的单词开始按顺序匹配香味，将提取的香味与人物形象进行匹配，最终结合消费者的个性和属性，推荐虚拟角色的同款香水。虽然无法触摸到二次元的角色，但是会感觉到她们香水一样的味道。
二次元少女图像自动生成：Radius Five公司的技术团队提供的美少女插画创作服务，利用对抗生成网络自动生成美少女的插画。通过重复选择，让生成的插画逐渐接近用户理想的图像。GAN 使用一个生成器网络根据前提和噪声输入来生成图像，GAN 还有另一个网络会试图将生成的图像和真实图像区分开。通过同时训练这两个网络，最终会使得生成器生成的图像无法与对应前提下的真实图像区分开。这个生成器需要能理解并遵从用户给出的关于特定属性的要求，这被称为先验（prior）；而且它还需要足够的自由度来生成不同的详细的视觉特征，这是利用噪声（noise）建模。
五、人工智能在二次元创作领域的局限性
制作精度不足：在中间帧动画作画的精度方面，AI 还有很大的不足。如在视频中角色的手绘突然糊掉甚至消失，身体部位会发生异常的弯曲。在制作精度方面还有很大的改善空间。
结果不可控：由于当前的智能应用多为创新尝试，存在用户的参与的越多，自动生成结果越难看；或者调试多次结果无法匹配创作这最初的构想，影响实际应用效果。
生成可商用的效率低：目前大部分二次元制作AI都只停留在了从结果里精挑细选的程度，尚未达到能够作为商用服务的程度。
六、人工智能在二次元创作领域的发展趋势
作品高产化：无论是模型制作，声音合成，动画制作，漫画自动生成等，在制作精度方面还有很大的改善空间。提升产率是大规模商用化前必须改进的点。
流程自动化：用户制作人参与在初级制作的时间会逐渐减少。制作人将用AI辅助制作，而花费更多的时间在作品创意的构思上。
IP授权紧俏化：衍生品的授权开发以及人物形象、内容的授权使用。会随着自动生成，逐渐被用户改变。AI生成相似的角色，是否会被认作是侵权。同样的AI工具生成的内容存在争议性。
* 本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布，敬请大家关注。针对「人工智能在二次元创作领域的应用与展望」这一主题，有哪些方向或主题，你希望在报告深度版中读到详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。
关于「智周」系列报告
机器之心「智周」人工智能技术应用报告系列重点关注现有人工智能技术应用较成熟且应用潜力较大的正在进行智慧升级的传统行业及场景，逐行业、逐场景为产业用户高效而不失深度地呈现不同人工智能技术的产业落地现状、企业案例、技术应用趋势等。「智周」人工智能技术应用报告系列包含核心版及深度版两个版本：
核心版浓缩精华分析内容至2页内，覆盖重要数据、分析结论及案例简述，以供使用者高效系统地了解人工智能技术在自身所关注产业内的潜在机会。
深度版在核心版的基础上，包含详尽的行业或场景痛点分析、技术解读、落地案例详解及资料附录等，以供有深度研究需求的使用者进行深入探究。
机器之心Pro
追动态 | 查数据 | 找资源 | 读报告 | 产业分析new
机器之心Pro 是基于「机器之心团队构建的百万级规模人工智能知识图谱及结构化数据库」搭建的人工智能领域专业信息平台。
目前已上线六个模块：Dashboard、新闻数据库、行业数据库、人工智能知识库、深度精选和智周分析new，覆盖 40 个技术领域及 56 个智能应用领域。
原标题：《进击二次元，AI也能插手绘画创作|智周报告核心版》