快手是一个用视频记录和分享生活的平台，优化视频的生产、编辑和消费体验，是快手研发工程师们的工作重心。其中，特效技术可以在普通照相画面中降低各类新奇有趣的元素，衍生出各类奇思异想的新玩法；而音视频技术则帮助用户愈加便捷、舒适地听到各种繁复玩法的视频，实现短视频、直播、连麦、K歌等多场景下的音频自然、真实、清晰。
随着4月26日世界知识产权日的到来，快手向外界展示了快手近些年来在视频生产、编辑、消费体验方面蕴含的丰富科技创新“绝活”。
以往的超酷特效技术因为估算量大，只能依靠算力庞大的PC端和服务端进行创作。随着联通时代的将至，迫切需要将这些能力转移到移动端，并与视频拍摄巧妙结合上去，让用户随时随地感受到拍摄的乐趣，创作出个性化的作品。快手通过自研AI推理引擎、模型压缩算法，在不增加特效体验的前提下，将估算量急剧压缩，普通手机即能满足要求，因此诞生了快手APP上成百上千的魔法表情。
隐身魔表
2020年，在快手和江苏卫视联手构建的“一千零一夜”晚会上，迪丽热巴当场演出了一个隐身绝招，惊艳全场。不需要任何道具的支持，只须要应用快手最新开发的魔法表情能够轻松实现。这是结合单图图象修补和帧间图象对齐技术的视频修补算法在短视频行业中的首次应用，快手在这方面走在了行业的前头。如此好玩的特效迅速获得了用户的喜爱，上线几天时间，快手用户就玩得飞起，迅速贡献了近80万个相关作品。
视频修补涉及到多帧估算，其深度学习模型普遍估算量较大，很难在移动端运行。快手的工程师们将算法整体分成了两个阶段：首帧使用移动端脑补模型实现对人像区域的背景填充，后续帧使用帧间实时跟踪匹配投影，实现可见背景区域向人物遮挡区域的填充。其中对训练方式、训练数据和损失函数做了一系列优化，这一套技术组合拳后，不仅隐身功底一流，并且在各类型号上都能轻松实现。
年龄渐变魔表
2020年春节期间，快手以年纪渐变为主题，上线了一系列魔法表情，实现了图象人物从娃娃脸到老年等全过程的特效，这一特效可以让用户追忆年少的模样、展望变老后的模样，用科技手段降低了人间温度感。
该特效基于深度学习的生成式对抗网路（GAN），结合快手积累的大量数据集及多样化的模型压缩技术，才能达到实时在手机端实现的疗效。利用快手自研的YCNN深度学习推理引擎和压缩算法，才促使这些复杂任务在手机端流畅运行，甚至还能造福各类中高端型号。
混合现实特效
快手研制落地了混和现实新特效，用户通过快手的MR混和现实系统可以实时体验虚实遮挡、体表运动、虚拟打光、物理碰撞等虚实交互特点。快手近来半年已上线了“新春灯牌”、“辞旧迎新”、“蹦迪滤镜”等多款MR魔表，是国外首家上线该技术的公司，极大的迸发了用户创作的热情，提高了用户的视频创作体验。相关技术论文已被法国计算机视觉国际会议（ECCV） 2020等收录。
从二维图象中恢复三维信息是实现这种功能的基础，其中自然场景的深度恐怕是一大困局，技术团队从模型、算法、训练方式和数据上全面改进，改善了深度恐怕的质量，实现了移动端实时单目深度恐怕。快手也借助那些技术创新，在产品侧推广落地了立体相片、景深散景等新玩法。
很多特效是在真实拍摄对象上降低了虚拟能力，呈现出亦真亦假的疗效，其中自然、真实的特效是用户体验的关键，即让特效图象既像真人，又非真人，甚至形成让人信以为真的疗效。这个看似简单的功能背后须要强悍的算法支撑，快手克服训练数据、模型结构、算法逻辑等各方面困难，推出了一系列热卖特效。
童话风格魔表
快手推出的童话魔表特效，可以让每位人轻松实现自己的王子梦、公主梦，把自己弄成童话形象的神奇疗效，引来杨幂、迪丽热巴、娄艺潇等名星纷纷晒出自己的公主化身疗效。
其实真人变q版图、日漫二次元图象已经不是新鲜事，但是童话风格与日漫风格存在很大差别，不仅要保留真人外貌特征，还要实现动漫的3D人像风格，既要风格像，也要内容像，加上训练数据不足，进一步加强了这一技术的实现难度。针对以上这种困局，快手 Y-tech 团队的 AI 工程师采用了自研的 KStyleGAN 结构，在 3D 空间中表征人脸结构、进行风格映射，并采用神经网路渲染来精细控制结果图的质感，有效克服了常规基于 2D 表征的 StyleGAN 方法的缺陷，并在移动端上落地了实时特效。
二次元风格魔表
“我慕容魔表，对着大地gif快手热门，对着天空，对着云，对着风，对着快手园区立誓：我一定要圆你的主角梦！！”你还记得这些玛丽苏文吗，是否也幻想成为霸道总裁或玛丽苏女主？2020年十一前夕，快手推出了一系列耽美手绘魔表，上线后迅速火热网路。
快手工程师介绍，相比于此前的一些特效玩法，“手绘”系列最大的不同，是须要兼具真实感、美感以及q版疗效三方面的要求。也就是说，既要最大程度保留用户本人的五官和外观特点，还要具备手绘风格的美学和艺术疗效。快手特效中心团队研制了一个基于GAN（生成式对抗网路）的图象翻译和风格迁移学习训练框架，结合此前CycleGAN、U-GAT-IT等技术的主要优点，并按照实际需求进行了多样化的开发和优化。
好玩儿的视频生产下来，怎么传送给听众观看？怎么提升视频消费环节的用户体验？这是快手音视频团队的核心关注。在刷视频的体验越来越好的背后，是音视频黑科技的不断迭代和落地应用。一方面，让视频的质量不断提升，让用户享受更清晰、更真实的显示疗效；另一方面，要让看视频愈发流畅，在不同环境下、不同硬件上都能流畅观看视频，避免视频卡顿、延迟等不好体验，做到真正的科技普惠。
HDR视频：让用户“身处其中”
2021年初，快手宣布全面支持多种高动态范围（HDR）格式视频的上传和消费，为用户带来全新的音质体验。HDR技术让象素的动态范围、色域和位深三个维度全面得到改善，让视频画面中的每位象素具备了更高的抒发能力。这一技术的出现，适应了用户对更高视频体验的要求，适应了信息技术的改革发展。
相对于传统的SDR视频，HDR拥有愈加出众的表现能力，可以让用户在屏幕上见到更接近事物真实状态的图象。随着支持HDR拍摄的型号越来越多，HDR会在用户中得到更广泛普及。快手的黑科技除了在于实现HDR格式视频的上传和编辑，以及在支持HDR显示的手机上正确播放，还在于让HDR视频在非HDR手机上也能正确观看，画质也会按照算法进行调整和提高，尽量还原视频疗效。因为各家视频拍摄软件采用的HDR格式都不统一，视频上传到服务器后，往往会出现适配麻烦。但在快手上，后端转码会把不统一的HDR转成统一的HDR10格式，把视频普惠分发到每台支持HDR的设备上。
音频技术：让用户“声临其境”
快手上的声音场景比较复杂，有短视频、直播、聊天室、PK、KTV等场景下的声音，也有涉及不同位置间的语音交互，语音在单向、多向传递过程中的质量保障极其重要。常见的声音延后、噪音、响度不均、混响、回声等问题，都会显著影响用户的收听体验。快手在直播RTC语音技术、短视频智能音频技术和K歌音频技术方面取得一系列进展，保障了用户的收听体验。
在直播RTC语音方面开发了AEC回声清除技术，在多个产品上落地应用，包括：小快机器人，通过AEC清除音乐回声干扰，大幅提升唤醒率；直播伴侣，通过AEC去除外录的游戏音质，再内混游戏音质实现高画质直播；主站K歌打分，通过AEC清除BGM回声干扰，大幅提升打分准确度。此外，基于深度学习的AI语音降噪、多分辨率优化、丢包率自适应恢复策略、音频超分等技术提升了实时语音的准确性和清晰度。
在短视频音频方面，平台应用的音调控制处理技术和标准gif快手热门，有利于规范平台音频音调和动态范围的平衡，避免音调战争。同时让短视频内容的声音音调体验愈发一致，避免切换不同视频时，声音音调忽大忽小。在K歌音频方面，利用神经网路去除或减少用户K歌过程中所形成的喷麦噪音，提升K歌作品的音色，解决普通用户没有专业设备的喷麦或风噪问题。
多分辨率优化：让用户社交无碍
快手是个普惠的平台，其用户基数大，分布广，网络环境差别大，尤其在边远山区，刷视频、看直播，卡顿是常有的事。快手的一项“多分辨率自适应”技术可以有效减轻以上困局。
日前，快手凭着一项“多分辨率自适应”技术的专利——“媒体码流自适应方式、装置、计算机设备及储存介质”获得第六届北京市发明专利三等奖。该项专利首次提出短视频场景下的多分辨率构架及先进的多分辨率自适应算法，可以明显增加观看短视频时的播放卡顿率，有效改善因网路条件差造成的视频卡顿现象。
为保障不同硬件设备和网路环境用户间的畅通交流，快手持续就“码率自适应技术”迭代更新。2020年6月，快手即将对外发布基于流式的直播多分辨率自适应标准LAS（Live Adaptive Streaming），用于提供低延后、平滑、流畅的直播多分辨率体验。据悉，快手同时开源了LAS的端到端解决方案，包括服务端、客户端、业界领先的多分辨率自适应算法等，帮助业界实现零门槛接入和使用LAS。
在开发技术的同时，团队就分辨率自适应技术持续迭代更新，至今已申请相关专利20余件。
企业的发展离不开技术的创新带动。
作为一家以人工智能为核心技术的科技企业，快手仍然注重对研制投入及知识产权保护，先后被评为“国家知识产权优势企业”“北京市知识产权示范单位”“中关村知识产权领军企业”。
走进快手公司，一面专利墙映入眼帘。据了解，快手持续在先进的短视频生产方式、推荐技术、音视频技术等领域进行专利布局，同时围绕专利、商标、著作权和域名构建全方位的、有前瞻性、有策略性的知识产权保护体系，为技术创新建立起结实的护城河。经过多年努力，目前快手专利申请量达4000余件。
不仅是加强自身知识产权保护，快手也十分注重对平台用户或权利人的知识产权保护。通过方便维权举报入口和筹建官方维权邮箱等方法，建立知识产权维权机制，监控和严打各种专利、商标侵权行为，切实履行平台责任义务，净化内外部市场环境。
在持续建立知识产权保护体系建设的同时，快手积极参与互联网行业的各种技术和知识产权交流阐述活动，参与中国人工智能产业发展联盟学术与知识产权工作组组织的《中国人工智能产业知识产权蓝皮书2020》部分编撰工作，携手共建知识产权保护环境。
“未来，我们还将继续依托于技术和产品的不断推陈出新，帮助普通用户以更丰富的视角探求世界、发现美好，同时也会愈加重视知识产权保护，用有体温的科技提高每位人奇特的幸福感。”快手相关工作人员表示。
