最新能让老外对口型讲中文的AI 视频教程,免费开源AI工具——Wav2Lip

本期就来教大家制作海外大佬们新年祝福视频吧!对口型视频一直在全网都非常的火爆,随便一个视频都是几千赞以上,简直堪称涨粉利器!

bb973159243db79ec272eb6a2e7f1f1c.jpeg

是不是很有意思,口型完全对得上,表情也很自然逼真,不懂内行的人,还真的以为是大佬中文说得非常溜!

这种内容形态非常适合短视频上平台进行引流获客,比如抖音爆火的曾仕强老师讲国学,基本现在这类账号的内容都是利用对口型的方式制作出来的,粉丝超10万+的账号比比皆是。

其实视频对口型的工具早在几年前就有,但应用领域甚少,直到2023AI视频生成式工具大爆发,带动一系列厂商投入到这块领域,像最近这两个月被大家熟知的Runway口型翻译功能,仅凭一条郭德纲说英文就有5000万播放量,几百万点赞量,制作简单,涨粉强,适合新手突围,非常香。

但是Runway的价格确实劝退一大波人,今天重点介绍一款视频对口型AI开源神器——Wav2Lip,直接在SD上安装插件即可免费畅玩。

由于教程篇幅较长,因此会分2期内容进行介绍,本期重点介绍Wav2Lip按照教程,下期将介绍详细的操作教程。

1.Wav2Lip介绍

官方网站:http://wav2lip.cn/

Wav2Lip是一种基于深度学习的技术,旨在将音频与静态图像中的嘴部动作进行同步,生成逼真的口播视频。

它可以让我们在视频中看到一个人说话的样子,而实际上这个人可能根本没有说过这些话。你可以把它想象成一种”口型变脸”的魔术。比如,你可以用任何想要的声音,比如你自己的声音,来配上一段视频,就好像这个人真的在说那些话一样。

它的原理是利用了深度学习技术来分析视频中人物的嘴部动作,并将这些动作与音频同步,生成一个看起来非常真实的口型。为了达到这个效果,它需要一个预测模型来分析视频中的嘴部形状和动作,还需要一个合成器来将声音和嘴部动作结合起来,生成最后的口型视频。

项目演示地址:

https://bhaasha.iiit.ac.in/lipsync/

a6a9250bb06dc92f9503fa64c5517d19.jpeg

2.SD上如何使用Wav2Lip

在安装插件之前,得进行安装Wav2Lip所需的环境“FFmpeg”。然后再下载并安装所需的模型。


第一步

(https://ffmpeg.org/download.html)

点击链接,进入“FFmpeg”官网,鼠标在主页中往下滑,在“Get packages & executable files”选择适合电脑的操作系统。

16c1b72711d9cfccbe6ce9b3d7e32798.jpeg


第二步

以Windows为例,点击Windows的图标,然后选择“Windows builds from gyan.dev”。


38c99f22db9436645216e1b8aa5f7aff.jpeg


第三步

打开之后,鼠标往下滑,找到“ffmpeg-git-essentials.7z”文件,点击下载,同时解压当前文件。


f7b8bef7425d0d108293c52ed7838d67.jpeg


第四步

下载完成后,将“FFmpeg”添加到环境变量设置中。在“此电脑”图标上右击并点击“属性”,找到“相关设置”选择“高级系统设置”,将“系统属性”面板打开。


bfc980dda6ed8be48efec22817ad5bb7.jpeg


第五步

选择下方的“环境变量”,点击环境变量面板,最后在上方的“用户变量”,选择“Path”,且点击“编辑”。


e1df77c33ee052f7c0d731351270f268.jpeg


第六步

在“编辑环境变量”面板中,点击“新建”,然后在点击“预览”,找到刚刚下载好并解压好的文件夹下的“bin”文件夹,然后点击“确定”即可。


4dfc685d5f060c872fd401dc103c3864.jpeg


第七步

FFmpeg添加后,选择“终端”,并且执行“ffmpeg”命令。最后界面如果出现以下信息,就代表ffmpeg安装成功啦。


80c81966ec9a9cd04fc63bfefd55fd05.jpeg


环境设置完成后,接着打开Stable Diffusion安装“Wav2Lip”插件。


3.插件安装

首先在Github下载“Wav2Lip”模型。

Wav2Lip插件地址:

https://github.com/numz/sd-wav2lip-uhq


4059128487ed816090f69c558876803e.jpeg


第一步

下载好模型后,在“Stable Diffusion”中选择“扩展”-“从网址安装”,接着将插件的URL复制粘贴在“扩展的git仓库网址”中,最后点击“安装”。


f91df6a9162127df0701f4fa6db3db93.jpeg


第二步

完成插件安装后,先对Stable Diffusion进行关闭,接着将下载好的模型,拉入对应的文件夹中,接着再次打开“Stable Diffusion”,“Wav2Lip”插件就显示在上方啦。


28b2f69ff083972bc23b32672ed6ca73.jpeg


当然!如果像要对视频人物进行“换脸”,那就还得进行安装和下载“FaceSwap”的模型以及环境。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/289172.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

后端杂七杂八系列篇一

后端杂七杂八系列篇一 ① MySQL选择合适的数据类型① Char与Varchar② Text与Blob ② EqualsAndHashCode(callSuper true)的作用③ mybatis-plus 相关① 主键生成策略② 使用Model实现CRUD③ Wrapper的用法① Wrapper的继承关系② 项目中最常用的warpper [LambdaQueryWrapper]…

ElasticSearch数据同步

文章目录 ElasticSearch数据同步1. 同步调用2. 异步通知3. 监听binlog4. 工作中处理同步的问题 ElasticSearch数据同步 ElasticSearch中酒店数据来自于mysql数据库,因此MySQL数据发生改变时,ElasticSearch也必须跟着改变,这个就是ElasticSear…

轻量级性能测试工具 wrk 如何使用?

项目设计之初或者是项目快要结束的时候,大佬就会问我们,这个服务性能测试的结果是什么,QPS 可以达到多少,RPS 又能达到多少?接口性能可以满足未来生产环境的实际情况吗?有没有自己测试过自己接口的吞吐量&a…

Node.js+Express 获取前端get请求参数值

前端请求: http://localhost:3002/api/user/login?username002&password002 后端响应 router.get(/api/user/login, (req, res) > {let username req.query.username;let password req.query.password;const sqlStr SELECT * FROM sys_user where use…

UI自动化测试框架搭建

今天给大家分享一个seleniumtestngmavenant的UI自动化,可以用于功能测试,也可按复杂的业务流程编写测试用例,今天此篇文章不过多讲解如何实现CI/CD,只讲解自己能独立搭建UI框架,需要阅读者有一定的java语言基础&#x…

西北工业大学计算机组成原理实验报告——verilog前两次

说明 为了有较好的可读性,报告仅仅粘贴关键代码。该PDF带有大纲功能,点击大纲中的对应标题,可以快速跳转。 实验目标 掌握单周期CPU执行指令的流程和原理;学习使用verilog HDL语言实现单周期CPU, 并通过功能仿真;提…

【BIAI】Lecture2-Visual system

Lecture 2 - Visual System 专业术语 central nervous system(CNS) 中枢神经系统 pupil 瞳孔 iris 虹膜 cornea 角膜 retina 视网膜 fovea 中央凹 或 黄斑区 kens 晶状体 optic nerve 视神经 Bipolar cells 双极细胞 Ganglion cells 神经节细胞 rods 杆状细胞 cones 锥状细胞 …

uniapp中组件库的Textarea 文本域的丰富使用方法

目录 #平台差异说明 #基本使用 #字数统计 #自动增高 #禁用状态 #下划线模式 #格式化处理 API #List Props #Methods #List Events 文本域此组件满足了可能出现的表单信息补充,编辑等实际逻辑的功能,内置了字数校验等 注意: 由于…

2023-12-17 LeetCode每日一题(使用最小花费爬楼梯)

2023-12-17每日一题 一、题目编号 746. 使用最小花费爬楼梯二、题目链接 点击跳转到题目位置 三、题目描述 给你一个整数数组 cost ,其中 cost[i] 是从楼梯第 i 个台阶向上爬需要支付的费用。一旦你支付此费用,即可选择向上爬一个或者两个台阶。 你…

【鸿蒙杂谈①】——鸿蒙基础介绍及应用领域

1.前言 小伙伴们大家好,最近被复习整的痛苦无比,所以今天咱们了解 一点轻松的东西,至于高并发就先放放吧。好了,废话不多说,咱们进入正题。 相信小伙伴们都已经看到了最近鸿蒙的势头了,那鸿蒙究竟是怎么发…

邀请函 | 通付盾出席第四期移动互联网App产品安全漏洞技术沙龙

为深入贯彻落实《网络产品安全漏洞管理规定》,规范移动互联网 App 产品安全漏洞发现、报告、修补和发布等行为,提升网络产品提供者安全漏洞管理意识,探索最前沿的漏洞技术发展趋势和创新应用,搭建权威、专业、深度、创新的交流平台…

springboot整合webservice使用总结

因为做的项目中用到了webservice,所以在此总结一下。 一、webservice简介 Web Service也叫XML Web Service, WebService是一种可以接收从Internet或者Intranet上的其它系统中传递过来的请求,轻量级的独立的通讯技术。是通过SOAP在Web上提供的软件服务,使…

【计算机毕业设计】SSM场地预订管理系统

项目介绍 本项目分为前后台,前台为普通用户登录,后台为管理员登录; 用户角色包含以下功能: 按分类查看场地,用户登录,查看网站公告,按分类查看器材,查看商品详情,加入购物车,提交订单,查看订单,修改个人信息等功能。 管理员角…

CSS 顶部位置翻转动画

<template><div class"container" mouseenter"startAnimation" mouseleave"stopAnimation"><!-- 旋方块 --><div class"box" :class"{ rotate-hor-top: isAnimating }"><!-- 元素内容 --><…

matplotlib绘制折线图

代码 import matplotlib.pyplot as plt import numpy as npdef get_data(txt_path: str , epoch: int 100, target: str , target_data_len: int 5): # 函数介绍 # https://blog.csdn.net/LQ_001/article/details/130127681?csdn_share_tail%7B%22type%22%3A%22blog%22%2…

【C++】引用、内联函数、auto关键字、基于范围的for循环、指针空值nullptr

文章目录 前言引用引用概念引用特性常引用使用场景传值、传引用效率对比引用和指针的区别 内联函数概念特性 auto关键字auto概念auto的使用细则auto不能推导类型的场景 基于范围的for循环(C11)范围for的语法形式范围for的使用条件 指针空值nullptr的出现总结 前言 提示&#x…

【VMware】Windows安装MySQL及网络配置---图文并茂详细介绍

目录 目录 一 安装MySQL ① 连接虚拟机传输MySQL压缩包 ②解压MySQL压缩包 ③ my文件拷贝mysql安装根目录下 ④ 修改my文件 ⑤ 5.7版本安装MySQL 5.1 注册mysql服务 5.2 初始化 5.3 启动MySQL 5.4 登入MySQL 5.5 修改默认密码 ⑥ 8版本安装MySQL 6.1 解压压缩包 …

手把手将ReactJS项目部署到Ubuntu

我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版&#xff0c;欢迎购买。点击进入详情 1.构建项目 npm run build 生成build目录&#xff1a; 2.上传项目 将build目录上传到Ubuntu。 可以使用Xftp工具。 3.启动项目 npm install -g serve serve -s …

数据结构第2章 栈和队列

名人说&#xff1a;莫听穿林打叶声&#xff0c;何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》 本篇笔记整理&#xff1a;Code_流苏(CSDN)&#xff08;一个喜欢古诗词和编程的Coder&#x1f60a;&#xff09; 目录 0、思维导图栈和队列1、栈1&#xff09;特点2&#xff0…

8295座舱首家量产/连续两款车型落地,智能座舱进阶3.0时代

兼具豪华感与科技感的数字座舱&#xff0c;已经成为当前各大高端智能车型的核心卖点。 在2023年广州车展上&#xff0c;高端智能纯电轿车吉利银河E8正式发布&#xff0c;极具科技感的座舱空间设计与智能化能力让这款车脱颖而出。 例如极具视觉震撼效果的45英寸贯穿屏&#xff…
最新文章