必威-必威-欢迎您

必威,必威官网企业自成立以来,以策略先行,经营致胜,管理为本的商,业推广理念,一步一个脚印发展成为同类企业中经营范围最广,在行业内颇具影响力的企业。

动画就是一系列连续的画面按顺序呈现出来而已

2019-09-16 11:59 来源:未知

HTML5:使用Canvas实时处理Video

2015/09/11 · HTML5 · Canvas

本文由 伯乐在线 - cucr 翻译,唐尤华 校稿。未经许可,禁止转发!
英文出处:mozilla。迎接加入翻译组。

结合HTML5下的videocanvas的机能,你能够实时管理录制数据,为正在播放的摄像增加精彩纷呈的视觉效果。本课程演示怎么样运用JavaScript代码完毕chroma-keying特效(也被堪称“紫铜色显示器效应”)。

请看那个实例.

来探视机智的前端童鞋怎么防盗

2016/07/12 · JavaScript · 4 评论 · HTML5

原稿出处: VaJoy   

成都百货上千支出的童鞋都以一身混江湖、夜宿城中村,若是居住的地点安全保卫欠缺,那么出门在外难免顾忌屋里的资金财产安全。

实则世面上有非常多宏伟上的防盗设备,但对此灵动的前端童鞋来讲,只要有一台附带录像头的计算机,就能够省略地贯彻二个防盗监控类别~

纯 JS 的“防盗”手艺相当的大程度借助于 H5 canvas 的力量,且卓殊有趣。假诺你对 canvas 还不熟习,能够先点这里读书笔者的多种教程。

step1. 调用录制头

笔者们须求先在浏览器上访谈和调用摄像头,用来监督房子里的行径。分歧浏览器中调用摄像头的 API 都略有出入,在此间我们以 chrome 做示范:

JavaScript

<video width="640" height="480" autoplay></video> <script> var video = document.querySelector('video'); navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.webkitURL.createObjectURL(stream); video.play(); } function error(err) { alert('video error: ' + err) } </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<video width="640" height="480" autoplay></video>
 
<script>
    var video = document.querySelector('video');
 
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
</script>

运转页面后,浏览器出于安全性思考,会询问是或不是同意当前页面访谈你的录像头设备,点击“允许”后便能直接在 <video> 上来看拍戏头捕获到的画面了:

必威 1

step2. 捕获 video 帧画面

只然则开着摄像头监视房间可未有另外意义,浏览器不会帮你对监察和控制画面实行深入分析。所以那边我们顺遂动用脚本捕获 video 上的帧画面,用于在后续开展多少深入分析。

从这里开头我们就要借助 canvas 力量了。在 Canvas入门(五)一文大家介绍过 ctx.drawImage() 方法,通过它能够捕获 video 帧画面并渲染到画布上。

我们须求创设一个画布,然后这么写:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'); var canvas = document.querySelector('canvas'); // video捕获摄像头画面 navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.webkitU奥迪Q3L.createObjectUCRUISERL(stream); video.play(); } function error(err) { alert('video error: ' + err) } //canvas var context = canvas.getContext('2d'); setTimeout(function(){ //把当前摄像帧内容渲染到画布上 context.drawImage(video, 0, 0, 640, 480); }, 五千); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelector('canvas');
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
 
    //canvas
    var context = canvas.getContext('2d');
 
    setTimeout(function(){
        //把当前视频帧内容渲染到画布上
        context.drawImage(video, 0, 0, 640, 480);
    }, 5000);
 
</script>

如上代码所示,5秒后把摄像帧内容渲染到画布上(下方右图)

必威 2

step3. 对捕获的两个帧画面施行差距混合

在上面大家关系过,要管用地分辨有个别场景,要求对录制画面举行数据分析。

那就是说要怎么辨识我们的屋家是或不是有人猛然闯入了呢?答案很简短 —— 定期地破获 video 画面,然后比较前后两帧内容是不是留存比较大转移。

作者们先轻易地写四个定期捕获的点子,并将捕获到的帧数据存起来:

JavaScript

//canvas var context = canvas.getContext('2d'); var preFrame, //前一帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){ console.log(context); preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataU福睿斯L; //转为base64并保存 } //定时捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    //canvas
    var context = canvas.getContext('2d');
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){ console.log(context);
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL;  //转为base64并保存
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            timer(delta)
        }, delta || 500);
    }
 
    timer();

如上代码所示,画布会每隔500阿秒捕获并渲染二遍 video 的帧内容(夭寿哇,做完这么些动作十分大心把饼干洒了一地。。。(“▔□▔)/)

必威 3

留神这里我们使用了 canvas.toDataURL 方法来保存帧画面。

接着正是数据剖析管理了,我们得以由此对照前后捕获的帧画面来推断录制头是还是不是监察和控制到变化,那么咋做呢?

熟知设计的同班肯定平日使用多少个图层功效 —— 混合情势:

必威 4

当有三个图层时,对顶层图层设置“差值/Difference”的混杂方式,能够看清地阅览四个图层的异样:

必威 5

“图A”是自身二〇一八年在合营社楼下拍的照片,然后笔者把它稍微调亮了一小点,并在上头画了二个X 和 O 获得“图B”。接着作者把它们以“差值”形式混合在共同,获得了最右的这张图。

JavaScript

“差值”方式原理:要掺杂图层双方的库罗德GB值中各样值分别张开比较,用高值减去低值作为合成后的颜色,常常用深紫灰图层合成一图像时,能够获取负片效果的反相图像。用石绿的话不发生其余变动(金棕亮度最低,下层颜色减去最小颜色值0,结果和原本一样),而用金色会获得反相效果(下层颜色被减去,获得补值),别的颜色则依照它们的亮度水平

1
“差值”模式原理:要混合图层双方的RGB值中每个值分别进行比较,用高值减去低值作为合成后的颜色,通常用白色图层合成一图像时,可以得到负片效果的反相图像。用黑色的话不发生任何变化(黑色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会得到反相效果(下层颜色被减去,得到补值),其它颜色则基于它们的亮度水平

在CSS3中,已经有 blend-mode 脾气来支撑这么些有意思的搅和情势,可是咱们开掘,在主流浏览器上,canvas 的 globalCompositeOperation 接口也已经能够扶助了图像混合格局:

于是大家再建多一个画布来展现前后两帧差距:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'); var canvas = document.querySelectorAll('canvas')[0]; var canvasForDiff = document.querySelectorAll('canvas')[1]; // video捕获录制头画面 navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.ULANDL.createObjectUGL450L(stream); video.play(); } function error(err) { alert('video error: ' + err) } //canvas var context = canvas.getContext('2d'), diffCtx = canvasForDiff.getContext('2d'); //将第二个画布混合方式设为“差距” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前一帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataUSportageL(); //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx){ ctx = ctx || diffCtx; var img = new Image(); img.src = src; ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差距function renderDiff(){ if(!preFrame || !curFrame) return; diffCtx.clearRect(0, 0, 640, 480); drawImg(preFrame); drawImg(curFrame); } //按时捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); renderDiff(); timer(delta) }, delta || 500); } timer(); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelectorAll('canvas')[0];
    var canvasForDiff = document.querySelectorAll('canvas')[1];
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.URL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
 
    //canvas
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            timer(delta)
        }, delta || 500);
    }
 
    timer();
 
</script>

职能如下(夭寿啊,做完这一个动作笔者又把Coca Cola洒在键盘上了。。。(#--)/ )

必威 6

能够看出,当前后两帧差别很时辰,第多少个画布差相当少是黑乎乎的一片,独有当拍片头捕获到动作了,第八个画布才有显明的高亮内容现身。

据此,大家只必要对第多少个画布渲染后的图像举行像素剖析——剖断其高亮阈值是不是达到规定的规范某些钦点预期:

JavaScript

var context = canvas.getContext('2d'), diffCtx = canvasForDiff.getContext('2d'); //将第4个画布混合形式设为“差别” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前一帧 curFrame; //当前帧 var diffFrame; //贮存差距帧的imageData //捕获并保存帧内容 function captureAndSaveFrame(){ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataU大切诺基L(); //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx){ ctx = ctx || diffCtx; var img = new Image(); img.src = src; ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差别 function renderDiff(){ if(!preFrame || !curFrame) return; diffCtx.clearRect(0, 0, 640, 480); drawImg(preFrame); drawImg(curFrame); diffFrame = diffCtx.getImageData( 0, 0, 640, 480 ); //捕获差距帧的imageData对象 } //计算差别 function calcDiff(){ if(!diffFrame) return 0; var cache = arguments.callee, count = 0; cache.total = cache.total || 0; //整个画布都以淡紫白时享有像素的值的总量 for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i += 4) { count += diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2]; if(!cache.isLoop伊芙r){ //只需在首先次循环里试行 cache.total += 255 * 3; //单个反革命像素值 } } cache.isLoop伊芙r = true; count *= 3; //亮度放大 //再次回到“差距画布高亮部分像素总值”占“画布全亮意况像素总值”的比例 return Number(count/cache.total).toFixed(2); } //定期捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); renderDiff(); setTimeout(function(){ console.log(calcDiff()); }, 10); timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    var diffFrame;  //存放差异帧的imageData
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
        diffFrame = diffCtx.getImageData( 0, 0, 640, 480 );  //捕获差异帧的imageData对象
    }
 
    //计算差异
    function calcDiff(){
        if(!diffFrame) return 0;
        var cache = arguments.callee,
            count = 0;
        cache.total = cache.total || 0; //整个画布都是白色时所有像素的值的总和
        for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i += 4) {
            count += diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2];
            if(!cache.isLoopEver){  //只需在第一次循环里执行
                cache.total += 255 * 3;   //单个白色像素值
            }
        }
        cache.isLoopEver = true;
        count *= 3;  //亮度放大
        //返回“差异画布高亮部分像素总值”占“画布全亮情况像素总值”的比例
        return Number(count/cache.total).toFixed(2);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            setTimeout(function(){
                console.log(calcDiff());
            }, 10);
 
            timer(delta)
        }, delta || 500);
    }
 
    timer();

瞩目这里大家使用了 count *= 3 来放手差异高亮像素的亮度值,不然得出的数值实在太小了。大家运维下页面(图片相当的大加载会有一点慢)

必威 7

由此试(xia)验(bai),个人认为如果 calcDiff() 重回的比值假使超越0.20,那么就能够定性为“一间空屋企,蓦然有人闯进来”的地方了。

step4. 上报极度图片

当上述的猜测开采有景况时,要求有某种门路公告大家。有钱有生命力的话能够配备个邮件服务器,直接发邮件乃至短信文告到温馨,but 本文走的吃吐少年路线,就不搞的那么高档了。

那么要什么轻松地完成丰盛图片的反映呢?作者一时想到的是 —— 直接把题目图片发送到某些站点中去。

此地大家挑选博客园的“日记”成效,它能够放肆上传相关内容。

JavaScript

p.s.,其实这里原来是想一贯把图纸传遍博客园相册上的,缺憾POST要求的图形实体需要走 file 格式,即不可能透过脚本改动文件的 input[type=file],转 Blob 再上传也没用,只能作罢。

1
p.s.,其实这里原本是想直接把图片传到博客园相册上的,可惜POST请求的图片实体要求走 file 格式,即无法通过脚本更改文件的 input[type=file],转 Blob 再上传也没用,只好作罢。

咱俩在治本后台创立日记时,通过 Fiddler 抓包能够看出其乞求参数特别轻巧:

必威 8

故而得以一贯组织一个伸手:

JavaScript

//分外图片上传管理 function submit(){ //ajax 提交form $.ajax({ url : '', type : "POST", data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' + Date.now(), 'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
    //异常图片上传处理
    function submit(){
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' + Date.now(),
                'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            }
        });
    }

本来假若乞求页面跟乐乎域名分歧,是力不能及发送 cookie 导致要求跨域而失效,可是那个很好化解,直接改变 host 就可以(怎么修改就不介绍了,自行百度吗)

笔者那边改完 host,通过  的地址访谈页面,发掘摄像头竟然失效了~

通过谷歌(Google)的文书档案能够识破,那是为着安全性思虑,非 HTTPS 的服务端须要都不可能接通摄像头。但是消除办法也是部分,以 window 系统为例,展开 cmd 命令行面板并一定到 chrome 安装文件夹下,然后奉行:

ZSH

chrome --unsafely-treat-insecure-origin-as-secure="" --user-data-dir=C:testprofile

1
chrome --unsafely-treat-insecure-origin-as-secure="http://i.cnblogs.com/h5monitor/final.html"  --user-data-dir=C:testprofile

行动将以沙箱形式张开二个单独的 chrome 进程,并对点名的站点去掉安全限制。注意大家在新开的 chrome 中得重新登入微博。

那时便能健康访谈录制头了,我们对代码做下管理,当差别检查测验开掘至极时,创建一份日记,最小间隔时间为5秒(然而后来发掘没要求,因为微博已经有做了岁月限定,大致10秒后能力发表新的日志)

JavaScript

//按期捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); renderDiff(); if(calcDiff() > 0.2){ //监控到至极,发日志 submit() } timer(delta) }, delta || 500); } setTimeout(timer, 伍仟0 * 10); //设定展开页面十分钟后才起来监察和控制//卓殊图片上传管理 function submit(){ var cache = arguments.callee, now = Date.now(); if(cache.reqTime && (now - cache.reqTime < 陆仟)) return; //日记创立最小间隔为5秒 cache.reqTime = now; //ajax 提交form $.ajax({ url : '', type : "POST", timeout : 5000, data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' + Date.now(), 'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') }, error: function(err){ cache.reqTime = 0; console.log('error: ' + err) } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            if(calcDiff() > 0.2){  //监控到异常,发日志
                submit()
            }
 
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控
 
 
    //异常图片上传处理
    function submit(){
        var cache = arguments.callee,
            now = Date.now();
        if(cache.reqTime && (now - cache.reqTime < 5000)) return;  //日记创建最小间隔为5秒
 
        cache.reqTime = now;
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            timeout : 5000,
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' + Date.now(),
                'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            },
            error: function(err){
                cache.reqTime = 0;
                console.log('error: ' + err)
            }
        });
    }

实行功能:

必威 9

日志也是妥妥的出来了:

必威 10

点开就能够来看那么些的那张图纸了:

必威 11

要专一的是,今日头条对日记发表数量是有做每一天额度限制来防刷的,到达限额的话会变成当天的散文和文章也力所比不上发表,所以得严刻接纳:

必威 12

可是这种情势仅能反映相当图片,权且不能够让大家及时收悉告警,风野趣的童鞋能够试着再写个 chrome 插件,定时去拉取日记列表做决断,固然有新添日记则触发页面 alert。

其它我们本来愿意能平素对闯入者进行警示,那块比较好办 —— 搞个警示的节拍,在那些的时候接触播放就能够:

JavaScript

//播放音频 function fireAlarm(){ audio.play() } //定期捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); if(preFrame && curFrame){ renderDiff(); if(calcDiff() > 0.2){ //监察和控制到相当//发日记 submit(); //播放音频告警 fireAlarm(); } } timer(delta) }, delta || 500); } setTimeout(timer, 60000 * 10); //设定张开页面十分钟后才起来监察和控制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    //播放音频
    function fireAlarm(){
        audio.play()
    }
 
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            if(preFrame && curFrame){
                renderDiff();
                if(calcDiff() > 0.2){  //监控到异常
                    //发日记
                    submit();
                    //播放音频告警
                    fireAlarm();
                }
            }
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控

最终说一下,本文代码均挂在我的github上,风乐趣的童鞋能够自助下载。共勉~

1 赞 4 收藏 4 评论

必威 13

1、FFMpeg进行摄像编码所急需的布局:

1.第一个Canvas程序 

一、为什么选择 HTML5

HTML5 边玩边学算上这篇已经是第七篇了,在这篇开始之前,我想先说明一下为什么叫“HTML5” 边玩边学,因为有人对 HTML5 提出质疑,毕竟他是一个新生事物。我承认我用 HTML5 来吸引眼球了,如果看过边玩边学系列的每一篇,你会发现前六篇文章内容的和 HTML5 关系不是太大,真正的内容其实是 2D 图形图像编程的学习笔记。

如果我们想学习 2D 编程,其实可供选择的编程环境数不胜数:MFC、Delphi都有图形图像处理功能(即GDI),Java、.Net 更不用说了,如果你支持开源,GTK、QT、wxPython 也是不错的选择,Flash 更是拿手好戏,甚至几个流行的只能手机平台应该也有 2D 模块。

如果你选择了上面任何一款编程环境学习 2D 编程,你会发现他们的内容基本上是一样的:线型、填充、颜色、渐变、图像、组合、裁剪区、变形等等,甚至连函数名很多都是一摸一样,毕竟他们的理论基础都是图形学。

文书档案内容

本文使用的XHTML文书档案如下所示。

XHTML

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "; <html xmlns="; <head> <style> body { background: black; color:#CCCCCC; } #c2 { background-image: url(foo.png); background-repeat: no-repeat; } div { float: left; border :1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; } </style> <script type="text/javascript;version=1.8" src="main.js"></script> </head> <body onload="processor.doLoad()"> <div> <video id="video" src="video.ogv" controls="true"/> </div> <div> <canvas id="c1" width="160" height="96"/> <canvas id="c2" width="160" height="96"/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

如上代码关键部分如下:

1.创立了四个canvas成分,ID分别为c1和c2。c1用于显示当前帧的本来录制,c2是用来显示实施chroma-keying特效后的摄像;c2预加载了一李欣蔓态图片,将用来代替摄像中的背景象部分。
2.JavaScript代码从main.js文件导入;这段脚本使用JavaScript 1.8的特征,所以在导入脚本时,第22行中钦定了本子。
3.当网页加载时,main.js中的processor.doLoad()方法会运营。

为了贯彻调用FFMpeg的API实现摄像的编码,以下结构是至关重要的:

 

 搞掌握大家真正想学习怎么样以后,其实编制程序境遇只是个工具而已,大家依据个体爱好,选用最有益的一款来行使。其实本人更看得起 Python 编制程序情形,只是倘诺作者用了Python,估摸跟本身调换的人就不会太多了,大家机器里设置 Python 运行时的猜测不会太多。

JavaScript代码

main.js中的JS代码满含三个主意。

AVCodec:AVCodec结构保留了二个编解码器的实例,达成实际的编码作用。平时大家在程序中定义三个指向AVCodec结构的指针指向该实例。
AVCodecContext:AVCodecContext表示AVCodec所表示的上下文音信,保存了AVCodec所急需的一部分参数。对于贯彻编码功效,大家能够在那个布局中安装大家内定的编码参数。日常也是概念多少个指针指向AVCodecContext。
AVFrame:AVFrame结构保留编码此前的像素数量,并视作编码器的输入数据。其在程序中也是三个指针的款型。
AVPacket:AVPacket表示码流包结构,富含编码之后的码流数据。该组织得以不定义指针,以七个目的的样式定义。
在大家的次第中,大家将这几个组织组成在了三个结构体中:

看的是HTML5平移支付即学即用那本书,首先学习Canvas基础,废话非常的少说,直接看率先个例证。

那正是说为何选用 HTML5 并不是其他呢?首先,Javascript 语法简洁利落,相应的函数库小巧可是够用, HTML5 Canvas 标签的 2D 表现能力也达到了要求,Chrome 浏览器的运行速度令人乐意。除却,我们不用安装笨重的融会开拓景况,无需设置运转时,我们只必要三个拉长功用的记事本、三个浏览器就足以去施行大家的主张,况且一向将功效表以后互联网上。我们只是公布文章同其余人分享温馨的主见而已,至于平台、框架、语言特征,那个非亲非故的事物自然牵扯的越少越好,那正是自家选拔HTML5 的案由。

初始化chroma-key

doLoad()方法在XHTML文书档案开头加载时调用。那一个办法的成效是为chroma-key管理代码准备所需的变量,设置二个平地风波侦听器,当顾客开端播报录制时大家能检查实验到。

JavaScript

doLoad: function() { this.video = document.getElementById("video"); this.c1 = document.getElementById("c1"); this.ctx1 = this.c1.getContext("2d"); this.c2 = document.getElementById("c2"); this.ctx2 = this.c2.getContext("2d"); let self = this; this.video.addEventListener("play", function() { self.width = self.video.videoWidth / 2; self.height = self.video.videoHeight / 2; self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

这段代码获取XHTML文书档案中video成分和多个canvas成分的援引,还获得了五个canvas的图片上下文的引用。这个就要我们落实chroma-keying特效时采纳。

addEventListener()监听video成分,当顾客按下摄像上的播放按钮时被调用。为了酬答客户回看,这段代码获取录像的增长幅度和冲天,并且减半(大家就要进行chroma-keying效果时将录制的高低减半),然后调用timerCallback()方法来运行录制捕捉和视觉效果计算。

/*****************************************
Struct: CodecCtx
Description: FFMpeg编解码器上下文
*****************************************/
typedef struct
{
AVCodec *codec; //指向编解码器实例
AVFrame *frame; //保存解码之后/编码以前的像素数量
AVCodecContext *c; //编解码器上下文,保存编解码器的部分参数设置
AVPacket pkt; //码流包结构,满含编码码流数据
} CodecCtx;
2、FFMpeg编码的显要步骤:

 

因而,请大家不用误会了标题的意思:那么些类别实际不是 HTML5 的求学笔记,而只是用 HTML5 来显示一些学问内容而已,你越多关心的相应是知识和内容自身,你能够在别的其它一款编程意况下复出他们。

反应计时器回调

反应计时器回调函数在摄像开首广播时被调用(当“播放”事件发生时),然后担当自个儿周期调用,为每一帧录像实现keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) { return; } this.computeFrame(); let self = this; setTimeout(function () { self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查摄疑似否正在播放;若无,回调函数不做其余事并马上回去。

接下来调用computeFrame()方法,该方法对当前录制帧试行chroma-keying特效。

回调函数做的最后一件事就是调用setTimeout(),来让它本身尽快地被重新调用。在真正情状中,你只怕会依据录像的帧率来安装调用频率。

(1)、输入编码参数

 

 

拍卖摄像帧数据

computeFrame()方法,如下所示,实际上担负抓取每一帧的多寡和执行chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0, this.width, this.height); let frame = this.ctx1.getImageData(0, 0, this.width, this.height); let l = frame.data.length / 4; for (let i = 0; i < l; i++) { let r = frame.data[i * 4 + 0]; let g = frame.data[i * 4 + 1]; let b = frame.data[i * 4 + 2]; if (g > 100 && r > 100 && b < 43) frame.data[i * 4 + 3] = 0; } this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i++) {
      let r = frame.data[i * 4 + 0];
      let g = frame.data[i * 4 + 1];
      let b = frame.data[i * 4 + 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 + 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video成分将显得方今的录像帧数据,如下所示:

必威 14

在第2行,录制帧被复制到第一个canvas ctx1的图样上下文中,中度和幅度值钦定为大家前面封存的帧大小的二分一。注意,您能够通过传递video成分到绘图上下文的drawImage()方法来绘制当前摄像帧。其结果是:

必威 15

第3行代码通过调用第二个canvas上下文的getImageData()方法,来博取原始图像数据当前摄像帧的一个副本。它提供了大茂山真面指标三10位像素图像数据,那样大家就可见实行操作。第4行代码通过将帧图像数据的行程度除以4,来计量图像的总像素数。

第6行代码循环扫描全部像素,获取各个像素的红、绿、蓝值,同期和预约义的背景象实行比较,这几个背景观将用foo.png中程导弹入的背景图像替换。

被检查测验成背景的每叁个像素,将它的alpha值替换为零,申明该像素是完全透明的。结果,最后的图像背景有些是百分之百透明的,那样在第13行代码,把它被绘制到对象的光景文中时,效果是内容叠合到静态背景上。

透过发生的图像看起来像那样:

必威 16

在录制播放时多次那样做,那样一帧接一帧处理,展现出chroma-key的特效。

请看那么些实例。

1 赞 1 收藏 评论

这一步大家得以设置二个专程的配备文件,并将参数依照有些事写入那几个布局文件中,再在程序中剖析这一个布局文件获得编码的参数。假诺参数十分少以来,大家得以直接接纳命令行将编码参数字传送入就能够。

 

二、动画开头

有关作者:cucr

必威 17

新浪和讯:@hop_ping 个人主页 · 小编的小说 · 17

必威 18

(2)、根据须求开首化须要的FFMpeg结构

 

卡通便是一多种延续的画面按顺序呈现出来而已,只是,在电影电视机中,那些画面完毕已经被图谋好了,而在微型计算机程序中,大家看看每一转眼的画面都是立时绘制的,大意流程能够表达如下:

首先,全部涉嫌到编解码的的效果,都无法不要注册音摄像编解码器之后才具运用。注册编解码调用下边包车型地铁函数:

代码如下:

a、轻微改动图形的数码(坐标、形状、颜色等等)

avcodec_register_all();
编解码器注册成功现在,根据钦赐的CODEC_ID查找钦定的codec实例。CODEC_ID日常钦赐了编解码器的格式,在那边大家选拔当前应用最为广泛的H.264格式为例。查找codec调用的函数为avcodec_find_encoder,其宣称格式为:

 

b、清空画布

AVCodec *avcodec_find_encoder(enum AVCodecID id);
该函数的输入参数为一个AVCodecID的枚举类型,重临值为一个指向AVCodec结构的指针,用于收纳找到的编解码器实例。若无找到,那么该函数会回来多个空指针。调用方法如下:

 

c、绘制图形

/* find the mpeg1 video encoder */
ctx.codec = avcodec_find_encoder(AV_CODEC_ID_H264); //根据CODEC_ID查找编解码器对象实例的指针
if (!ctx.codec)
{
fprintf(stderr, “Codec not foundn”);
return false;
}
AVCodec查找成功后,下一步是分配AVCodecContext实例。分配AVCodecContext实例须要我们前面查找到的AVCodec作为参数,调用的是avcodec_alloc_context3函数。其证明格局为:

 1 <!DOCTYPE html>

d、回到步骤 a

AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);
其特点同avcodec_find_encoder类似,重临三个指向AVCodecContext实例的指针。假诺分配退步,会回到一个空指针。调用方式为:

 2 <html>

不容置疑,这里只是给出了两个最轻松易行的流水线框架,要完毕复杂的动画片大概还要思索更加多的标题,举例有个别清除、碰撞检验之类的。

ctx.c = avcodec_alloc_context3(ctx.codec); //分配AVCodecContext实例
if (!ctx.c)
{
fprintf(stderr, “Could not allocate video codec contextn”);
return false;
}
需注意,在分配成功之后,应将编码的参数设置赋值给AVCodecContext的成员。

 3 <head>

 

于今,AVCodec、AVCodecContext的指针都早就分配好,然后以那三个指标的指针作为参数打开编码器对象。调用的函数为avcodec_open2,注脚情势为:

 4 <meta charset="utf-8" />

除此以外,绘制进程中有三个速度须要调整:

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);
该函数的前八个参数是我们刚刚确立的多个对象,第二个参数为贰个字典类型对象,用于保存函数实行进度总不可能识其他AVCodecContext和其余一些私有设置选项。函数的重返值表示编码器是还是不是张开成功,若成功再次来到0,退步重回三个负数。调用格局为:

 5 <style type="text/css">

第二个是绘制速度,即每分钟绘制多少次(帧),或然也足以如此说,每一帧暂停多少时间。要是你的卡通每一帧都以二个圭表,只是地方分歧,那么些速度影响十分的小。

if (avcodec_open2(ctx.c, ctx.codec, NULL) < 0) //根据编码器上下文张开编码器
{
fprintf(stderr, “Could not open codecn”);
exit(1);
}
然后,大家供给管理AVFrame对象。AVFrame表示录制原始像素数据的一个器皿,管理该项目数据须要四个步骤,其一是分配AVFrame对象,其二是分配实际的像素数量的仓库储存空间。分配对象空间类似于new操作符同样,只是供给调用函数av_frame_alloc。固然战败,那么函数再次回到四个空指针。AVFrame对象分配成功后,供给安装图像的分辨率和像素格式等。实际调用进程如下:

 6      canvas {

其次个图形移动的进程。

ctx.frame = av_frame_alloc(); //分配AVFrame对象
if (!ctx.frame)
{
fprintf(stderr, “Could not allocate video framen”);
return false;
}
ctx.frame->format = ctx.c->pix_fmt;
ctx.frame->width = ctx.c->width;
ctx.frame->height = ctx.c->height;
分红像素的囤积空间需求调用av_image_alloc函数,其声称格局为:

 7     border-width: 5px;

由此,千万不要把那多少个速度搞混了,绘制的越快,只可以表示动画更通畅,但并不意味你的图像移动的更加快。

int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int w, int h, enum AVPixelFormat pix_fmt, int align);
该函数的八个参数分别代表AVFrame结构中的缓存指针、种种颜色分量的拉长率、图像分辨率(宽、高)、像素格式和内部存款和储蓄器对其的分寸。该函数会重临分配的内部存款和储蓄器的分寸,要是退步则赶回一个负值。具体调用格局如:

 8     border-style: dashed;

 

ret = av_image_alloc(ctx.frame->data, ctx.frame->linesize, ctx.c->width, ctx.c->height, ctx.c->pix_fmt, 32);
if (ret < 0)
{
fprintf(stderr, “Could not allocate raw picture buffern”);
return false;
}
(3)、编码循环体

 9     border-color: rgba(20, 126, 239, 0.50)

选用 HTML5 绘制动画基本上正是上边这一个流程,只是你还亟需留意两点:

到此截止,我们的妄想干活早就差不离形成,下边先导实践实际编码的巡回进程。用伪代码差不离表示编码的流程为:

10 }

1、为了方便绘制的图样,大家平日会转移上下文对象的的状态,所以在绘制图形前后,千万别忘了保留和出山小草情形,假设你不太精通景况是什么样,请看目前的一篇文章《HTML5边玩边学(6):小车人,变形......》

while (numCoded < maxNumToCode)
{
read_yuv_data();
encode_video_frame();
write_out_h264();
}
其中,read_yuv_data部分直接接纳fread语句读取就能够,只须要领悟的是,两个颜色分量Y/U/V的地点分别为AVframe::data[0]、AVframe::data[1]和AVframe::data[2],图像的大幅分别为AVframe::linesize[0]、AVframe::linesize[1]和AVframe::linesize[2]。须求当心的是,linesize中的值一般指的是stride并非width,也便是说,像素保存区可能是包蕴自然幅度的无用边区的,在读取数据时需注意。

11 </style>

2、我们须求将全部绘制动作放到坚持计时器里面,不然全体浏览器将错失响应。Javascript 有多少个计时器方法,分别是:

编码前别的部须求要变成的操作时早先化AVPacket对象。该目的保存了编码之后的码流数据。对其实行开首化的操作极其轻易,只要求调用av_init_packet并传播AVPacket对象的指针。随后将AVPacket::data设为NULL,AVPacket::size赋值0.

12 

setInterval(code,millisec) 和 setTimeout(code,millisec)

得逞将本来的YUV像素值保存到了AVframe结构中之后,便能够调用avcodec_encode_video2函数进行实际的编码操作。该函数可谓是整套工程的中坚所在,其注明情势为:

13 </head>

那多个方式自己就介绍了,能够去 Google 相关的资料。

int avcodec_encode_video2(AVCodecContext *avctx, AVPacket *avpkt, const AVFrame *frame, int *got_packet_ptr);
其参数和再次来到值的含义:

14 <body>

上面大家付出一个内外运动方块的小动画,当遭遇顶上部分只怕尾巴部分时,会改换方向。代码如下:

avctx: AVCodecContext结构,内定了编码的部分参数;
avpkt: AVPacket对象的指针,用于保存输出码流;
frame:AVframe结构,用于传入原始的像素数量;
got_packet_ptr:输出参数,用于标志AVPacket中是或不是曾经有了全体的一帧;
重临值:编码是还是不是中标。成功再次回到0,失利则赶回负的错误码
因此输出参数*got_packet_ptr,我们得以看清是不是应该一帧完整的码流数据包输出,假如是,那么能够将AVpacket中的码流数据输出出来,其地方为AVPacket::data,大小为AVPacket::size。具体调用情势如下:

15 hello HTML5!

必威 19必威 20着力动画

/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame, &got_output); //将AVFrame中的像素音讯编码为AVPacket中的码流
if (ret < 0)
{
fprintf(stderr, “Error encoding framen”);
exit(1);
}

16 <canvas id="c1" width="300" height="300" ></canvas>

<canvas id="canvas1" width="250" height="300" style="background-color:black">
    你的浏览器不扶助 Canvas 标签,请使用 Chrome 浏览器 恐怕 FireFox 浏览器
</canvas><br/>
帧数:<input  id="txt1" type="text" value="25"/><br/>
每一趟活动距离:<input type="text" id="txt2" value="10"/><br/>
<input type="button" value="开始" onclick="move_box()"/>
<input type="button" value="暂停" onclick="stop()"/>

if (got_output)
{
//获得多少个一体化的编码帧
printf(“Write frame %3d (size=%5d)n”, frameIdx, ctx.pkt.size);
fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
av_packet_unref(&(ctx.pkt));
}
因此,一个完全的编码循环提就足以利用下边包车型地铁代码完成:

17 </body>

<script type="text/javascript">
    //定时器
    var interval=null;
    
    //截止动画
    function stop(){
        clearInterval(interval);
    }

/* encode 1 second of video */
for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx++)
{
av_init_packet(&(ctx.pkt)); //初始化AVPacket实例
ctx.pkt.data = NULL; // packet data will be allocated by the encoder
ctx.pkt.size = 0;

18 <script type="text/javascript">

    //===================================================================
    //基本动画
    //====================================================================
    function move_box(){
        //甘休动画
        stop();
        //移动速度
        var delta=parseInt(document.getElementById('txt1').value);
        //每秒绘制多少次
        var fps=parseInt(document.getElementById('txt2').value);

fflush(stdout);

Read_yuv_data(ctx, io_param, 0);        //Y分量
Read_yuv_data(ctx, io_param, 1);        //U分量
Read_yuv_data(ctx, io_param, 2);        //V分量

ctx.frame->pts = frameIdx;

/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame, &got_output); //将AVFrame中的像素信息编码为AVPacket中的码流
if (ret < 0) 
{
    fprintf(stderr, "Error encoding framen");
    exit(1);
}

if (got_output) 
{
    //获得一个完整的编码帧
    printf("Write frame %3d (size=%5d)n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

19   //canvas对象的获取

        //画布对象
        var canvas=document.getElementById("canvas1")
        //获取上下文对象
        var ctx = canvas.getContext("2d");
        //设置颜色
        ctx.fillStyle="red";
        
        //方块的开端地点
        var x=100;var y=50;
        //方块的尺寸和增长幅度
        var w=30;var h=30;
        
        //初叶动画
        interval = setInterval(function(){
            //改变 y 坐标
            y=y+delta;
            //下面缘检查实验
            if(y<0){
                y=0;
                delta=-delta;
            }
            //上面缘检验
            if((y+h)>canvas.getAttribute("height")){
                y=canvas.getAttribute("height")-h;
                delta=-delta;
            } 
            //清空画布
            ctx.clearRect(0,0,canvas.getAttribute("width"),canvas.getAttribute("height"));
            //保存状态
            ctx.save();
            //移动坐标
            ctx.translate(x,y);
            //重新绘制
            ctx.fillRect(0,0,w,h);
            //复苏状态
            ctx.restore();
        },1000/fps);
    }    
</script>

} //for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx++)
(4)、收尾管理

20   var canvas=document.getElementById("c1");

 

比方大家就此甘休编码器的整套运行进程,大家会开掘,编码达成今后的码流相比原本的多寡少了一帧。那是因为我们是根据读取原始像素数据停止来判别循环结束的,那样结尾一帧还保留在编码器中从不输出。所以在关闭全数解码过程在此以前,大家必得继续实行编码的操作,直到将最后一帧输出甘休。实施那项操作照旧调用avcodec_encode_video2函数,只是表示AVFrame的参数设为NULL就能够:

21   //猎取绘图用的上下文对象

 

/* get the delayed frames */
for (got_output = 1; got_output; frameIdx++)
{
fflush(stdout);

22   var ctx=canvas.getContext("2d"); 

{{{{

ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), NULL, &got_output);      //输出编码器中剩余的码流
if (ret < 0)
{
    fprintf(stderr, "Error encoding framen");
    exit(1);
}

if (got_output) 
{
    printf("Write frame %3d (size=%5d)n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

23   //绘图管理

你的浏览器不协助 Canvas 标签,请使用 Chrome 浏览器 可能 FireFox 浏览器

} //for (got_output = 1; got_output; frameIdx++)
之后,大家就足以按安排关闭编码器的依次零部件,停止全部编码的流程。编码器组件的假释流程可类比创立流程,须要关闭AVCocec、释放AVCodecContext、释放AVFrame中的图像缓存和目的自己:

24   ctx.fillStyle="rgb(255,0,0)";

帧数:
老是运动距离:
}}}}

avcodec_close(ctx.c);
av_free(ctx.c);
av_freep(&(ctx.frame->data[0]));
av_frame_free(&(ctx.frame));
3、总结

25   ctx.fillRect(50,50,200,200);

 

使用FFMpeg举行录制编码的重要性流程如:

26   ctx.fillStyle="rgba(0,0,255,0.5)";

三、重新组织代码

率先分析、管理输入参数,如编码器的参数、图像的参数、输入输出文件;
缔造全方位FFMpeg编码器的各样零件工具,顺序依次为:avcodec_register_all -> avcodec_find_encoder -> avcodec_alloc_context3 -> avcodec_open2 -> av_frame_alloc -> av_image_alloc;
编码循环:av_init_packet -> avcodec_encode_video2(两次) -> av_packet_unref
关闭编码器组件:avcodec_close,av_free,av_freep,av_frame_free

27   ctx.fillRect(100,100,200,200);

下边包车型大巴代码能健康专门的学业了,但是存在许多题目,首要有以下几点:

28   <!--alert("hello");-->

1、总计方块地方的代码和制图方块的代码混杂一同,即逻辑和视图混杂,基本上不能够扩展了

29 </script>

2、代码不可能复用,举个例子我们须要绘制多少个例外的方框对象:初阶地方、大小、颜色、速度各不相同样,每一类意况都急需重写三遍。

30 </html>

上边我们再一次协会一下代码,把方块的一块性格抽象出来,组成二个 Box类,由这一个 Box类担负计算每一帧方块的岗位,那样就可以化解地方四个难题了。代码如下:

复制代码

必威 21必威 22再也组织代码

知识点:

<canvas id="canvas2" width="250" height="300" style="background-color:black">
    你的浏览器不辅助 Canvas 标签,请使用 Chrome 浏览器 也许 FireFox 浏览器
</canvas><br/>
<input type="button" value="开始" onclick="move_box2()"/>
<input type="button" value="暂停" onclick="stop()"/>

 

<script type="text/javascript">
    //定时器
    var interval=null;
    
    //停止动画
    function stop(){
        clearInterval(interval);
    }

Canvas 的中央用法

    //===================================================================
    //重新协会代码
    //====================================================================
    //方块的构造函数
    function Box(color,x,y,w,h,delta){
        this.color=color;
        this.x=x;
        this.y=y;
        this.w=w;
        this.h=h;
        this.delta=delta;
        //三十帧
        this.fps=30;
        //每一帧的延迟时间
        this.delay=1000/this.fps;
        //上一遍重绘的年华
        this.last_update=0;
    }
    
    //方块更新
    Box.prototype.update=function(canvas){
        //获取当前时间
        var now=(new Date()).getTime();
        //假若达到了延迟时间,则更新数据
        if((now-this.last_update)>this.delay){
        
            //改变 y 坐标
            this.y=this.y+this.delta;
            //上边缘检查测量检验
            if(this.y<0){
                this.y=0;
                this.delta=-this.delta;
            }
            //下面缘检查评定
            if((this.y+this.h)>canvas.getAttribute("height")){
                this.y=canvas.getAttribute("height")-this.h;
                this.delta=-this.delta;
            } 
            //记下最新三次绘制时间
            this.last_update=now;
        }
        
    }
    
    
    function move_box2(){
        //结束动画
        stop();
        //画布对象
        var canvas=document.getElementById("canvas2")
        //获取上下文对象
        var ctx = canvas.getContext("2d");
        //清空画布
        ctx.clearRect(0,0,canvas.getAttribute("width"),canvas.getAttribute("height"));
        
        //创设几个方块对象
        var boxes=[];
        boxes[0]= new Box("red",3,2,10,35,2,10);//速度10
        boxes[1]= new Box("blue",60,28,44,15,5);//速度20
        boxes[2]= new Box("green",130,200,23,18,10);//速度30
        boxes[3]= new Box("pink",200,150,35,10,20);//速度40
        
        //初始动画绘制
        interval = setInterval(function(){
            for(var i=0;i<boxes.length;i++){
                //抽取一个四方
                var box=boxes[i];
                //清空这几个方块
                ctx.clearRect(box.x,box.y,box.w,box.h);
                //更新数据
                box.update(canvas);
                //保存状态
                ctx.save();
                //设置颜色
                ctx.fillStyle=box.color;
                //移动坐标
                ctx.translate(box.x,box.y);
                //重新绘制
                ctx.fillRect(0,0,box.w,box.h);
                //复苏状态
                ctx.restore();
            }
        },1);//尽可能快的巡回
    }    
</script>

 

 

 1)取得Canvas对象

{{{{

 

您的浏览器不支持 Canvas 标签,请使用 Chrome 浏览器 大概 FireFox 浏览器

 2)从Canvas对象中拿走绘图用的上下文

}}}}

 

 

 3)使用上下文中的方法与性情举办绘图

四、Smart进场

 

传说在很遥远的年份,有多少路程作者也不领悟,可能是任天堂红白机是哪位时期吗,由于游戏机管理器的乘除速度有限,所以极其设置了叁个硬件用来拍卖剧中人物图像的连带数据,这个多少只怕包括:

 颜色的钦赐方法

1、计算当前的角色应该绘制哪一帧。上边大家的四方纵然在运动,可是一味都是八个旗帜;但是在嬉戏中,二个奔走的灵敏,跑动动作是由好多幅延续的图像组成,大家供给精通未来应有绘制其中的哪一幅图像;

 

2、表现Smart动作的重重幅延续的图像常常是汇聚停放在八个大图中,大家供给总计当前绘制的那一幅,在大图中居于怎么样地点,并把它截抽出来

  1)ctx.fillStyle="#FF0000";

地点提起那么些硬件,曾经被叫作 Pepsi-ColaSmart。现近些日子,大家的Computer已经极度强有力,不再须求 Coca Cola那样的帮扶硬件,可是那样的作用依然必要,只可是用软件来落到实处罢了,所以,大家仍然用 Sprite 来称呼游戏中的四个剧中人物。

 

此地有一幅图像,他形容了三个小精灵的航空动作

  2)ctx.fillStyle="rgb(255,0,0)";

 

 

必威 23

  3)ctx.fillStyle="rgba(0,0,255,0.5)"; 最后这么些指光滑度的。。。

上边大家将贯彻二个 Pepsi-Cola 类,让她在浏览器里面飞起来。

 

必威 24必威 25乖巧进场

2.路径

<canvas id="canvas3" width="250" height="300" style="background-color:black">
    你的浏览器不匡助 <canvas>标签,请使用 Chrome 浏览器 可能 FireFox 浏览器
</canvas><br/>
帧数:<input  id="txt4" type="text" value="10"/><br/>
速度:<input type="text" id="txt5" value="5"/><br/>
比例:<input type="text" id="txt6" value="2"/><br/>
<input type="button" value="开始" onclick="animate()"/>
<input type="button" value="暂停" onclick="stop()"/>

 

<script type="text/javascript">
    //定时器
    var interval=null;
    
    //结束动画
    function stop(){
        clearInterval(interval);
    }
    
    //===================================================================
    //Smart上台
    //====================================================================
    //每一帧在大图中的地点
    var frames=[];
    frames[0]=[0,4,19,19];
    frames[1]=[22,1,24,19];
    frames[2]=[49,0,18,17];
    frames[3]=[1,32,18,17];
    frames[4]=[22,33,24,19];
    frames[5]=[49,36,19,19];
    
    //精灵类
    function Sprite(dx,dy,delta,fps){
        this.dx=dx;
        this.dy=dy;
        this.fps=fps;
        this.delay=1000/fps;
        this.last_update=0;
        //移动速度
        this.delta=-delta;
        //帧编号
        this.index=0;
        //方向
        this.dir_left=true;
    }
    
    Sprite.prototype.update=function(canvas){
        //获取当前时间
        var now=(new Date()).getTime();
        if((now-this.last_update)>this.delay){
            if(this.dir_left){
                //方向朝左,只绘制0 1 2帧
                if(this.index>2)
                    this.index=0;
            }
            else{
                //方向朝右,只绘制 3 4 5 帧
                if(this.index>5)
                    this.index=3;
            }
            //抽出当前帧的坐标
            this.frame=frames[this.index];
            
            //当前帧在大图中的地方
            this.sx=this.frame[0];
            this.sy=this.frame[1];
            this.sw=this.frame[2];
            this.sh=this.frame[3];
            
            //当前帧大小
            this.dw=this.frame[2];
            this.dh=this.frame[3];
            
            //改变 x 坐标
            this.dx=this.dx+this.delta;
            //侧边缘检查评定
            if(this.dx<0){
                this.dx=0;
                //转向
                this.delta=-this.delta;
                this.dir_left=false;
                this.index=3;
            }
            //左侧缘质量评定
            if((this.dx+this.dw)>canvas.getAttribute("width")){
                this.dx=canvas.getAttribute("width")-this.dw;
                //转向
                this.delta=-this.delta;
                this.dir_left=true;
                this.index=0;
            }         
            this.dy=this.dy;//y 不移动             

  绘制三个简约的三角,效果:

            this.index++;
            this.last_update=now;
        }
    }
    
    function animate(){
        //甘休动画
        stop();
        //移动速度
        var delta=parseInt(document.getElementById('txt4').value);
        //每秒绘制多少次
        var fps=parseInt(document.getElementById('txt5').value);
        //比例
        var scale=parseInt(document.getElementById('txt6').value);
        
        //画布对象
        var canvas=document.getElementById("canvas3")
        //获取上下文对象
        var ctx = canvas.getContext("2d");
        //清空画布
        ctx.clearRect(0,0,canvas.getAttribute("width"),canvas.getAttribute("height"));
        
        var img=new Image();
        img.src="";

 

        var sprite=new Sprite(120,150,delta,fps);
        interval = setInterval(function(){
            //清空画布
            ctx.clearRect(0,0,canvas.getAttribute("width"),canvas.getAttribute("height"));
            //更新数据
            sprite.update(canvas);
            //保存状态
            ctx.save();
            //移动坐标
            ctx.translate(sprite.dx,sprite.dy);
            ctx.scale(scale,scale);
            ctx.drawImage(img,sprite.sx,sprite.sy,sprite.sw,sprite.sh,0,0,sprite.dw,sprite.dh);
            //苏醒状态
            ctx.restore();
        },1);
        
    }
    
</script>

 

{{{

 

你的浏览器不协助 <canvas>标签,请使用 Chrome 浏览器 或许 FireFox浏览器

 代码如下:

帧数:
速度:
比例:
}}}

 

 

 

 

复制代码

 

 1 <!DOCTYPE html>

 

 2 <html>

//==========================================

 3 <head>


 4 <meta charset="utf-8" />

 5 <style type="text/css">

 6      canvas {

 7     border-width: 5px;

 8     border-style: dashed;

 9     border-color: rgba(20, 126, 239, 0.50)

10 }

11 </style>

12 

13 </head>

14 <body>

15 hello HTML5!

16 <canvas id="c1" width="300" height="300" ></canvas>

17 </body>

18 <script type="text/javascript">

19   //canvas对象的获得

20   var canvas=document.getElementById("c1");

21   //获得绘图用的上下文对象

22   var ctx=canvas.getContext("2d"); 

23   //路线绘制开头

24   ctx.beginPath();

25   //路线的绘图

26   ctx.moveTo(0,0);

27   ctx.lineTo(0,290);

28   ctx.lineTo(290,290);

29   //路线绘制甘休

30   ctx.closePath();

31   //举行绘图管理

32   ctx.fillStyle="rgb(200,0,0)"

33   ctx.fill();

34   <!--alert("hello");-->

35 </script>

36 </html>

复制代码

 知识点:

 

 调节路线时采纳的章程:

  1) beginPath() 重新初始化路线的启幕

 

  2) closePath() 关闭到现行反革命停止的门径

 

  3) moveTo() 内定绘图开首时的主体(x,y)

 

  4) lineTo() 绘制以前一次绘图地方到(x,y)的直线

 

 绘制路线时选择的不二法门:

 

 1)stroke() 绘制路线

 

 2)fill()填充路径

 

 钦命绘图样式时使用的性质

 

 1)fillStyle 钦点填充时使用的水彩与体制

 

 2)strokeStyle 钦点路径的线颜色与体制

 

 3)lineWidth 内定路线线的粗细

 

  上边制作二个当客商触摸荧屏时在触摸地点绘制三角形的实例程序 (书上的是客商触摸荧屏时绘制,以后改一下,鼠标移动时在运动的职分绘制三角形)效果:

 

 

 

代码如下:

 

 

复制代码

 1 <!DOCTYPE html>

 2 <html>

 3 <head>

 4 <meta charset="utf-8" />

 5 <meta name="viewport" content="width=320,user-scalable=no" />

 6 <style type="text/css">

 7      canvas {

 8     border-width: 5px;

 9     border-style: dashed;

10     border-color: rgba(20, 126, 239, 0.50)

11 }

TAG标签:
版权声明:本文由必威发布于必威-前端,转载请注明出处:动画就是一系列连续的画面按顺序呈现出来而已