收稿日期： 修订日期:
基金项目：国家自然科学基金(No. 60673093);湖南省自然科学基金(No. 06JJ2065);长江学者和创新团队发展计划资助; 怀化学院计算机应用技术重点学科项目资助课题
作者简介: 邹北骥,(1961-)男,博士,教授,博士生导师,研究方向为计算机图形学与CAD 技术、数字图像处理；杨 明,男,1982年生,硕士研究生,研究方向为数字图像处理、视频分析。
通讯地址：418008 湖南省怀化市怀化学院计算机科学与技术系;Tel:0731-*******;E-mail:bjzou@https://www.doczj.com/doc/1410867820.html, 跳水运动视频分析系统设计与实现
Design and Implementation of a Video Analysis System for Diving Sports
邹北骥1,2，杨 明2，李灵芝2 ，陈 姝2 ，韩立芹2
ZOU Bei-ji 1,2, YANG Ming 2, LI Ling-zhi 2, CHEN Shu 2, HAN Li-qin 2
(1.怀化学院计算机科学与技术系，湖南怀化 418008；2.中南大学信息科学与工程学院，湖南长沙 410083.)
(1. Department of Computer Science and Technology, HuaiHua College, HuaiHua 418008, China ; 2. School of Inf ormation Science and Engineering , Central South University, Changsha 410083, China)
摘 要: 针对跳水运动特点，研制出基于视频的跳水运动分析系统DivingVAS 。此系统可用于辅助训练跳水运动员以及判定跳水运动员动作是否规范。它由三大部分组成：1）视频分析；2）3D 运动模拟与编辑接口；3）数据库管理。论文阐述了研发此系统的背景和意义，分析了系统主要模块之间的关系和流程，详细论述了系统中的关键技术和相关算法。实践表明，系统不仅能够提高训练效率，减少训练和比赛错判、误判的可能，而且系统运行效率高，操作简便。
Abstract: We developed a video analysis system for diving sports named as DivingV AS according to the characteristics of the diving sports. This system mainly used in assisting coach to instruct athletes more effectively, and help the judge give the correct judgments. Three components are composed in the system, the video analysis, 3D motion simulation and edit interface and the management of database. The background and meaning of developing this system is stated in the first section of this paper, and then analyze the relation and the data flow among the main modules. In the end, we address ourselves to the key techniques and innovations in detail. In practice, this system can not only improve the efficiency of training, reduce the repeated training and the probability of false judgments but also with the high efficiency and easy to operate.
关键词：跳水运动；3D 运动模拟；视频分析
Key W ords: diving sports; 3D motion simulation; video analysis
中图法分类号： TP391.9 文献标识码： A
引 言
一直以来，我国跳水运动的水平都处于世界领先地位，主要是由于我们有一支经验丰富的教练组加上富有天赋且刻苦训练的运动员。但是，近年来，我国跳水项目的霸主地位受到严重挑战，像加拿大、美国和澳大利亚这些后起之秀在各级别的跳水比赛中对我国跳水运动健儿们夺金目标产生了巨大的冲击。造成这种现象的主要原因是因为我国竞技体育科研还比较落后，科学技术在跳水训练中的运用几乎为零。而与我国跳水训练现状产生鲜明对比的是美国、澳大利亚等国家无一例外地都采用了先进的计算机辅助运动分析系统CAMAS （Computer Assistant Motion Analysis System ）。CAMAS 是多种信息技术融合的产物，包括图像处理与分析、计算机视觉、模式识别、人工智能、计算机图形学、数学、人体运动学等多学科领域的知识和技术。运动训练三维模拟与视频分析系统由于其实时性和观察的全方位性，能以量化的形式分析和评价一次训练或比赛的优劣，所以CAMAS 扮演着越来越重要的角色。
面向体育运动的视频分析系统近年来取得了迅速的进展，相关硬件和软件系统已初步运用到多种体育项目的
训练当中。Kanav Kahol 等采用分层的行为分割方法对舞蹈运动序列进行舞蹈姿势分割，识别并指导舞蹈训练[1]。为了提高我国体育健儿竞技水平，促进我国竞技体育事业的发展，中国科学院计算技术研究所研制了面向体育训练的三维人体运动仿真与视频分析系统，该系统以数字化三维人体运动的计算机仿真技术、人体运动生物力学数据与真实人体运动数据为基础，以三维图形方式逼真模拟、设计、分析技术动作，具有很强的指导竞技体育项目训练的能力[2-3]。但该系统还需要进一步增强和完善，以达到更高的实用化程度。例如，在跳水运动中，对某个动作，运动员完成动作的质量和运动员本人的体重、身高、身体各部分比例、起跳角度、各节点加速度、在空中翻转的动作时机、入水前展臂的时机、入水的角度等一系列问题还并没有完全解决，这些数据之间存在什么关系、和哪些因素有关，它们之间存在一些什么样的规律等仍待进一步研究。因此设计并开发一个直接面向跳水运动的视频分析系统，对于提高跳水运动员的竞技水平是有很大帮助的，具有非常重要的指导意义。
本文第1部分对跳水运动视频分析系统DivingV AS 的流程作了介绍，并对其中的主要模块进行了分析；第2部分详细阐述了系统的关键技术，包括视频分析技术和
3D 运动模拟与编辑技术；第3部分结合处于试用阶段的系统讨论了其实现方法；第4部分对整个系统的设计和实现工作进行了总结，并对进一步的工作进行了展望。
1 系统概述
1.1 系统整体流程
跳水运动视频分析系统主要由三大模块组成：视频分析模块、3D 运动模拟与图形编辑接口模块以及数据库管理模块。主要流程如图1所示：
图1 系统流程图
首先，通过主界面（如图2所示）导入已有的跳水视频或者实时从摄像机捕获训练时的视频，对这段视频进行分割。在分割的基础上进行运动跟踪。跟踪的目的是为了获得运动员各关节点的运动参数，对这些参数进行数学建模或采用回归分析的方法，建立运动员运动参数和姿态参数的计算模型。
图2 系统主界面
通过跟踪获得一组运动参数来驱动3D 虚拟人，由虚拟人模拟运动员训练的全过程，这样教练员、运动员和裁判员就可以从全方位、多角度去观察跳水动作完成的情况。另外，有了这样一个3D 图形编辑接口，还可以进行动作的修改，基本动作的设计、动作的整合以及虚实对比等功能。
数据库管理主要完成运动员资料的管理和用户管理。对于一个运动员，他的一些基本信息，如身高、体重、动作难度系数等都对训练结果的评判起着相当重要的作用，一般来说，这些数据都是相对比较固定的，所以可以通过数据库来保存，以减少每次训练都要人为设定的烦恼。用户管理是指由超级管理员创建用户以及给不同的用户赋予不同的权限，以免造成系统功能的滥用和误用。
2 系统关键技术与相关算法
2.1 视频分析
跳水运动是时间性的运动，要求运动员在短时间里完成一套连贯的动作。视频记录技术已广泛应用于跳水运动训练和比赛，但仅有的一些简单的视频回放和播放功能远远不能满足教练员和裁判员对跳水运动评判的需求。视频
分析致力于从捕获的原始视频中提取运动参数，对这些参数进行建模，并通过行为理解的方法，对运动员所完成动作的优劣作定量的分析。 2.1.1 视频分割
拍摄跳水运动视频时，为了跟踪拍摄到完整的运动员，通常会使摄像机运动。这种由摄像机运动造成的背景运动称为全局运动[4-5]。通常情况下，跳水视频都存在全局运
动，因此，获得准确的全局运动参数是从视频中提取运动员人体的关键与基础。
考虑到跳水运动视频的特点，我们采用三参数的摄像机运动模型[6]，如式（1）所示。
x x y y v a x a v a y ????
??=+??????????
?? (1) 其中, a=z x y ，a x =f x (p x ,z x y )，a y =f y (p y ,z x y )。xy z 是摄像机的变焦（缩放）系数，而（p x ,p y ）则是摄像机摇摄时在x 和y 轴的平移分量。
为了快速、准确地获得全局运动参数，我们提出了基于人体肤色模型的新算法用于全局运动估计。首先，根据跳水运动视频中运动员身体大部分祼露的特点，建立肤色模型来提取运动前景。在YCbCr 颜色空间中，根据统计，人体区域主要集中在如图3所示区域：
图 3 人体肤色分布
分别对当前帧I t 和前一帧I t-1，根据人体肤色模型进行预处理操作，提取出当前帧I t 和前一帧I t-1中的运动员。之后对当前帧I t 和前一帧I t-1图像进行闭合操作以取得当前帧I t 和前一帧I t-1的连通图像。然后，在剔除了大部分前景图像上进行宏块匹配。为了提高宏块的匹配速度，受字符串快速模式匹配KMP 算法[7]的启示，我们设计了一种无回溯的图像块匹配算法（NBT ）。一般地，假设主块为：
子块为：
通过推导可以得到下列不等式
|,,1x n x y k P P -+-|≤d （2） 其中，,i j P 为子块中第i 行j 列位置上的像素，d 为阈值。这样一来，当产生“失配”的时候，匹配仅需从子块中第k 个像素与主块中第j 个像素开始继续比较。 由算法的以上两步，就可以快速准确地获得全局运动估计的结果。
对于一个存在全局运动的视频序列，假设I n-1, I n , I n+1为其中连续的3帧图像。以I n 为参考帧，采用上文方法估计图像帧的全局运动并进行补偿，映射I n-1和I n+1图像帧的背景信息，使I n-1, I n , I n+1成为背景不变的连续3帧。采用文献[8]中基于差分交集的视频对象分割算法来提取序列中的运动目标，作两次连续帧间差分DFD ，分别对两幅差分图像进行自适应噪声滤波和数学形态滤波，然后对两幅差分图像取交集，得到运动目标的轮廓信息，通过形态学处理获得运动对象的二值分割掩膜并最终提取视频对象。图4为跳水运动测试序列的分割结果。
(a)原始视频 (b)分割结果
图4 跳水视频分割结果
2.1.2 模型跟踪
视频分割是为跟踪服务的，通过跟踪可以从原始视频中获取运动员各关节点的运动参数。目前常用的跟踪方法有：块匹配法（Block Matching ）、光流法（Optical Flow ）。本文采用基于光流法的特征点跟踪方法，按图5方式建立人体的骨架模型。
图5 二维节点人体骨架模型
人体运动模型是利用前几帧的状态来预测当前帧状态的。跳水运动虽然根据比赛的不同要求而有不同的比赛动作，但是跳水的大致运动趋势以及在空中腾空翻滚的次数都是有一定规律可循的。我们研究发现，跳水运动过程可分解为三个阶段：起跳、腾空翻滚运动、入水。起跳过程可以理解为上抛运动，腾空翻滚运动可以理解为以恒定加速度的运动点为圆心的圆周运动，入水过程可以理解为自由落体运动。常见的运动模型有：匀速运动模型、多项式运动模型等等，还有一些通用的专用模型：B 样条、隐马尔科夫模型等。根据跳水运动的特点，对跳水运动建立二阶自回归运动模型：
t t t t t W X X X X η+-=----211 （3） 在运动跟踪过程中，采用粒子滤波技术跟踪人体跳水运动。首先进行粒子初始化，为了跟踪的精确性及实时性，拟在视频跟踪的第一帧和第二帧手工标记出骨架模型中需跟踪的关键关节点（头结点、肩部结点、腕部结点、腰部结点、跨部节点、踝部结点、脚节点），并初始化各粒子（离散样本），然后针对各个关键关节点位置建立一个供匹配的模板，该模板需包括颜色信息和梯度信息；之后利用建立的运动模型，确定下一帧的中各关键关节点的各个粒子（离散样本）的位置，根据匹配模板确定各个粒子权值，如果该权值大于某一个阈值时，则认为运动模型不准确，需调节运动模型；最后根据各个粒子的位置及权值确定各个关键关节点的跟踪位置，并更新各粒子及匹配模
板，以便下一帧的跟踪。
2.1.3 计算模型
运动参数和姿态参数是分析体操、跳水运动的重要数据，用来描述运动员的运动状态。运动参数主要有：各关节点瞬时速度、加速度等，姿态参数主要有：身体各部位
J16
J12 J15
L10
J11 J10 J14
J13
J8 J7
J6 J5 J4
J3 J2 J1 L1 L2
L6
L9
L12 J9
高度、方向角及其相互之间的几何关系等。基于提取的关节点运动参数和身体姿势参数建立计算模型，用于计算任意时刻各关节点的运动参数和姿态参数。为了计算任意时刻或任意位置的运动参数和姿态参数，本文研究了人体的生理特征和生物运动原理，了解了人体各个部位运动变化的方式和变化极限，在此基础上结合跟踪到的人体运动模型，提出了跳水运动中各关节点和身体各部位运动参数、姿态参数的计算模型和计算方法。 1）确定参考坐标系
采用两种坐标系。全局坐标系(静止坐标系)：以跳水运动员在初始状态下Hanim 标准中1J 关节点为坐标原点（1J 关节点如图5所示）。
局部坐标系(运动坐标系)：身体关节各设置一个局部坐标系，原点位于各关节中心点。
图6 坐标系示意图
Z 坐标正向按照右手坐标系指向纸面。 2）各关节位移量的计算方法
21x x x ?=-，x 1为关节点在上一帧中的局部坐标
值，x 2为该关节点在当前帧中相对于上一帧局部坐标系中的坐标值。
设两帧之间的摄像机全局运动模型为：
''''x ax by e
y cx dy f =++??
=++?
（4） 其中x ，y 为关节点在当前帧的坐标值, x ’，y ’为关节点在上一帧的坐标值。
式(4)用矩阵的形式表示为：
'0''0'v Av v x a b x e v A v v y c
d y f =+????????==== ?
? ? ?????????
（5）
1'2''x x e x v A y y f --???
?=== ? ?-????
, (6)
其中1A -为A 的逆矩阵，x ，y 为该关节在当前帧局部坐标系中的坐标值。 3）速度/加速度的计算
线速度: 21/()x v x t t =?-，2t 为当前帧时刻，1t 为上一帧时刻。
同理可得,y z v v 。
线加速度: 2121()/()x x x a v v t t =--同理可得,y z a a 。 4）转动角度/角速度的计算
根据跟踪结果中的关节点局部坐标值，采用逆运动学方法，可以求得各关节的转动角度。
由运动学可得坐标变换方程如下：
'P RP = (7)
其中R 为两坐标系之间的旋转矩阵，P 为关节在其当前局部坐标系中的向量值，'P 为关节在其初始局部坐标系中的向量值，详细过程请见2.2.1节。
由式(7)可以得到关节的旋转角度。 2.1.4行为识别与理解
由已获得的运动轨迹、运动参数和姿态参数，作为识别分析的依据。
运动员动作的识别也是语义类的分类识别。将跳水动作分解成助跑，起跳阶段的臂立、转体、向前、反身、向后和向内翻腾，空中阶段的直体、曲体、抱膝、翻腾及转体，入水13种基本动作类，再由其组合成为一组跳水动作如207B 向后翻转3周半曲体，从而实现对跳水视频的机器自动识别，识别结果用作对动作的实时自动标注，及检索标准动作的依据。
运动分析最终的目的是能分析出运动员动作的不足之
处，从而指导运动员训练。通过将运动员动作与数据库中标准动作的比较得出数值化差异，再经过映射过程调出语义，以事先定义好的规则转换成自然语言的形式描述出动作完成情况，包括动作完成整体水平评价，在助跑、起跳、空中、入水四部分中分解基本动作技术要领掌握情况，应该改进的地方及如何改进等等。
本文采用条件随机场CRF （Conditional Random Fields ）方法[9]来做行为识别与理解。CRF 是一种用于在给定输入结点值时计算指定输出结点值的条件概率的无向图模型。它的一般模型如下：
图7 CRF 模型示意图
X: 是被观察的输入随机变量集合；
Y: 是能被模型预测的输出随机变量的集合，变量间通过指示依赖关系的无向边连接。 行为识别分两步进行： 1） 训练过程：
采用人工切分好的基本动作视频序列进行学习，训练出基本动作的条件随机场模型。
x
y
图8 训练过程示意图
2）识别过程：
输入分割的视频序列，对其遍历计算出CRF参数，哪一类的参数值最大就归属那一类。
图9 识别过程示意图
2.2 3D运动仿真与图形编辑接口
当反求出跳水运动员最佳状态下的运动及姿态参数后，需要重构新的视频，该视频是以人体三维模型的可视化运动方式再现最佳状态的跳水运动过程和运动轨迹，帮助运动员体会新的过程，使其了解自己，更好地调整自己的训练方法。
为此，我们提出了一种基于关键视频帧跟踪数据的三维虚拟人动画，有了这个3D的图形编辑接口之后，可以在此基础上进行交互式的动作修改，动作设计以及动作编排等。采用VRML中H-anim标准对虚拟人进行几何建模[10-13]
，在虚拟人文件导入过程中，利用有限状态机（FSM）对文件进行解释，为便于虚拟人的显示及控制，虚拟人几何数据在计算机内存空间以树型数据结构表示。建立了人体运动中世界坐标系及各关节点的局部坐标系，利用逆运动学计算出视频帧中人体各关节点相对于初始状态下的位移向量及旋转轴角。
2.2.1 虚拟人运动建模
设人体运动过程某时刻各关节在世界坐标系中的坐标值为1111;2222; (16161616)
:,,:,,:,,
J x y z J x y z J x y z（1J~16
J
的标识见图5）；关节的旋转方向为先绕Z轴旋转α角，再绕Y轴旋转β角，最后绕X轴旋转γ角；设基坐标系（参考坐标系）原点位于关节1J，其方向始终与人体初始状态下关节1J局部坐标系的方向一致。
根关节1J的位移向量，就是1J在世界坐标系下的坐标值111
(,,)
x y z。
由于三维数据没有考虑扭矩的作用，可以认为在Y 轴上的旋转分量为零，对应的旋转矩阵为单位矩阵，由正向运动学可得1J坐标系相对于基坐标系的旋转矩阵为
1
R。
1
cos sin0100100
sin cos00100cos sin
0010010sin cos
R
αα
ααγγ
γγ
-
??????
??????
=-
??????
??????
??????
(8)
建立J2关节其局部坐标与世界坐标之间的变换方程为：
21
121
1
21
x x
R L y y
z z
-
????
????
=-
????
????
-
????
(9)
根据上式可得方程组为：
12
1
21
1
21
1
s in c o s
c o s c o s
s in
x x
L
y y
L
z z
L
αγ
αγ
γ
-
-
-
=
?
?
=
?
?=
?
(10)
解之得：21
21
121
arcsin(),arctan()
x x
z z
L y y
γα-
-
-
==-(11) 2.2.2 虚拟人动画实验
在原型系统的实验中使用符合H-anim标准的虚拟人文件，测试数据由视频跟踪结果中的关节坐标数据序列驱动，数据源使用弹跳视频跟踪结果。在该原型系统中通过鼠标可以改变虚拟人的全局运动位姿，如整个身体旋转，身体缩放。图10为虚拟人弹跳序列中部分帧结果。
3系统应用
目前，本系统正处于试用阶段，即将用于湖南省跳水队的训练当中。由于该系统提供了丰富的功能，对一些潜在的需求也在不断挖掘。从试用的过程来看，该系统的使用可以帮助运动员尽快掌握动作的技术要领，极大地提高了训练效率、减少盲目的重复训练。降低运动员受到伤害的可能性。系统运行的部分实验结果如图11－图12所示。
有了这个跳水训练视频分析与人体模拟系统之后，跳水训练的训练模式变传统为科学，变由教练员基于人眼观察的方法和运动员重复训练为基于高精度视频捕捉与分析的人体运动测量与模拟。
另外，跳水运动视频分析系统除用在训练之外还有很大的价值。例如，在跳水比赛的过程当中，可以辅助跳水比赛裁判员进行评判，避免主观因素造成的误判，提高裁判工作的客观、公平和公正程度。
4 总结与展望
随着2008北京奥运会的日益临近，我国各类别的体育健儿们都在为北京奥运能有好的表现进行着刻苦的训练。训练一方面要靠自身的努力，但更重要的是要有方法，要讲科学，这就对我们科技工作提出了更高的要求。作为计算机科技工作者，我们要让更多的计算机技术应用于体育训练当中。跳水运动视频分析系统融合了计算机图形学、数学图像处理、模式识别、数学和人体运动生物学等技术，该系统作为当前我国跳水项目中一个专门的辅助系统，它从跳水视频和跳水运动的本身的特点出发，必将对跳水训练产生极大的影响。今后，我们将通过省跳水队的试用和反馈，不断完善我们的功能，预期到2008年能正式用于训练和比赛当中。
图10 虚拟人在做弹跳运动
图11 跳水运动视频分割结果(上图:原始视频序列,下图:分割结果)
图12 跳水运动视频跟踪结果
参考文献:
[1] Kanav Kahol, Priyamvada Tripathi, Sethuraman Panchanathan.
Automated gesture segmentation f rom dance sequences. Proceedings of the Sixth IEEE International Conf erence on Automatic Face and Gesture Recognition, 2004.
[2] 陶焜, 吴思, 林守勋等. 体育视频全景图合成技术. 计算机辅助
设计与图形学学报, 2005, 17(10):2552-2557.
[3] 王兆其, 张勇东, 夏时洪. 体育训练三维人体运动模拟与视频
分析系统. 计算机研究与发展, 2005, 42(2):344-352.
[4] D . Farin, P. H. N . de With, and W . Ef felsberg, "V ideo-object
segmentation using multi-sprite background subtraction, " in Proc. IEEE International Conf erence on Multimedia and Expo (ICME), 2004.
[5] Y aakov Tsaig, Amir A verbuch. Automatic Segmentation of Moving
Objects in V ideo Sequences :A Region Labeling Approach[J]. IEEE Transactions on Circuits and System f or V ideo Technology, 2002,
12(7).
[6] 王嘉,王海峰,刘青山,卢汉清.基于三参数模型的快速全局运动估
计.计算机学报,2005,6 (29),920~927
[7] Thoms H. Cormen,Charles E.Leiserson,Ronald L.Rivest. Introduction
to algorithms. The MI T Press,2001.
[8] 王成儒,顾广华.基于差分交集的视频对象分割与跟踪算法[J].光
学技术,2004,30(5):564-566.
[9] Steff ens J,Elagin E,Neven H. Person spotter-f ast and robust system
f or human diction, trackin
g and recognition. In Proc IEEE
International Conference on Automatic Face and Gesture
Recognition, Nara, Japan, 1998 516-521.
[10] Badler N, Phillips C. Simulating Humans: Computer Graphics
Animation and Control [M]. London: Oxf ord University Press,
1999.
[11] Humanoid Animation Working Group. Specif ication f or a
Standard Humanoid[EB/OL]. 2003. https://www.doczj.com/doc/1410867820.html,. [12] Li Y, Ma S, Lu H. Human posture recognition using multi-scale
morphological method and Kalman motion estimation. In Proc
IEEE International Conf erence on Pattern Recognition, Brisbane,
Australia, 1998 175-177.
[13] Bregler, J Malik. Tracking people with twists and exponential
maps[C]. In: Proc of Computer Vision and Pattern Recognition
Conf. Santa Barbara: IEEE CS Press, 1998, 8-15.