留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于3-2D融和模型的毛虾捕捞渔船行为识别

张佳泽 张胜茂 王书献 杨昱皞 戴阳 熊瑛

张佳泽, 张胜茂, 王书献, 杨昱皞, 戴阳, 熊瑛. 基于3-2D融和模型的毛虾捕捞渔船行为识别[J]. 南方水产科学. doi: 10.12131/20210263
引用本文: 张佳泽, 张胜茂, 王书献, 杨昱皞, 戴阳, 熊瑛. 基于3-2D融和模型的毛虾捕捞渔船行为识别[J]. 南方水产科学. doi: 10.12131/20210263
ZHANG Jiaze, ZHANG Shengmao, WANG Shuxian, YANG Yuhao, DAI Yang, XIONG Ying. Recognition based on acetes chinensis fishing vessel 3-2D integration model behavior[J]. South China Fisheries Science. doi: 10.12131/20210263
Citation: ZHANG Jiaze, ZHANG Shengmao, WANG Shuxian, YANG Yuhao, DAI Yang, XIONG Ying. Recognition based on acetes chinensis fishing vessel 3-2D integration model behavior[J]. South China Fisheries Science. doi: 10.12131/20210263

基于3-2D融和模型的毛虾捕捞渔船行为识别

doi: 10.12131/20210263
基金项目: 国家自然科学基金重点项目 (61936014);浙江省海洋渔业资源可持续利用技术研究重点实验室开放课题 (2020KF001);江苏省农业综合执法专项 (2020-SJ-018);国家自然科学基金面上项目 (31772899)
详细信息
    作者简介:

    张佳泽 (1998—),男,硕士研究生,研究方向为计算机视觉、软件工程。E-mail: jiazezhang126@126.com

    通讯作者:

    张胜茂 (1976—),男,研究员,博士,从事渔业数据挖掘、图像处理研究。E-mail: ryshengmao@126.com

    熊 瑛 (1979—),女,研究员,博士,从事渔业资源研究。E-mail: yxiongshfu@126.com

  • 中图分类号: S 975

Recognition based on acetes chinensis fishing vessel 3-2D integration model behavior

  • 摘要: 针对中国毛虾 (Acetes chinensis) 产量逐年锐减问题,中国开始对近海海域实施毛虾限额捕捞措施,采用视频监控技术辅助捕捞管理。文章提出一种基于3-2D融和模型的毛虾捕捞渔船行为识别方法,为限额捕捞管理提供新的解决方案。通过在毛虾渔船上4个固定位置安装高清摄像设备,并记录捕捞作业全过程,共获取600余个视频监控数据作为初始数据;之后人工对视频数据进行有效数据的筛选,同时对视频数据进行5种行为的划分和标记。为了提高网络训练的效率,对视频数据进行压缩和帧数分割等预处理;最后,通过搭建3-2D融合的卷积神经网络来训练模型,实现渔船行为特征的提取和分类。结果表明,捕捞渔船行为识别方法的分类精度为95.35%,召回率为94.50%,平均精确度为96.60%,模型整体得分达93.32%,平均检测时间为35.46 ms·帧−1,可用于毛虾渔船捕捞视频的实时分析。
  • 图  1  毛虾限额捕捞张网示意图

    Figure  1.  Schematic diagram of net fishing quota for A. chinensis

    图  2  捕捞渔船安装摄像头示意图

    Figure  2.  Schematic diagram of camera installation on fishing vessel

    图  3  捕捞渔船5种行为图

    Figure  3.  Five behavior diagrams of fishing vessels

    图  4  捕捞渔船初始拍摄数据统计图

    Figure  4.  Statistics chart of initial shooting data of fishing vessel

    图  5  每100帧为一批次读取数据量

    Figure  5.  Read data every 100 frames as a batch

    图  6  3-2D融合模型的卷积神经网络结构图

    Convolution3d+BN3d+Prelu代表先经过三维卷积,再经过三维归一化处理,最后经过激活函数处理,依次衔接,其他表达式同理;其中,Convolution2d表示二维卷积, BN2d表示二维归一化处理,BN1d表示一维归一化处理,FC表示全连接层,Softmax表示分类层。

    Figure  6.  Convolutional neural network structure diagram of 3-2D fusion model

    Convolution3d+BN3d+Prelu represents the process: first three-dimensional convolution, then three-dimensional normalization processing, and finally the activation function processing, followed by sequential connection, which is the same for the other expressions. Among them, Convolution2d represents two-dimensional convolution; BN2d represents two-dimensional normalization processing; BN1d represents one-dimensional normalization processing; FC represents fully connected layer; and Softmax represents classification layer.

    图  7  训练模型结果图

    Figure  7.  Training model result graph

    图  8  精度与召回率的关系图

    Figure  8.  Relationship between precision and recall rate

    图  9  捕捞渔船结果测试图片

    标签0代表停靠、标签1代表航行、标签2代表下网、标签3代表收网、标签4代表等待。

    Figure  9.  Fishing vessel result test picture

    Label 0 represents docking; label 1 represents sailing; Label 2 represents putting the net; Label 3 represents receiving net; and Label 4 represents waiting.

    表  1  选用视频数据

    Table  1.   Choose video data

    渔船标签
    Fishing vessel label
    渔船行为
    Fishing vessel behavior
    渔船视频数量
    Number of fishing vessel videos/个
    0 停靠 Dock 90
    1 航行 Sail 110
    2 下网 Cast net 110
    3 收网 Put away net 110
    4 等待 Wait 80
    下载: 导出CSV

    表  2  制作数据标签

    Table  2.   Make data labels

    视频路径
    Video path
    视频帧数
    Video frames
    捕捞渔船标签
    Fishing vessel label
    行为状态
    Behavioral state
    syy/d01/D01_20210617171455.mp4 0~13 230 0 停靠 Dock
    syy/d01/D01_20210620043651.mp4 0~11 940 1 航行 Sail
    syy/d01/D01_20210620043651.mp4 11 940~50 093 2 下网 Cast net
    syy/d01/D01_20210630181131.mp4 0~69 301 3 收网 Put away net
    syy/d01/D01_20210620061938.mp4 0~4 330 4 等待 Wait
    下载: 导出CSV

    表  3  模型评价主要指标及结果

    Table  3.   Main indicators and results of model evaluation

    指标 
    Index 
    训练结果
    Training result
    测试结果
    Test result
    精度 Precision 99.60% 95.35%
    召回率 Recall rate 99.63% 94.50%
    平衡F分数 F1-Score 99.06% 93.32%
    平均精确度 AP 98.70% 96.60%
    时间 t/(ms·帧−1) 35.46
    下载: 导出CSV
  • [1] 李国东, 仲霞铭, 熊瑛, 等. 基于北斗船位数据的渔业信息解译与应用研究——以中国毛虾限额捕捞管理为例[J]. 海洋与湖沼, 2021, 52(3): 746-753. doi: 10.11693/hyhz20201000288
    [2] 农业农村部渔业渔政管理局, 全国水产技术推广总站, 中国水产学会. 2019年中国渔业统计年鉴[J]. 北京:中国农业出版社, 2020: 2.
    [3] MULYANI S, VESTIYATI P M, ALAMSYAH H K, et al. Effect of differences in salt concentration on the quality of rebon shrimp paste (Acetes sp. ) in Tegal district[J]. IOP Conf Ser:Earth Environ Sci, 2021, 755(1): 012051. doi: 10.1088/1755-1315/755/1/012051
    [4] UNG T D, TRAN T Y N, NGUYEN N L, et al. Biochemical characteristics of small shrimp (Acetes japonicus) of varied sizes collected in Ben Tre Province, Vietnam[J]. IOP Conf Ser: Mater Sci Eng, 2021, 1092(1): 012080. doi: 10.1088/1757-899X/1092/1/012080
    [5] 刘洋, 张胜茂, 王斐, 等. 海洋捕捞鱼类BigH神经网络分类模型设计与实现[J]. 工业控制计算机, 2021, 34(6): 18-20. doi: 10.3969/j.issn.1001-182X.2021.06.007
    [6] 梁建胜, 温贺平. 基于深度学习的视频关键帧提取与视频检索[J]. 控制工程, 2019, 26(5): 965-970.
    [7] 蒋梦迪, 程江华, 陈明辉, 等. 视频和图像文本提取方法综述[J]. 计算机科学, 2017, 44(S2): 8-18.
    [8] 李秀智, 张冉, 贾松敏. 面向助老行为识别的三维卷积神经网络设计[J]. 北京工业大学学报, 2021, 47(6): 589-597.
    [9] 耿家利. 渔船轨迹大数据存储优化与行为识别技术研究[D]. 杭州: 杭州电子科技大学, 2018.
    [10] ZHANG H, YANG S L, FAN W, et al. Spatial analysis of the fishing behaviour of tuna purse seiners in the western and central Pacific based on vessel trajectory date[J]. J Mar Sci Eng, 2021, 9(3): 322. doi: 10.3390/jmse9030322
    [11] 宁耀. 基于深度学习的渔船行为识别方法研究[D]. 兰州: 兰州大学, 2020: 42-53.
    [12] TRAN D, BOURDEV L, FERGUS R, et al. Learning spatiotemporal features with 3D convolutional networks[C]. 2015 Proceedings of the IEEE International Conference on Computer Vision (ICCV), Santiago, Chile. New York: IEEE, 2015: 4489-4497.
    [13] CARREIRA J, ZISSERMAN A. Quo vadis, action recognition? a new model and the kinetics dataset[C]. 2017 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu HI, USA. New York: IEEE, 2017: 6299-6308.
    [14] 王书献, 张胜茂, 朱文斌, 等. 基于深度学习YOLOV5网络模型的金枪鱼延绳钓电子监控系统目标检测应用[J]. 大连海洋大学学报, 2021, 36(5): 1-17.
    [15] 王书献, 孙永文, 张胜茂, 等. 基于卫星AIS远洋船位的热力图自动制图[J]. 渔业信息与战略, 2021, 36(1): 45-53.
    [16] 裴凯洋, 张胜茂, 樊伟, 等. 浙江省帆张网捕捞强度分布的提取方法[J]. 水产学报, 2020, 44(11): 1913-1925.
    [17] 张胜茂, 樊伟, 张衡, 等. 远洋捕捞渔船电子监控视频文字信息提取[J]. 渔业信息与战略, 2020, 35(2): 141-146.
    [18] 汤先峰, 张胜茂, 樊伟, 等. 基于深度学习的刺网与拖网作业类型识别研究[J]. 海洋渔业, 2020, 42(2): 233-244. doi: 10.3969/j.issn.1004-2490.2020.02.011
    [19] 王书献, 张胜茂, 戴阳, 等. 利用声呐数据提取磷虾捕捞深度方法研究[J]. 南方水产科学, 2021, 17(4): 91-97. doi: 10.12131/20210020
    [20] 农业农村部印发《通告》规定2021年伏休期间特殊经济品种专项捕捞许可[J]. 中国水产, 2021(6): 6-8.
    [21] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. 2015 International conference on machine learning (ICML), Lille, France. San Diego, CA: JMLR-Journal Machine Learning Research, 2015: 448-456.
    [22] HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: surpassing human-level performance on imagenet classification[C]. 2015 Proceedings of the IEEE International Conference on Computer Vision (ICCV), Santiago, Chile. New York: IEEE, 2015: 1026-1034.
    [23] 崔雪森, 田晓清, 康伟, 等. 基于卷积神经网络的微藻种类识别[J]. 上海海洋大学学报, 2021, 30(4): 710-717.
    [24] 罗晨辉, 孙洪飞. 改进型的batch normalization: BNalpha[J]. 计算机应用研究, 2021, 38(6): 1870-1873.
    [25] WEI Q J, WANG W B. Research on image retrieval using deep convolutional neural network combining L1 regularization and PRelu activation function[J]. IOP Conf Ser: Earth Environ Sci, 2017, 69(1): 012156.
    [26] 张胜茂, 刘洋, 樊伟, 等. 基于TensorFlow的水族馆鱼类目标检测APP开发[J]. 渔业现代化, 2020, 47(2): 60-67. doi: 10.3969/j.issn.1007-9580.2020.02.008
    [27] 张超. P−R曲线与模型评估问题研究[J]. 现代信息科技, 2020, 4(4): 23-24. doi: 10.3969/j.issn.2096-4706.2020.04.007
    [28] 陈冠宇. 基于深度学习的小目标检测方法研究[D]. 武汉: 中国地质大学, 2020: 27-29.
    [29] 马金涛. 基于深度学习的复杂环境目标检测方法研究[D]. 哈尔滨: 哈尔滨理工大学, 2021: 27-28.
    [30] 李琪. 基于深度学习的小目标检测方法研究[D]. 成都: 中国科学院大学 (中国科学院光电技术研究所), 2021: 13-14.
    [31] 赵亮, 胡杰, 刘汉, 等. 基于语义分割的深度学习激光点云3D目标检测算法[J]. 中国激光: 2021, 48(17): 171-183.
    [32] 李新德, 刘苗苗, 徐叶帆, 等. 一种基于2D和3D SIFT特征级融合的一般物体识别算法[J]. 电子学报, 2015, 43(11): 2277-2283. doi: 10.3969/j.issn.0372-2112.2015.11.021
    [33] 卢元兵, 李华朋, 张树清. 基于混合3D-2D CNN的多时相遥感农作物分类[J]. 农业工程学报, 2021, 37(13): 142-151. doi: 10.11975/j.issn.1002-6819.2021.13.017
    [34] 黄海广, 胡乃军, 仇志金, 等. 基于多源定位数据的实时船舶监控系统设计[J]. 中国海洋大学学报(自然科学版), 2015, 45(9): 122-129.
    [35] KROODSMA D A, MAYORGA J, HOCHBERG T, et al. Tracking the global footprint of fisheries[J]. Science, 2018, 359(6378): 904. doi: 10.1126/science.aao5646
    [36] GUAN Y N, ZHANG J, ZHANG X, et al. Identification of fishing vessel types and analysis of seasonal activities in the northern South China Sea based on AIS Data: a case study of 2018[J]. Remote Sens, 2021, 13(10): 1952. doi: 10.3390/rs13101952
    [37] 裴凯洋, 张胜茂, 樊伟, 朱文斌, 汤先峰. 基于VMS的张网渔船捕捞努力量与网位坐标提取方法[J]. 上海海洋大学学报, 2021, 30(1): 179-188.
    [38] 朱浩朋, 伍玉梅, 唐峰华, 等. 采用卷积神经网络构建西北太平洋柔鱼渔场预报模型[J]. 农业工程学报, 2020, 36(24): 153-160,57. doi: 10.11975/j.issn.1002-6819.2020.24.018
    [39] 范秀梅, 杨胜龙, 张胜茂, 等. 基于栖息地指数的阿拉伯海鲐鱼渔情预报模型构建[J]. 南方水产科学, 2020, 16(4): 8-17. doi: 10.12131/20190255
    [40] 郑巧玲, 樊伟, 张胜茂, 等. 基于神经网络和VMS的渔船捕捞类型辨别[J]. 南方水产科学, 2016, 12(2): 81-87. doi: 10.3969/j.issn.2095-0780.2016.02.012
  • 加载中
计量
  • 文章访问数:  114
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-09-12
  • 修回日期:  2021-11-02
  • 录用日期:  2021-11-17
  • 网络出版日期:  2021-12-08

目录

    /

    返回文章
    返回