留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度强化学习算法的机器人浮动打磨执行装置研究

张一然 杨龙 袁博 李长耿

张一然, 杨龙, 袁博, 李长耿. 基于深度强化学习算法的机器人浮动打磨执行装置研究[J]. 制造技术与机床, 2023, (11): 18-22, 28. doi: 10.19287/j.mtmt.1005-2402.2023.11.002
引用本文: 张一然, 杨龙, 袁博, 李长耿. 基于深度强化学习算法的机器人浮动打磨执行装置研究[J]. 制造技术与机床, 2023, (11): 18-22, 28. doi: 10.19287/j.mtmt.1005-2402.2023.11.002
ZHANG Yiran, YANG Long, YUAN Bo, LI Changgeng. Research on robot floating polishing actuator based on deep reinforcement learning algorithm[J]. Manufacturing Technology & Machine Tool, 2023, (11): 18-22, 28. doi: 10.19287/j.mtmt.1005-2402.2023.11.002
Citation: ZHANG Yiran, YANG Long, YUAN Bo, LI Changgeng. Research on robot floating polishing actuator based on deep reinforcement learning algorithm[J]. Manufacturing Technology & Machine Tool, 2023, (11): 18-22, 28. doi: 10.19287/j.mtmt.1005-2402.2023.11.002

基于深度强化学习算法的机器人浮动打磨执行装置研究

doi: 10.19287/j.mtmt.1005-2402.2023.11.002
详细信息
    作者简介:

    张一然,男,1995年生,博士研究生,工程师,主任工艺师,主要从事轨道交通行业智能制造装备与技术研究。E-mail:sxkjzyr@sina.com

    通讯作者:

    张一然,男,1995年生,博士研究生,工程师,主任工艺师,主要从事轨道交通行业智能制造装备与技术研究。E-mail:sxkjzyr@sina.com

  • 中图分类号: TH705

Research on robot floating polishing actuator based on deep reinforcement learning algorithm

  • 摘要: 为实现机器人恒力打磨的需求,文章设计了浮动打磨执行器,进行了打磨控制算法研究和浮动打磨执行器的结构设计,并对浮动打磨执行器系统进行受力分析和动力学建模。在传统PID控制算法的基础上,采用DDPG深度强化学习算法进行PID控制参数的整定,并开展浮动打磨执行器恒力性能实验验证。实验结果表明,文章设计的浮动打磨执行器能够满足恒力控制的要求。通过DDPG深度强化学习算法对PID控制参数整定,减少了繁琐的调参步骤,且具有更好的恒力控制性能。

     

  • 图  1  浮动打磨执行器的原理

    图  2  浮动打磨执行器内部结构

    图  3  浮动打磨装置受力分析

    图  4  力控系统控制框图

    图  5  PID控制算法图

    图  6  深度强化学习算法框架图

    图  7  DDPG算法原理图

    图  8  基于DDPG算法的PID参数整定原理框图

    图  9  xPC Target实验平台

    图  10  PID控制实验曲线

    图  11  DDPG参数整定后的PID控制实验曲线

    表  1  输出力性能指标比较

    性能指标 PID参数控制 DDPG参数整定
    力偏差均值/N -0.81 -0.049
    力偏差均方差值/N 0.727 0.468
    上升时间/s 0.06 0.02
    下载: 导出CSV
  • [1] 赵江天. 工业机器人技术在智能制造中的应用及发展研究[J]. 自动化应用,2023,64(7):16-18.
    [2] 黄晓伟. 工业机器人自动化打磨方案研究[J]. 工程技术研究,2018(11):180-181.
    [3] 王友发,周献中. 国内外智能制造研究热点与发展趋势[J]. 中国科技论坛,2016(4):154-160. doi: 10.3969/j.issn.1002-6711.2016.04.025
    [4] 袁楚明,张雷,陈幼平,等. 模具曲面机器人智能抛光系统的研究[J]. 高技术通讯,2001,11(9):76-80. doi: 10.3321/j.issn:1002-0470.2001.09.017
    [5] Tian F J,Lv C,Li Z G,et al. Modeling and control of robotic automatic polishing for curved surfaces[J]. CIRP Journal of Manufacturing Science and Technology,2016,14:55-64. doi: 10.1016/j.cirpj.2016.05.010
    [6] Roswell A,Xi F J,Liu G J. Modelling and analysis of contact stress for automated polishing[J]. International Journal of Machine Tools and Manufacture,2006,46(3-4):424-435. doi: 10.1016/j.ijmachtools.2005.05.006
    [7] 冯渊. 工业机器人恒力打磨控制技术研究[D]. 南京:南京航空航天大学,2019.
    [8] Kosler H,Pavlovčič U,Jezeršek M,et al. Adaptive robotic deburring of die-cast parts with position and orientation measurements using a 3D laser-triangulation sensor[J]. Strojniški vestnik - Journal of Mechanical Engineering,2016,62(4):207-212. doi: 10.5545/sv-jme.2015.3227
    [9] Song H,Song J. Precision robotic deburring based on force control for arbitrarily shaped workpiece using CAD model matching[J]. International Journal of Precision Engineering and Manufacturing,2013,14(1):85-91. doi: 10.1007/s12541-013-0013-2
    [10] Tian F J,Li Z G,Lv C,et al. Polishing pressure investigations of robot automatic polishing on curved surfaces[J]. The International Journal of Advanced Manufacturing Technology,2016,87(1-4):639-646. doi: 10.1007/s00170-016-8527-2
    [11] Liao L,Xi F J,Liu K F. Adaptive control of pressure tracking for polishing process[J]. Journal of Manufacturing Science and Engineering,2010,132(1):165-174.
    [12] Nagata F,Hase T,Haga Z,et al. CAD/CAM-based position/force controller for a mold polishing robot[J]. Mechatronics,2007,17(4-5):207-216. doi: 10.1016/j.mechatronics.2007.01.003
    [13] 许家忠,郑学海,周洵. 复合材料打磨机器人的主动柔顺控制[J]. 电机与控制学报,2019,23(12):151-158. doi: 10.15938/j.emc.2019.12.019
    [14] Dieste J A,Fernández A,Roba D,et al. Automatic grinding and polishing using spherical robot[J]. Procedia Engineering,2013,63:938-946. doi: 10.1016/j.proeng.2013.08.221
    [15] 李沛隆. 基于改进PID的永磁同步电机转速控制系统研究[D]. 恩施:湖北民族大学,2022.
    [16] 张雷,周宛松,卢磊,等. 抛光力实时控制策略研究[J]. 东北大学学报:自然科学版,2015,36(6):853-857.
    [17] 张伟. 自整定PID控制算法的比较与研究[D]. 沈阳:沈阳理工大学,2020.
    [18] 李孜伟. 工业过程的二自由度PID控制算法研究[D]. 杭州:杭州电子科技大学,2019.
    [19] 陈静. 基于策略梯度优化的深度强化学习及其在智能体控制中的应用[D]. 广州:广东技术师范大学,2022.
    [20] 孙传禹. 基于深度强化学习的机器人轨迹规划方法研究[D]. 北京:北京建筑大学,2022.
    [21] 姜鱇祝. 基于DDPG算法的无人驾驶决策算法研究[D]. 哈尔滨:哈尔滨工业大学,2021.
    [22] 孔松涛,刘池池,史勇,等. 深度强化学习在智能制造中的应用展望综述[J]. 计算机工程与应用,2021,57(2):49-59. doi: 10.3778/j.issn.1002-8331.2008-0431
    [23] Orr J,Dutta A. Multi-agent deep reinforcement learning for multi-robot applications:A survey[J]. Sensors,2023,23(7):3625. doi: 10.3390/s23073625
    [24] 张宁. 基于改进DDPG算法的机器人路径规划研究[D]. 淮南:安徽理工大学,2021.
  • 加载中
图(11) / 表(1)
计量
  • 文章访问数:  86
  • HTML全文浏览量:  7
  • PDF下载量:  28
  • 被引次数: 0
出版历程
  • 修回日期:  2023-08-13
  • 网络出版日期:  2023-11-07

目录

    /

    返回文章
    返回

    重要提示

    1. 唯一官方网站:1951.mtmt.com.cn

    2. 本刊编辑部、工作人员邮箱后缀为@jcs.gt.cn

    3. 电话

    010-64739683/79(稿件、进度)

    010-64739685(缴费、录用证明)

    4. 作者服务QQ群:238874846

    注意以上信息,谨防冒名、被骗!

    《制造技术与机床》编辑部