实习生专注于通过将YOLO物体识别模型嵌入Nvidia的优化管道中，处理大规模智能视频分析的实时视频。

所需掌握的知识

  • YOLO知识：YOLO版本的工作机制。

  • DeepStream SDK知识：理解基于GStreamer的管道架构，包括Gst-nvstreammux、Gst-nvinfer、Gst-nvosd等组件。

  • 模型格式：理解如何将模型从PyTorch (.pt) 转换为TensorRT (.engine) 以进行硬件加速。

实施步骤

  1. 资源注册：访问系统https://dev.mdcgroup.vn，提交使用已安装DeepStream环境的Nvidia服务器集群的请求。

  2. 准备YOLO模型：下载YOLO模型（例如YOLOv8/v10）。将模型转换为ONNX格式，然后编译成TensorRT Engine文件，以在GPU硬件上进行优化。

  3. 配置DeepStream文件：编写配置文件（config_infer_primary_yolo.txt）以定义模型路径、分类标签、输入图像尺寸和阈值参数。

  4. 设置输入/输出管道：配置视频输入源（可以是.mp4文件或实际的RTSP IP摄像头流）和显示输出（屏幕/X11或将RTMP/RTSP流推送到外部）。

  5. 启动DeepStream应用程序：运行deepstream-app示例应用程序，使用通用配置文件。监控系统性能，每路摄像头的帧处理速度。

  6. 性能优化：调整批处理大小参数（如果同时运行多个视频流），以在不丢帧的情况下实现最高的硬件处理性能。

结果验收

  • 测验：在管理页面上完成关于GStreamer和DeepStream架构的测验。

  • 问题与建议：提出将此系统应用于MDC Group实际问题的解决方案（例如：办公室监控摄像头、人脸考勤）。

  • 结果报告：提交系统配置文件和一段短视频，记录流畅的物体识别结果屏幕，并在屏幕角落显示实际FPS指标。

  • 周末讨论：分享如何处理运行DeepStream时出现的内存泄漏或数据瓶颈错误。