设为首页收藏本站
首页 > 论坛 > 行空板

【行空板】AI跟随摄像头

云天 | 中级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2022-5-23 21:33:02 [显示全部楼层]
7882浏览
4回复
3收藏
查看: 7882|回复: 4

【行空板】AI跟随摄像头

[复制链接]
本帖最后由 云天 于 2022-5-23 21:36 编辑

【行空板】AI跟随摄像头图2【行空板】AI跟随摄像头图4【行空板】AI跟随摄像头图3

【项目设计】
已经掌握了行控板与micro:bit扩展板的结合的使用方法，那么扩展板上的舵机引脚就可以驱动摄像头云台。
Mediapipe获取人脸中心坐标，通过滤波算法使用得数据不频繁抖动。通过PID算法，控制舵机运行，追踪人脸。
【控制舵机】
microbit_motor.py文件可从Pinpong库中找到，上传到行空板中，应与主文件在同一个文件夹内。
【行空板】AI跟随摄像头图5

  1. 

  2. # -*- coding: utf-8 -*-

  3. import time

  4. from pinpong.board import Board

  5. from microbit_motor import Microbit_Motor #导入Microbit_Motor库

  6. 

  7. Board("microbit").begin()  #初始化，选择板型和端口号，不输入端口号则进行自动识别

  8. #Board("microbit","COM36").begin()  #windows下指定端口初始化

  9. #Board("microbit","/dev/ttyACM0").begin()   #linux下指定端口初始化

  10. #Board("microbit","/dev/cu.usbmodem14101").begin()   #mac下指定端口初始化

  11. 

  12. motorbit = Microbit_Motor()

  13. 

  14. while True:

  15.    #舵机引脚S1-S8,角度范围0-180

  16.    motorbit.servo(motorbit.S2, 0)

  17.    time.sleep(1)

  18.    motorbit.servo(motorbit.S2, 90)

  19.    time.sleep(1)

  20.    motorbit.servo(motorbit.S2, 180)

  21.    time.sleep(1)

  22.    motorbit.servo(motorbit.S2, 90)

  23.    time.sleep(1)

复制代码

【行空板】AI跟随摄像头图6

【行空板获取摄像头全屏】在行空板网页端使用Jupyter notebook，在终端使用：pip install cvzone，安装cvzone
  1. 

  2. import cvzone.FaceDetectionModule as face

  3. import cv2

  4. import numpy as np

  5. import time

  6. 

  7. 

  8. 

  9. 

  10. 

  11. def main():

  12.     cap = cv2.VideoCapture(0)

  13.     cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)

  14.     cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

  15.     cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

  16.     cv2.namedWindow('camera',cv2.WND_PROP_FULLSCREEN)    #窗口全屏

  17.     cv2.setWindowProperty('camera', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)   #窗口全屏

  18.     detector = face.FaceDetector()

  19.     # For a 640x480 image center target is 320 and 240

  20.  

  21. 

  22.     while True:

  23.         success, img = cap.read()

  24.         img, bboxs = detector.findFaces(img)

  25.         if bboxs:

  26.             x, y, w, h = bboxs[0]["bbox"]

  27.             cx, cy = bboxs[0]["center"]

  28.             xVal=cx

  29.             yVal=cy

  30.             cv2.putText(img, f'x:{xVal} , y:{yVal} ', (x, y - 100), cv2.FONT_HERSHEY_PLAIN, 3,

  31.                         (255, 0, 0), 3)

  32.         output_image = cv2.rotate(img, cv2.ROTATE_90_COUNTERCLOCKWISE)

  33.         cv2.imshow("camera", output_image)

  34.         cv2.waitKey(1)

  35. 

  36. 

  37. if __name__ == "__main__":

  38.     main()

  39. 

复制代码

【人脸中心数据滤波】
使用的是“递推平均滤波法”:
递推平均滤波法（又称滑动平均滤波法）
方法：  把连续取N个采样值看成一个队列，遵循先进先出原则  队列的长度固定为N  每次采样到一个新数据放入队尾,并扔掉原来队首的一次数据.(先进先出原则)  把队列中的N个数据进行算术平均运算,就可获得新的滤波结果  N值的选取：流量，N=12；压力：N=4；液面，N=4~12；温度，N=1~4
优点：  对周期性干扰有良好的抑制作用，平滑度高  适用于高频振荡的系统
缺点：  灵敏度低  对偶然出现的脉冲性干扰的抑制作用较差  不易消除由于脉冲干扰所引起的采样值偏差  不适用于脉冲干扰比较严重的场合  比较浪费RAM  

  1. 

  2. import cvzone.FaceDetectionModule as face

  3. import cv2

  4. import numpy as np

  5. import time

  6. 

  7. 

  8. 

  9. 

  10. 

  11. def main():

  12.     cap = cv2.VideoCapture(0)

  13.     #cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)

  14.     #cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

  15.     #cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

  16.     #cv2.namedWindow('camera',cv2.WND_PROP_FULLSCREEN)    #窗口全屏

  17.     #cv2.setWindowProperty('camera', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)   #窗口全屏

  18.     detector = face.FaceDetector()

  19.     s=[0,0,0,0,0,0,0,0,0,0,0,0]

  20.     while True:

  21.         PTime = time.time()

  22.         success, img = cap.read()

  23.         img, bboxs = detector.findFaces(img)

  24.         if bboxs:

  25.             x, y, w, h = bboxs[0]["bbox"]

  26.             cx, cy = bboxs[0]["center"]

  27.             xVal=cx

  28.             yVal=cy

  29.             cv2.putText(img, f'x:{xVal} , y:{yVal} ', (x, y - 100), cv2.FONT_HERSHEY_PLAIN, 3,

  30.                         (255, 0, 0), 3)

  31.         #output_image = cv2.rotate(img, cv2.ROTATE_90_COUNTERCLOCKWISE)

  32.             s.pop(0)

  33.             s.append(cx)

  34.             mean=int(np.mean(s))

  35.             cv2.putText(img, f'x:{mean} , y:{yVal} ', (x, y - 50), cv2.FONT_HERSHEY_PLAIN, 3,

  36.                         (255, 0, 0), 3)

  37.         fps = 1 / (time.time() - PTime)

  38.         cv2.putText(img, f'FPS: {int(fps)}', (20,50), cv2.FONT_HERSHEY_PLAIN,

  39.                             3, (255, 255, 0), 3)

  40.         cv2.imshow("camera", img)

  41.         cv2.waitKey(1)

  42.         

  43. 

  44. if __name__ == "__main__":

  45.     main()

  46. 

复制代码

【行空板】AI跟随摄像头图7
【PID控制水平舵机】

  1. 

  2. import cvzone.FaceDetectionModule as face

  3. import cv2

  4. import numpy as np

  5. import time

  6. from pinpong.board import Board

  7. from microbit_motor import Microbit_Motor #导入Microbit_Motor库

  8. 

  9. Board("microbit").begin()

  10. motorbit = Microbit_Motor()

  11. targetVal=0

  12. pError=0

  13. pTime=0

  14. pidVals=[0.03,0,0.01]

  15. I=0

  16. jd_x=90

  17. def pid(cVal):

  18.         global I,pidVals,pTime,pError,targetVal

  19.         # Current Value - Target Value

  20.         t = time.time() - pTime

  21.         error = cVal - targetVal

  22.         P = pidVals[0] * error

  23.         I = I + (pidVals[1] * error * t)

  24.         D = (pidVals[2] * (error - pError)) / t

  25. 

  26.         result = P + I + D

  27. 

  28.         

  29.         pError = error

  30.         ptime = time.time()

  31. 

  32.         return result

  33. 

  34. 

  35. 

  36. def main():

  37.     global ptime,jd_x

  38.     cap = cv2.VideoCapture(0)

  39.     cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)

  40.     cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

  41.     cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

  42.     cv2.namedWindow('camera',cv2.WND_PROP_FULLSCREEN)    #窗口全屏

  43.     cv2.setWindowProperty('camera', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)   #窗口全屏

  44.     detector = face.FaceDetector()

  45.     s=[0,0,0,0,0,0]

  46.     ptime = time.time()

  47.     motorbit.servo(motorbit.S2,jd_x)

  48.     pre_jd_x=0

  49.     while True:

  50.         PTime = time.time()

  51.         success, img = cap.read()

  52.         img, bboxs = detector.findFaces(img)

  53.         if bboxs:

  54.             x, y, w, h = bboxs[0]["bbox"]

  55.             cx, cy = bboxs[0]["center"]

  56.             xVal=cx

  57.             yVal=cy

  58.             cv2.putText(img, f'x:{xVal} , y:{yVal} ', (x, y - 100), cv2.FONT_HERSHEY_PLAIN, 3,

  59.                         (255, 0, 0), 3)

  60.         

  61.             s.pop(0)

  62.             s.append(cx)

  63.             mean=int(np.mean(s))

  64.             jd_x=jd_x+int(pid(160-mean))

  65.             if jd_x<1:

  66.                 jd_x=1

  67.             if jd_x>179:

  68.                 jd_x=179

  69.             print(jd_x)

  70.             if pre_jd_x !=jd_x:

  71.               pre_jd_x =jd_x

  72.               motorbit.servo(motorbit.S2,jd_x)

  73.             cv2.putText(img, f'x:{mean} , y:{yVal} ', (x, y - 50), cv2.FONT_HERSHEY_PLAIN, 3,

  74.                         (255, 0, 0), 3)

  75.         fps = 1 / (time.time() - PTime)

  76.         cv2.putText(img, f'FPS: {int(fps)}', (20,50), cv2.FONT_HERSHEY_PLAIN,

  77.                             3, (255, 255, 0), 3)

  78.         output_image = cv2.rotate(img, cv2.ROTATE_90_COUNTERCLOCKWISE)                    

  79.         cv2.imshow("camera", output_image)

  80.         cv2.waitKey(1)

  81.         

  82. 

  83. if __name__ == "__main__":

  84.     main()

  85. 

复制代码

【使用PID类控制水平】
  1. 

  2. import cvzone.FaceDetectionModule as face

  3. import cv2

  4. import numpy as np

  5. import time

  6. from pinpong.board import Board

  7. from microbit_motor import Microbit_Motor #导入Microbit_Motor库

  8. 

  9. Board("microbit").begin()

  10. motorbit = Microbit_Motor()

  11. targetVal=0

  12. pError=0

  13. pTime=0

  14. pidVals=[0.03,0,0.01]

  15. I=0

  16. jd_x=90

  17. class PID:

  18.     def __init__(self, pidVals, targetVal,  limit=None):

  19.         self.pidVals = pidVals

  20.         self.targetVal = targetVal

  21.         self.pError = 0

  22.         self.limit = limit

  23.         self.I = 0

  24.         self.pTime = 0

  25.     def update(self,cVal):

  26.         

  27.         # Current Value - Target Value

  28.         t = time.time() - self.pTime

  29.         error = cVal - self.targetVal

  30.         P = self.pidVals[0] * error

  31.         self.I = self.I + (self.pidVals[1] * error * t)

  32.         D = (self.pidVals[2] * (error - self.pError)) / t

  33. 

  34.         result = P + self.I + D

  35.         if self.limit is not None:

  36.             result = float(np.clip(result, self.limit[0], self.limit[1]))

  37.         

  38.         self.pError = error

  39.         self.ptime = time.time()

  40. 

  41.         return result

  42. 

  43. 

  44. 

  45. def main():

  46.     

  47.     cap = cv2.VideoCapture(0)

  48.     cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)

  49.     cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

  50.     cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

  51.     cv2.namedWindow('camera',cv2.WND_PROP_FULLSCREEN)    #窗口全屏

  52.     cv2.setWindowProperty('camera', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)   #窗口全屏

  53.     detector = face.FaceDetector()

  54.     s_x=[0,0,0,0,0,0]

  55.     jd_x=90

  56.     pre_jd_x=0

  57.     motorbit.servo(motorbit.S2,jd_x)

  58.     xPID = PID([0.03, 0.000000000001, 0.01], 320 // 2,  limit=[-90, 90])

  59.     while True:

  60.         PTime = time.time()

  61.         success, img = cap.read()

  62.         img, bboxs = detector.findFaces(img)

  63.         if bboxs:

  64.             x, y, w, h = bboxs[0]["bbox"]

  65.             cx, cy = bboxs[0]["center"]

  66.             xVal=cx

  67.             yVal=cy

  68.             cv2.putText(img, f'x:{xVal} , y:{yVal} ', (x, y - 100), cv2.FONT_HERSHEY_PLAIN, 3,

  69.                         (255, 0, 0), 3)

  70.         

  71.             s_x.pop(0)

  72.             s_x.append(cx)

  73.             mean_x=int(np.mean(s_x))

  74.             

  75.             xVal= int(xPID.update(mean_x))

  76.             jd_x=jd_x-xVal

  77.             print(jd_x)

  78.             if pre_jd_x !=jd_x:

  79.               pre_jd_x =jd_x

  80.               motorbit.servo(motorbit.S2,jd_x)

  81.             cv2.putText(img, f'x:{mean_x} , y:{yVal} ', (x, y - 50), cv2.FONT_HERSHEY_PLAIN, 3,

  82.                         (255, 0, 0), 3)

  83.         fps = 1 / (time.time() - PTime)

  84.         cv2.putText(img, f'FPS: {int(fps)}', (20,50), cv2.FONT_HERSHEY_PLAIN,

  85.                             3, (255, 255, 0), 3)

  86.         output_image = cv2.rotate(img, cv2.ROTATE_90_COUNTERCLOCKWISE)                    

  87.         cv2.imshow("camera", output_image)

  88.         cv2.waitKey(1)

  89.         

  90. 

  91. if __name__ == "__main__":

  92.     main()

  93. 

复制代码
【控制水平和垂直舵机】
  1. 

  2. import cvzone.FaceDetectionModule as face

  3. import cv2

  4. import numpy as np

  5. import time

  6. from pinpong.board import Board

  7. from microbit_motor import Microbit_Motor #导入Microbit_Motor库

  8. 

  9. Board("microbit").begin()

  10. motorbit = Microbit_Motor()

  11. targetVal=0

  12. pError=0

  13. pTime=0

  14. pidVals=[0.03,0,0.01]

  15. I=0

  16. jd_x=90

  17. class PID:

  18.     def __init__(self, pidVals, targetVal,  limit=None):

  19.         self.pidVals = pidVals

  20.         self.targetVal = targetVal

  21.         self.pError = 0

  22.         self.limit = limit

  23.         self.I = 0

  24.         self.pTime = 0

  25.     def update(self,cVal):

  26.         

  27.         # Current Value - Target Value

  28.         t = time.time() - self.pTime

  29.         error = cVal - self.targetVal

  30.         P = self.pidVals[0] * error

  31.         self.I = self.I + (self.pidVals[1] * error * t)

  32.         D = (self.pidVals[2] * (error - self.pError)) / t

  33. 

  34.         result = P + I + D

  35.         if self.limit is not None:

  36.             result = float(np.clip(result, self.limit[0], self.limit[1]))

  37.         

  38.         self.pError = error

  39.         self.ptime = time.time()

  40. 

  41.         return result

  42. 

  43. 

  44. 

  45. def main():

  46.     

  47.     cap = cv2.VideoCapture(0)

  48.     cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)

  49.     cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)

  50.     cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

  51.     cv2.namedWindow('camera',cv2.WND_PROP_FULLSCREEN)    #窗口全屏

  52.     cv2.setWindowProperty('camera', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)   #窗口全屏

  53.     detector = face.FaceDetector()

  54.     s_x=[0,0,0,0,0,0]

  55.     s_y=[0,0,0,0,0,0]

  56.     jd_x=90

  57.     jd_y=135

  58.     pre_jd_y=0

  59.     motorbit.servo(motorbit.S1,jd_y)

  60.     xPID = PID([0.03, 0.000000000001, 0.01], 320 // 2,  limit=[-90, 90])

  61.     yPID = PID([0.03, 0.000000000001, 0.01], 240 // 2,  limit=[-45, 45])

  62.     while True:

  63.         PTime = time.time()

  64.         success, img = cap.read()

  65.         img, bboxs = detector.findFaces(img)

  66.         if bboxs:

  67.             x, y, w, h = bboxs[0]["bbox"]

  68.             cx, cy = bboxs[0]["center"]

  69.             xVal=cx

  70.             yVal=cy

  71.             cv2.putText(img, f'x:{xVal} , y:{yVal} ', (x, y - 100), cv2.FONT_HERSHEY_PLAIN, 3,

  72.                         (255, 0, 0), 3)

  73.         

  74.             s_x.pop(0)

  75.             s_y.pop(0)

  76.             s_x.append(cx)

  77.             s_y.append(cy)

  78.             mean_x=int(np.mean(s_x))

  79.             mean_y=int(np.mean(s_y))

  80.             xVal= int(xPID.update(mean_x))

  81.             yVal= int(yPID.update(mean_y))

  82. 

  83. 

  84.             jd_x=jd_x-xVal

  85.             jd_y=jd_y-yVal

  86.             print(jd_x,jd_y)

  87.             if pre_jd_x !=jd_x:

  88.               pre_jd_x =jd_x

  89.               motorbit.servo(motorbit.S2,jd_x)

  90.             if pre_jd_y !=jd_y:

  91.               pre_jd_y =jd_y

  92.               motorbit.servo(motorbit.S1,jd_y)

  93.             cv2.putText(img, f'x:{mean_x} , y:{mean_y} ', (x, y - 50), cv2.FONT_HERSHEY_PLAIN, 3,

  94.                         (255, 0, 0), 3)

  95.         fps = 1 / (time.time() - PTime)

  96.         cv2.putText(img, f'FPS: {int(fps)}', (20,50), cv2.FONT_HERSHEY_PLAIN,

  97.                             3, (255, 255, 0), 3)

  98.         output_image = cv2.rotate(img, cv2.ROTATE_90_COUNTERCLOCKWISE)                    

  99.         cv2.imshow("camera", output_image)

  100.         cv2.waitKey(1)

  101.         

  102. 

  103. if __name__ == "__main__":

  104.     main()

  105. 

复制代码
【行空板】AI跟随摄像头图1
【演示视频】


回复

使用道具 举报

精彩评论(4)

白凡  高级技师

发表于 2022-9-8 20:21:17

试了下，行空板连接microBIT扩展板贼好用！学到了！谢谢！
回复

使用道具 举报

cdx8002  学徒

发表于 2022-12-2 21:51:05

能获得XY的坐标数据，能获得Z轴角度吗，或是，眼睛的水平角度。就是头的侧倾斜角度。陈德新 cdx777777
回复

使用道具 举报

QaQ  见习技师

发表于 2023-2-8 15:19:00

二哈识图是个好东西
回复

使用道具 举报

曾剑波  中级技匠

发表于 2023-11-30 17:36:23

看着不错！我也来搞搞
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail