【智控万物】懒人系列之视控灯
【智控万物】懒人系列之视控灯（演示：视频识别控制Microbit）
【项目背景】
"视控灯"这个名字来自“声控灯”，在公共场所，有人需要临时开灯。如楼道、卫生间等等。声控灯实现起来很简单，应用比较普遍。声控是它的优势但也存在一个很大的问题。因为只有声音超过一定响度时，灯才亮。这也就出现了有人在楼门口大声咳嗽，使劲跺脚。同时也发生在楼道里，不方便自己的同时，也产生了噪音，尤其是在深夜，你的大呵一声，惊扰四邻。
【设计方案】
1、现在使用的是电脑作为识别工具，后期条件成熟准备使用树莓派，因Python在树莓派也能实现相应功能。
2、使用Python来处理摄像头图像，代码简单，本地运行速度快。识别响应阈值可自定义。
3、CodeLab Scratch3+CodeLab Adapter+Python完美搭配。以前我要实现类似功能，要通过一个中间者MQTT，比如本地的像Siot。
【准备工作】
可参考：http://adapter.codelab.club/dev_guide/Adapter-Node/
【制作过程】
1、只使用Python进行测试
《演示视频》
https://v.youku.com/v_show/id_XNDY1OTAzNDAyMA==.html
#识别画面异动
import imutils,cv2,time
camera = cv2.VideoCapture(0)
framefirst=None
avg=None
num=0
j=0
while True:
(grabbed, frame) = camera.read()
# 如果不能抓取到一帧，说明我们到了视频的结尾
if not grabbed:
break
# 调整该帧的大小，并且对其进行高斯模糊
frame = imutils.resize(frame, width=500)
imageold=frame.copy()
#转换为灰阶图像
gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
#高斯模糊 这里(21, 21)表示高斯矩阵的长与宽都是5，
#标准差取0时OpenCV会根据高斯矩阵的尺寸自己计算。概括地讲，高斯矩阵的尺寸越大，标准差越大，处理过的图像模糊程度越大。
gray = cv2.GaussianBlur(gray, (21, 21), 0)
if framefirst is None :
framefirst=gray
continue
if avg is None:
avg = gray.copy().astype("float")
continue
#图像叠加or图像混合加权实现
#cv2.addWeighted(src1, alpha, src2, beta, gamma[, dst[, dtype]]) → dst
#dst = src1 * alpha + src2 * beta + gamma;
cv2.accumulateWeighted(gray, avg, 0.5)
gray = cv2.absdiff(gray, cv2.convertScaleAbs(avg))
# 二值化处理，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图 ，
#像素高于阈值时，给像素赋予新值，否则，赋予另外一种颜色。函数是cv2.threshold()
ret, binary = cv2.threshold(gray,5,255,cv2.THRESH_BINARY)
#学习不同的形态学操作，例如腐蚀，膨胀，开运算，闭运算等
#我们要学习的函数有：cv2.erode()，cv2.dilate()，cv2.morphologyEx()等
#与卷积核对应的原图像的像素值中只要有一个是1，中心元 素的像素值就是1。所以这个操作会增加图像中的白色区域（前景）。
#一般在去噪声时先用腐蚀再用膨胀。因为腐蚀在去掉白噪声的同时，也会使前景对象变小。
#所以我们再对他进行膨胀。这时噪声已经被去除了，不会再回来了，但是前景还在并会增加。膨胀也可以用来连接两个分开的物体。
thresh = cv2.dilate(binary, None, iterations=2)
#binary：寻找轮廓的图像
#轮廓的检索模式：cv2.RETR_EXTERNAL表示只检测外轮廓
#cv2.RETR_TREE建立一个等级树结构的轮廓。
#cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
#第一个参数是指明在哪幅图像上绘制轮廓；
#第二个参数是轮廓本身，在Python中是一个list。
#第三个参数指定绘制轮廓list中的哪条轮廓，如果是-1则绘制其中的所有轮廓。
#thickness表明轮廓线的宽度，如果是-1（cv2.FILLED），则为填充模式。
#
cv2.drawContours(frame,contours,-1,(0,0,255),3)
for c in contours:
# if the contour is too small, ignore it
if cv2.contourArea(c) < 5000:
continue
# 计算轮廓线的外框, 在当前帧上画出外框,
# 并且更新文本
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
num+=1
if num>20 :
print('有异动')
num=0
cv2.imshow("contours", frame)
#cv2.imshow("Gray", gray)
#cv2.imshow("binary", binary)
key = cv2.waitKey(1) & 0xFF
# 如果q键被按下，跳出循环
if key == ord("q"):
break
# 清理摄像机资源并关闭打开的窗口
camera.release()
cv2.destroyAllWindows()
2、CodeLab Scratch3+CodeLab Adapter+Python，暂未控灯
《演示视频》
https://v.youku.com/v_show/id_XNDY1OTc0MDczMg==.html
import time
import imutils,cv2
from loguru import logger
from codelab_adapter_client import AdapterNode
class EIMNode(AdapterNode):
def __init__(self):
super().__init__()
self.NODE_ID = "eim"
def send_message_to_scratch(self, content):
message = self.message_template()
message["payload"]["content"] = content
self.publish(message)
def extension_message_handle(self, topic, payload):
self.logger.info(f'the message payload from scratch: {payload}')
content = payload["content"]
if type(content) == str:
content_send_to_scratch = content[::-1]# 反转字符串
self.send_message_to_scratch(content_send_to_scratch)
def run(self):
camera = cv2.VideoCapture(0)
framefirst=None
avg=None
num=0
j=0
while self._running:
(grabbed, frame) = camera.read()
# 如果不能抓取到一帧，说明我们到了视频的结尾
if not grabbed:
break
# 调整该帧的大小，并且对其进行高斯模糊
frame = imutils.resize(frame, width=500)
imageold=frame.copy()
#转换为灰阶图像
gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
#高斯模糊 这里(21, 21)表示高斯矩阵的长与宽都是5，
#标准差取0时OpenCV会根据高斯矩阵的尺寸自己计算。概括地讲，高斯矩阵的尺寸越大，标准差越大，处理过的图像模糊程度越大。
gray = cv2.GaussianBlur(gray, (21, 21), 0)
if framefirst is None :
framefirst=gray
continue
if avg is None:
avg = gray.copy().astype("float")
continue
#图像叠加or图像混合加权实现
#cv2.addWeighted(src1, alpha, src2, beta, gamma[, dst[, dtype]]) → dst
#dst = src1 * alpha + src2 * beta + gamma;
cv2.accumulateWeighted(gray, avg, 0.5)
gray = cv2.absdiff(gray, cv2.convertScaleAbs(avg))
# 二值化处理，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图 ，
#像素高于阈值时，给像素赋予新值，否则，赋予另外一种颜色。函数是cv2.threshold()
ret, binary = cv2.threshold(gray,5,255,cv2.THRESH_BINARY)
#学习不同的形态学操作，例如腐蚀，膨胀，开运算，闭运算等
#我们要学习的函数有：cv2.erode()，cv2.dilate()，cv2.morphologyEx()等
#与卷积核对应的原图像的像素值中只要有一个是1，中心元 素的像素值就是1。所以这个操作会增加图像中的白色区域（前景）。
#一般在去噪声时先用腐蚀再用膨胀。因为腐蚀在去掉白噪声的同时，也会使前景对象变小。
#所以我们再对他进行膨胀。这时噪声已经被去除了，不会再回来了，但是前景还在并会增加。膨胀也可以用来连接两个分开的物体。
thresh = cv2.dilate(binary, None, iterations=2)
#binary：寻找轮廓的图像
#轮廓的检索模式：cv2.RETR_EXTERNAL表示只检测外轮廓
#cv2.RETR_TREE建立一个等级树结构的轮廓。
#cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
#第一个参数是指明在哪幅图像上绘制轮廓；
#第二个参数是轮廓本身，在Python中是一个list。
#第三个参数指定绘制轮廓list中的哪条轮廓，如果是-1则绘制其中的所有轮廓。
#thickness表明轮廓线的宽度，如果是-1（cv2.FILLED），则为填充模式。
#
cv2.drawContours(frame,contours,-1,(0,0,255),3)
for c in contours:
# if the contour is too small, ignore it
if cv2.contourArea(c) < 5000:
continue
# 计算轮廓线的外框, 在当前帧上画出外框,
# 并且更新文本
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
num+=1
if num>20 :
self.send_message_to_scratch('有异动')
print('有异动')
num=0
cv2.imshow("contours", frame)
#cv2.imshow("Gray", gray)
#cv2.imshow("binary", binary)
key = cv2.waitKey(1) & 0xFF
# 如果q键被按下，跳出循环
if key == ord("q"):
break
# 清理摄像机资源并关闭打开的窗口
camera.release()
cv2.destroyAllWindows()
if __name__ == "__main__":
try:
node = EIMNode()
node.receive_loop_as_thread()
node.run()
except KeyboardInterrupt:
node.terminate()# Clean up before exiting.
3、CodeLab Scratch3加入Usb Microbit控制
演示视频（不接电磁继电器和灯），直接用Microbit点阵灯演示
https://v.youku.com/v_show/id_XNDY2MDI4MTM1Mg==.html
演示视频（接电磁继电器和灯）https://v.youku.com/v_show/id_XNDY2MDY5Mzc0MA==
哈哈 挥手时光晕效果 有钢铁侠的味道
页:
[1]