小爱同学连接电脑进行交互 教程
深入了解每一个知识点
bashpip install flask requests pyautogui-Flask：创建HTTP服务器，接收指令。-pyautogui：模拟键盘鼠标操作（可选，用于高级控制）。-requests：用于测试或后续扩展。## 第一步：创建电脑端监听服务我们将在电脑上运行一个Flask服务器，监听特定端口，并根据收到的指令执行操作。### 代码示例1：基础指令接收与执行python# server.py - 电脑端监听服务from flask import Flask, request, jsonifyimport osimport subprocessimport jsonapp = Flask(__name__)# 指令映射表：将语音指令关键词映射为系统命令COMMAND_MAP = { "打开浏览器": "start chrome", # Windows启动Chrome "打开记事本": "notepad", "打开计算器": "calc", "获取时间": "time" # 特殊指令，后续处理}@app.route('/command', methods=['POST'])def handle_command(): """ 接收来自外部的指令，返回执行结果 请求格式：{"command": "打开浏览器"} """ data = request.get_json() if not data or 'command' not in data: return jsonify({"status": "error", "message": "无效请求"}), 400 cmd = data['command'] print(f"收到指令: {cmd}") # 匹配指令并执行 if cmd in COMMAND_MAP: action = COMMAND_MAP[cmd] if action == "time": # 特殊处理：返回当前时间 import datetime now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") return jsonify({"status": "success", "result": f"当前时间是：{now}"}) else: # 执行系统命令 try: subprocess.Popen(action, shell=True) return jsonify({"status": "success", "message": f"已执行：{cmd}"}) except Exception as e: return jsonify({"status": "error", "message": str(e)}), 500 else: return jsonify({"status": "error", "message": "未识别的指令"}), 404if __name__ == '__main__': # 监听所有网络接口，端口5000 app.run(host='0.0.0.0', port=5000, debug=False)运行方法：在终端执行python server.py，服务将启动在http://0.0.0.0:5000。你可以用Postman或浏览器测试：向http://电脑IP:5000/command发送POST请求，body为{"command": "打开浏览器"}。## 第二步：让小爱同学转发指令到电脑小爱同学无法直接发送HTTP请求，我们需要借助小米生态的自动化能力。这里使用“小爱训练计划”（米家APP内置功能）或“米家自动化”。### 方法：通过小爱训练计划触发1. 打开米家APP → 智能 → 右上角“+” → 创建智能。2. 条件选择：小爱音箱 → “语音指令” → 输入自定义指令（如“打开电脑浏览器”）。3. 执行动作：选择“发送HTTP请求”（部分小米路由器或中枢网关支持），或通过第三方平台（如Node-RED）中转。注意：原生米家APP的部分版本可能不直接支持HTTP动作。此时可采用替代方案：- 使用Home Assistant作为中介，让小爱音箱通过语音控制HA中的虚拟开关，HA再触发HTTP请求。- 或使用巴法云（第三方IoT平台）桥接。### 简化方案：使用本地模拟触发如果不想依赖云服务，可以手动模拟：在手机上安装一个HTTP客户端（如HTTP Shortcuts），通过快捷指令发送请求。但这需要手动触发，不是纯语音。## 第三步：实现更复杂的交互（如浏览器控制）除了系统命令，我们还可以通过脚本控制浏览器、读取文件等。以下示例演示如何让小爱同学执行“打开百度并搜索Python”。### 代码示例2：浏览器自动化控制python# browser_control.py - 浏览器自动化模块import pyautoguiimport timeimport subprocessdef open_browser_and_search(query): """ 打开默认浏览器并执行搜索 参数：query - 搜索关键词（字符串） """ # 1. 打开浏览器（假设默认浏览器为Chrome） subprocess.Popen("start chrome", shell=True) time.sleep(2) # 等待浏览器启动 # 2. 模拟键盘输入搜索内容（需要浏览器地址栏处于活动状态） # 注意：此方法依赖当前窗口焦点，实际使用需更精确的定位 pyautogui.hotkey('ctrl', 'l') # 选中地址栏（Chrome快捷键） time.sleep(0.5) pyautogui.write(f"https://www.baidu.com/s?wd={query}") pyautogui.press('enter') return f"已打开浏览器并搜索：{query}"# 将此函数集成到Flask服务中def register_browser_commands(app): @app.route('/browser_search', methods=['POST']) def browser_search(): data = request.get_json() query = data.get('query', 'Python') result = open_browser_and_search(query) return jsonify({"status": "success", "result": result})使用场景：当小爱同学收到“帮我搜索Python教程”时，通过HTTP请求调用此接口，电脑将自动打开浏览器执行搜索。注意事项：-pyautogui控制鼠标键盘时，会占用当前控制权，建议在无人值守时使用。- 更可靠的方法是通过Selenium控制浏览器，但会增加依赖复杂度。## 进阶技巧：安全性考虑1.防火墙设置：确保电脑防火墙允许5000端口入站连接，或限制只接受局域网IP。2.指令白名单：严格限制指令范围，避免执行危险命令（如rm -rf）。3.认证机制：在HTTP请求中加入简单Token验证，防止被他人滥用。python# 添加简单token验证的示例VALID_TOKEN = "your_secret_key_123"@app.before_requestdef check_token(): token = request.headers.get('X-Auth-Token') if token != VALID_TOKEN: return jsonify({"status": "error", "message": "未授权"}), 401## 常见问题与调试| 问题现象 | 可能原因 | 解决方案 ||---------|---------|---------|| 服务无法启动 | 端口被占用 | 修改port=5000为其他端口 || 小爱音箱不识别指令 | 训练计划未生效 | 检查米家APP中的条件设置 || 电脑执行命令无反应 | 程序路径错误 | 使用绝对路径或验证环境变量 || 网络请求超时 | 防火墙拦截 | 添加防火墙入站规则 |## 总结通过本文的教程，你学会了如何利用Flask构建一个简单的HTTP服务，让小爱同学的语音指令能够通过米家生态（或手动触发）转发到电脑，并执行系统命令、控制浏览器等操作。核心原理是将语音指令转化为网络请求，再由本地脚本解析执行。这套方案虽然基础，但可扩展性极强：你可以继续添加文件操作、媒体控制、甚至AI对话功能。记住，安全性和稳定性是实际应用中的关键，建议从简单指令开始测试，逐步完善你的“语音电脑管家”。未来，随着小米开放接口的升级，或许能实现更原生的交互，但当前的自定义方案已经能带来令人满意的体验。动手试试吧，让你的小爱同学真正成为电脑的“语音遥控器”！