STREAM-DECK Con ESP32

Este proyecto consiste en construir un Stream Deck de bajo costo utilizando una placa ESP32-WROOM, una pantalla TFT táctil de 3.5" con controlador ILI9488, cables Dupont y un cable USB. El dispositivo permite acceder rápidamente a funciones de la computadora mediante botones táctiles personalizables: abrir aplicaciones (OBS, Discord, navegador), controlar multimedia, volumen y un agente de IA por voz. La IA interpreta la solicitud y el PC ejecuta la acción autorizada.

1. ESP32 DevKit V1 principal — 1 — Controlador
2. Pantalla TFT 3.5" ILI9488 — 1 — Interfaz visual
3. Micrófono INMP441 — 1 — Captura de voz
4. Protoboard — 1 — Montaje inicial
5. Cables hembra-hembra — 20 — Conexiones
6. Cable USB de datos — 1 — Alimentación y programación
7. Resistencia 220 Ω — 1 — Controlador LED
8. Caja impresa en 3D — 1 — Carcasa (Opcional)
9. Fuente USB estable de 5V — 1 — Alimentación

El sistema se divide en tres capas que se comunican entre sí

1. El ESP32 captura el audio del INMP441 y lo envía por Wi-Fi/USB a la PC.
2. El servidor local transcribe el audio con Whisper y consulta a Ollama.
3. Ollama interpreta la solicitud y el PC ejecuta la acción autorizada.

En esta parte se realizo el prototipado en la plataforma wokwi herramienta de simulación de componentes electrónicos donde se probaron las conexiones y el software que luego seria cargado al esp 32 una vez llegado a una plataforma funcional con la simulación se paso al ensamblaje de los componentes físicos y la puesta en marcha de las pruebas reales en hardware real

Conexiones Pantalla TFT ↔ ESP32

1. VCC — 3.3 V
2. GND — GND
3. SCK — GPIO 18
4. MOSI — GPIO 23
5. MISO — GPIO 19
6. CS — GPIO 15
7. DC — GPIO 2
8. RST — GPIO 4
9. T_CLK — GPIO 18
10. T_DIN — GPIO 23
11. T_DO — GPIO 19
12. T_CS — GPIO 27
13. T_IRQ — GPIO 34

Conexiones Micrófono INMP441 ↔ ESP32

1. VDD — 3.3 V
2. GND — GND
3. SCK — GPIO 26
4. WS — GPIO 25
5. SD — GPIO 33
6. L/R — GND

El firmware del ESP32 incluye:

1. Interfaz gráfica con 6 botones táctiles personalizables (color, icono y acción configurables).
2. Menú de ajustes para editar cada botón y guardar la configuración en NVS (memoria no volátil).
3. Calibración táctil guiada de 4 puntos, guardada en Preferences.
4. Comunicación USB serie bidireccional con la PC: el ESP32 envía comandos (OPEN_OBS, OPEN_DISCORD, PLAY_PAUSE, VOL_UP, VOL_DOWN) y recibe el volumen real (STREAMDECK:VOLUME:<n>).
5. Medidor de nivel de audio del INMP441 en la pantalla del Agente IA.
6. Protocolo serie a 115200 baudios compatible con el receptor Python.

Acciones disponibles: OBS, Discord, Agente IA, Play/Pausa, Volumen +, Volumen −.

El servidor recibe audio PCM crudo del ESP32 (16 kHz, 16 bits, mono) y:

1. Transcribe el audio con faster-whisper (modelo small, CPU, int8).
2. Consulta a Ollama (modelo qwen2.5:3b) con el texto transcrito.
3. Devuelve la pregunta y la respuesta en JSON.

Código de ejemplo/guía adjunto

1. Encender ESP32 — Inicialización correcta
2. Pulsar botón 1 — Acción Chrome
3. Pulsar botón 2 — Acción VS Code
4. Pulsar botón 3 — Acción Ollama
5. Pulsar botón 4 — Acción Audio
6. Mover potenciómetro — Lectura variable
7. Reiniciar — Interfaz vuelve a estado inicial

El proceso de Design Thinking permitió desarrollar el Stream Deck de forma ordenada y centrada en las necesidades del usuario. El resultado es un dispositivo económico, personalizable y funcional que combina hardware accesible (ESP32 + TFT + INMP441) con software local de reconocimiento de voz e inteligencia artificial (Whisper + Ollama).

Firma: Integrantes del grupo de 5to