아두이노 센서 데이터의 빅데이터 처리 개발 방법

이 글은 아두이노 센서 데이터의 빅데이터 처리 개발 방법을 간단히 소개한다.

시스템 아키텍처(Gabriel, 2017, hackster.io)

제플린 노트북 빅데이터 K-means 분석 결과(Gabriel, 2017, hackster.io)

온습도 분포 분석 결과(Gabriel, 2017, hackster.io)

이 사례는 아두이노 우노, ESP8266, DHT11 온습도 센서를 사용해 데이터를 취득하여, 카프카(kafka) 서버로 발행하고, Hive 데이터 저장소에 저장된 후, Zeppelin에서 스파크(Spark) 코드를 실행해 빅데이터 분석을 수행한다.

사용된 온습도 센서 회로

분석된 빅데이터 결과는 MongoDB, Cassandra DB등을 사용해 저장한다.

레퍼런스

• Gabriel, 2017, hackster.io, Temperature Streaming with Arduino + Big Data Tools
• arduino-temperature-streaming-demo
• Temperature Streaming with Arduino + Big Data Tools
• IoT with MQTT + Apache Kafka (Arduino + Raspberry Pi)
• Kafka-Python explained in 10 lines of code
• Kafka Connect Example with MQTT and MongoDB
• There and Back Again: Mqtt-Based Data Transfer With Kafka Cloud
• Ingest IoT Data with Talend Cloud Pipeline Designer
• Apache Kafka + Kafka Connect + MQTT Connector + Sensor Data
• ARTIK MQTT + Raspberry Pi Apache Kafka Cluster Bridge
• Big data practice
• Performance Analysis of IoT-Based Sensor, Big Data Processing, and Machine Learning Model for Real-Time Monitoring System in Automotive Manufacturing
• Temperature Logging Using MQTT and MongoDB
• Building MongoDB Into Your Internet of Things: A Tutorial
• Cassandra with Node.js and Arduino
• Foodie is an IoT Home automation project intended to track the usage of your food

아두이노나 NodeMCU 센서 데이터를 MongoDB에 저장하는 예시는 다음을 참고한다.

• Let us learn Nodej.s and MongoDB, 2018
• Implementing an end-to-end IoT solution in MongoDB: From sensor to cloud
• Make Temperature Logger with an Arduino, 2015 and MQTT, 2016
• Introduction to Internet of Things with Arduino, Node.js and Chart.js, 2018
• Building MongoDB into your IoT