はじめに
Amazon Kinesisって、サービスがいくつかあっていまいち何をやっているか理解しずらい部分がありますよね？
あるある〜！
茶番につきあってもらいありがとうございます。
はい。そうです。私がそうでした笑
なので、本記事では苦手なAmazon Kinesisを理解するために、それぞれのサービスを整理してみました。
ぜひ、みなさんも一緒にAmazon Kinesisを理解しましょう！
Amazon Kinesisってなに？
ざっくり解説すると…
・リアルタイムに流れるデータ処理を実行するサービス
・主に4つのサービスから構成される
リアルタイムに流れるデータには、ログデータやIOTのデータ、金融市場のデータなど、様々なデータがあります。
IoT（Internet of Things：モノのインターネット）時代となり、昨今、商品・機械・設備等の世の中に存在する様々な”モノ”がつながるようになってきました。
インターネットにつながる”モノ”からは次々とデータが発信されます。
これこそが、リアルタイムなデータとなります。
リアルタイムでデータを収集し、その場で変換・分析・配信するデータ処理手法のことをストリーム処理と言います。
Amazon Kinesisには、機能が異なる4つの種類があります。1つずつどのような機能があるか見ていきましょう！
- Amazon Kinesis Data Firehose
- Amazon Kinesis Data Analytics
- Amazon Kinesis Video Streams
Amazon Kinesis Data Streamsとは？
Amazon Kinesis Data Streamsは、ストリーミングデータをリアルタイムで収集できるサービスです。
収集されたデータは、他のAWSサービスに配信することが可能です。
流れてくる大量のデータを効率的に処理するために、シャードと呼ばれる単位でデータを分割して、並列処理することが可能です。
また複数のシャードを束ねたものをストリームと呼びます。
- ・集められたデータは、シャードにデフォルトで24時間保存される
（設定によっては、最大7日まで保存が可能） - ・シャードは後から変更することも可能で、シャードの数を変更することをリシャーディングと言う
Amazon Kinesis Data Firehoseとは？
Amazon Kinesis Data Firehoseとは、ストリーミングデータをAWSの各サービスに簡単に配信できるサービスです。
複雑な設定をすることなく、データ送信元から送信先へのデータの転送を実現することができます。
Amazon Kinesis Data StreamsとAmazon Kinesis Data Firehoseは、データを集めて各サービスに連携するという点では同じですが、以下のような違いがあります。
| Amazon Kinesis Data Streams | Amazon Kinesis Data Firehose | |
|---|---|---|
| データ保存 | 一時保存される | 保存されない |
| データ転送 | リアルタイム | ほぼリアルタイム （60秒以内のレイテンシー） |
よりリアルタイムで複雑なストリーム処理を行いたいときは、Amazon Kinesis Data Streamsを使用します。
Amazon KinesisData Analytics
Amazon KinesisData Analyticsは、ストリーミングデータに対してSQLクエリを実行し、リアルタイム分析を行うサービスです。
例えば、Amazon Kinesis Data Streamsから収集したデータをもらい、リアルタイムで分析が可能です。
Amazon Kinesis Video Streamsとは？
Amazon Kinesis Video Streamsとは、、ストリーミング動画をリアルタイム分析機能へ配信することができるサービスです。
Kinesis Video Streams に送信した映像は、分析や再生に使用することができます。
まとめ
本記事では、Amazon Kinesisの4つのサービスについて解説しました。
まとめると、以下のようになります。
・Amazon Kinesis Data Streams :
ストリーミングデータをリアルタイムで収集して、各AWSに配信できるサービス
・Amazon Kinesis Data Firehose :
ストリーミングデータをほぼリアルタイムでAWSの各サービスに配信できるサービス
・Amazon KinesisData Analyticsは :
SQLクエリを実行し、リアルタイム分析を行うサービス
・Amazon Kinesis Video Streams :
ストリーミング動画をリアルタイム分析機能へ配信することができるサービス
IOT時代である現代において、リアルタイムでストリーミングデータの処理・分析を行えるフルマネージド型サービスのAmazon Kinesisは、大変重宝されそうなサービスですね。
今後はもう少し具体的な部分まで学習して、実践で使いこなせるようにしていきたいです。
本日の記事はここまでになります。最後までご覧いただき、ありがとうございました。
