以前のブログで、Qlik Automateを使い、スプレッドシートが変更されたら自動でQlikのアプリが即時リロードされるといった仕組みを紹介しました。

今回は、スプレッドシートではなく、AmazonS3の任意のフォルダにあるファイルが更新されたら自動でQlikのアプリが即時リロードされるといった仕組みを目指してみようと思いました。
Amazon S3のファイル更新を伝える方法は、S3の「イベント通知 (Event Notifications)」を使い、ファイルの作成・更新イベントをAWS SNSまたはAWS SQSに送信する方法があります。
ただし、どちらもAmazon S3とは別サービスとなるため、今回は使わないこととします。
今回は、Amazon S3とQlik Automateのみで完結することを目指し、代替案として、簡易ポーリングのような形を構築しようと思います。
Qlik Automateによる簡易ポーリング
Qlik Automateの流れは下図の通りです。
Qlikアプリの最終リロード日時とAmazon S3にあるファイルの最終更新日時を取得し、ファイルの最終更新日時がアプリの最終リロード日時より後であれば、ファイルが更新されたとみなす形をとります。

まず、『Get App Information』にてリロードしたいアプリの最終リロード日時を取得します。
次に『List File』にて、フォルダにあるファイルの最終更新日時を取得します。
次に分岐を作成し、アプリの最終リロード日時がファイルの最終更新日時より大きい場合は、アプリをリロードします。
今回は、フォルダにあるファイルごとにファイルの最終更新日時を取得し、アプリの最終リロード日時との比較をループするように作成しています。『Do Reload』の後に『Stop』を置くことで、1つでも新しいファイルを見つけたら即リロードをかけて、残りのファイルは見ずに処理を終了するようにしています。

また、『List File』が返すタイムスタンプはUNIXタイムスタンプであり、『Get App Information』で出力されるQlikアプリのLastReloadTimeはISO8601形式の文字列のため、Conditionブロックの中で「Add formula」を使って形式を揃える必要があります。
QlikアプリのLastReloadTimeに「Add formula」を使い、UNIXタイムスタンプにあわせることで大小を比較しています。
最後に、『Start』ブロックにて30分ごと、1時間ごとなどにスケジュールを設定することで、簡易ポーリングの完成です。
ただし、Qlik Automateには、月間の実行回数の上限が設定されています。
仮に1時間に1回を30日間実行した場合、720回となります。この回数であれば問題ありませんが、これを15分に1回、10分に1回と間隔を少なくしていくと、月間の実行回数の上限が近くなってきます。
そこで今度は、別のワークフローツールn8nで簡易ポーリングを行い、更新時のみQlik Automateを呼ぶ構成を試してみようと思います。
n8nによる簡易ポーリング

基本的な流れはQlik Automateの場合と同じになります。n8nの場合、ワークフロー実行間で値を保持できる仕組みがあるため、Codeノートでファイルの前回ワークフロー実行時の最終変更日時と今回ワークフロー実行時の更新日時を比較するようにしています。今回は複数ファイルあることを想定し、全ファイルの中から最も新しい更新日時を探し、それが前回覚えた日時より新しければtrueとします。
下記、JavaScriptの一案です。
// n8nの永続メモリ領域を取得
const staticData = $getWorkflowStaticData('global');
// S3ノードから取得した全ファイルのリストを取得
const allItems = $input.all();
if (!allItems || allItems.length === 0) {
return [{ json: { isUpdated: false } }];
}
// フォルダ内のファイルの中で「一番新しい更新日時」を探す
let latestTimestamp = null;
let latestFileName = '';
for (const item of allItems) {
const file = item.json;
if (!latestTimestamp || new Date(file.LastModified) > new Date(latestTimestamp)) {
latestTimestamp = file.LastModified;
latestFileName = file.Key;
}
}
// 前回の最新タイムスタンプ
const previousLastModified = staticData.lastModifiedTimestamp;
let isUpdated = false;
// 初回実行、または前回の最新日時より新しいファイルが存在する場合
if (latestTimestamp) {
if (!previousLastModified || new Date(latestTimestamp) > new Date(previousLastModified)) {
isUpdated = true;
// 最新の日時を記憶
staticData.lastModifiedTimestamp = latestTimestamp;
}
}
return [
{
json: {
isUpdated: isUpdated,
latestFile: latestFileName,
lastModified: latestTimestamp,
totalFilesChecked: allItems.length
}
}
];AWS S3ノード
・Resource:File
・Operation:Get Many
・Return All:On
Ifノード
・Value1:{{ $json.isUpdated }}
・Operation:is equal to(Boolean)
・Value2:true
HTTP Request ノード
・Method:Post
・URL:Qlik Automateで発行したWebhook URL
これにて、高頻度でまわせるような簡易ポーリングが完成し、フォルダに更新されたファイルがある場合のみ、Qlik Automateに実行のリクエストが飛ぶようになりました。
Qlik Automate側にてStartブロックの後にアプリのDo Reloadブロックを配置することで、アプリが更新されるようになります。
また、最後のHTTP Requestにおいて、Qlik Automateではなく、Qlikアプリを直接つなぐことも可能です。
Qlikには「Reloads API」が用意されており、n8nのHTTP Requestから直接リロードを実行できます。この場合、Qlik Automateを介することなく、簡易ポーリングができるようになります。
さいごに
Qlik Automateやn8nを使うことで簡易的なポーリングを手軽に実行できました。
今回は試しにAmazonS3を対象に実装しましたが、APIはあるけれどWebhookには対応していないシステムや、システムの設定権限がない場合などにおいて、実用的な設計だと思います。
ツール間の連携アイデアとしてぜひ試してみてください。

