Qlik Automate・n8nを使いフォルダ/データベースを定期的に監視する

以前のブログで、Qlik Automateを使い、スプレッドシートが変更されたら自動でQlikのアプリが即時リロードされるといった仕組みを紹介しました。

今回は、スプレッドシートではなく、AmazonS3の任意のフォルダにあるファイルが更新されたら自動でQlikのアプリが即時リロードされるといった仕組みを目指してみようと思いました。

Amazon S3のファイル更新を伝える方法は、S3の「イベント通知 (Event Notifications)」を使い、ファイルの作成・更新イベントをAWS SNSまたはAWS SQSに送信する方法があります。

ただし、どちらもAmazon S3とは別サービスとなるため、今回は使わないこととします。
今回は、Amazon S3とQlik Automateのみで完結することを目指し、代替案として、簡易ポーリングのような形を構築しようと思います。

目次

Qlik Automateによる簡易ポーリング

Qlik Automateの流れは下図の通りです。
Qlikアプリの最終リロード日時とAmazon S3にあるファイルの最終更新日時を取得し、ファイルの最終更新日時がアプリの最終リロード日時より後であれば、ファイルが更新されたとみなす形をとります。

まず、『Get App Information』にてリロードしたいアプリの最終リロード日時を取得します。
次に『List File』にて、フォルダにあるファイルの最終更新日時を取得します。
次に分岐を作成し、アプリの最終リロード日時がファイルの最終更新日時より大きい場合は、アプリをリロードします。

今回は、フォルダにあるファイルごとにファイルの最終更新日時を取得し、アプリの最終リロード日時との比較をループするように作成しています。『Do Reload』の後に『Stop』を置くことで、1つでも新しいファイルを見つけたら即リロードをかけて、残りのファイルは見ずに処理を終了するようにしています。

また、『List File』が返すタイムスタンプはUNIXタイムスタンプであり、『Get App Information』で出力されるQlikアプリのLastReloadTimeはISO8601形式の文字列のため、Conditionブロックの中で「Add formula」を使って形式を揃える必要があります。
QlikアプリのLastReloadTimeに「Add formula」を使い、UNIXタイムスタンプにあわせることで大小を比較しています。

最後に、『Start』ブロックにて30分ごと、1時間ごとなどにスケジュールを設定することで、簡易ポーリングの完成です。

ただし、Qlik Automateには、月間の実行回数の上限が設定されています。
仮に1時間に1回を30日間実行した場合、720回となります。この回数であれば問題ありませんが、これを15分に1回、10分に1回と間隔を少なくしていくと、月間の実行回数の上限が近くなってきます。

そこで今度は、別のワークフローツールn8nで簡易ポーリングを行い、更新時のみQlik Automateを呼ぶ構成を試してみようと思います。

n8nによる簡易ポーリング

基本的な流れはQlik Automateの場合と同じになります。n8nの場合、ワークフロー実行間で値を保持できる仕組みがあるため、Codeノートでファイルの前回ワークフロー実行時の最終変更日時と今回ワークフロー実行時の更新日時を比較するようにしています。今回は複数ファイルあることを想定し、全ファイルの中から最も新しい更新日時を探し、それが前回覚えた日時より新しければtrueとします。

下記、JavaScriptの一案です。

// n8nの永続メモリ領域を取得
const staticData = $getWorkflowStaticData('global');

// S3ノードから取得した全ファイルのリストを取得
const allItems = $input.all();

if (!allItems || allItems.length === 0) {
  return [{ json: { isUpdated: false } }];
}

// フォルダ内のファイルの中で「一番新しい更新日時」を探す
let latestTimestamp = null;
let latestFileName = '';

for (const item of allItems) {
  const file = item.json;
  if (!latestTimestamp || new Date(file.LastModified) > new Date(latestTimestamp)) {
    latestTimestamp = file.LastModified;
    latestFileName = file.Key;
  }
}

// 前回の最新タイムスタンプ
const previousLastModified = staticData.lastModifiedTimestamp;
let isUpdated = false;

// 初回実行、または前回の最新日時より新しいファイルが存在する場合
if (latestTimestamp) {
  if (!previousLastModified || new Date(latestTimestamp) > new Date(previousLastModified)) {
    isUpdated = true;
    // 最新の日時を記憶
    staticData.lastModifiedTimestamp = latestTimestamp;
  }
}

return [
  {
    json: {
      isUpdated: isUpdated,
      latestFile: latestFileName,
      lastModified: latestTimestamp,
      totalFilesChecked: allItems.length
    }
  }
];

AWS S3ノード
・Resource:File
・Operation:Get Many
・Return All:On

Ifノード
・Value1:{{ $json.isUpdated }}
・Operation:is equal to(Boolean)
・Value2:true

HTTP Request ノード
・Method:Post
・URL:Qlik Automateで発行したWebhook URL

これにて、高頻度でまわせるような簡易ポーリングが完成し、フォルダに更新されたファイルがある場合のみ、Qlik Automateに実行のリクエストが飛ぶようになりました。
Qlik Automate側にてStartブロックの後にアプリのDo Reloadブロックを配置することで、アプリが更新されるようになります。

また、最後のHTTP Requestにおいて、Qlik Automateではなく、Qlikアプリを直接つなぐことも可能です。
Qlikには「Reloads API」が用意されており、n8nのHTTP Requestから直接リロードを実行できます。この場合、Qlik Automateを介することなく、簡易ポーリングができるようになります。

さいごに

Qlik Automateやn8nを使うことで簡易的なポーリングを手軽に実行できました。
今回は試しにAmazonS3を対象に実装しましたが、APIはあるけれどWebhookには対応していないシステムや、システムの設定権限がない場合などにおいて、実用的な設計だと思います。
ツール間の連携アイデアとしてぜひ試してみてください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次