PipelineDBでCV定義をする時に気をつけること(時間関数編)とContinuous Transform

  • このエントリーをはてなブックマークに追加

CV(Continuous View)を定義する時に、その瞬間の時間を表すものは、arrival_timestampclock_timestamp()が使えます。
now()等も時間を返しますが、この関数はCV定義に使う事はできません。

現在の日付と時刻(現在のトランザクションの開始時)
https://www.postgresql.jp/document/9.5/html/functions-datetime.html

とあります。通常のSQLではこれでも問題ないのですが、CVはStreamに対してずっとTransactionをかけている事になっているので、実質的にPipelineDBの起動時間やCVを定義した時間が返ってくる事になります。
なのでCVでは使う事ができません。

また、click_timestamp()は1つしか定義できません。複数定義すると以下のエラーが発生します。

CREATE CONTINUOUS VIEW test2 AS
SELECT
to_char(to_timestamp((item->>'eventTimestamp')::bigint + 3600*9), 'YYYY-MM-DD HH24:MI:00') as jst,
(item->>'platform')::text as platform,
(item->>'action')::text as action,
count(*) as cnt
FROM sn_action_stream
WHERE
minute(arrival_timestamp) > clock_timestamp() - interval '3 days'
AND to_timestamp((item->>'t')::bigint) > clock_timestamp() - interval '3 days'
GROUP BY
jst, platform, action;
ERROR: clock_timestamp() may only appear once in a WHERE clause

そもそも、なぜこのようにしているかと言うと、直近3日間に到着したログだけを対象にしたいが、ログは遅延して送られてくる事が多く(数日遅れて来る場合もある..)レコードの日付も3日以内である事をチェックしたい場合などです。
その場合、レコードの時間だけを対象にすれば良いのですが、それだとPipelineDBのレコードとしてのLifetimeを設定できないのです。
WITH (max_age)使えば良いのですが。

どうしても複数使いたい場合は、サブクエリで回避できます。

CREATE CONTINUOUS VIEW test2 AS
SELECT
to_char(to_timestamp((item->>'eventTimestamp')::bigint + 3600*9), 'YYYY-MM-DD HH24:MI:00') as jst,
(item->>'platform')::text as platform,
(item->>'action')::text as action,
count(*) as cnt
FROM (SELECT arrival_timestamp, item FROM sn_action_stream WHERE to_timestamp((item->>'eventTimestamp')::bigint) > clock_timestamp() - interval '3 days') _
WHERE
minute(arrival_timestamp) > clock_timestamp() - interval '3 days'
GROUP BY
jst, platform, action;

ただし、こんな事をしなくても Continuous Transform を使うともっと良い感じにできます。
Continuous Transformとは、StreamからCVを定義し、その結果を別のStreamへ流す事ができます。つまりフィルタとしての振る舞いをします。

CREATE STREAM strm_test1 (item JSONB);
CREATE STREAM strm_test2 (item JSONB);

CREATE CONTINUOUS TRANSFORM test_etl AS
SELECT item::jsonb
FROM strm_test1
WHERE
to_timestamp((item->>'eventTimestamp')::bigint) > clock_timestamp() - interval '3 days'
THEN EXECUTE PROCEDURE pipeline_stream_insert('strm_test2')
;

このように定義して、綺麗になったtest2を参照するCVを定義します。

CREATE CONTINUOUS VIEW test2 AS
SELECT
to_char(to_timestamp((item->>'eventTimestamp')::bigint + 3600*9), 'YYYY-MM-DD HH24:MI:00') as jst,
(item->>'platform')::text as platform,
(item->>'action')::text as action,
count(*) as cnt
FROM strm_test2
WHERE
minute(arrival_timestamp) > clock_timestamp() - interval '3 days'
GROUP BY
jst, platform, action;

pipeline_stream_insertはv0.9.3で用意された関数ですが、これを使わなくても独自で定義する事ができます。
話がだんだん逸れていきますが、Continuous Transformを使えばStreamのコピーをする事もできます。
それはまた別の記事で。

デジカメを買いました

  • このエントリーをはてなブックマークに追加

EOS 80D/EF-S 18-135 IS USMレンズキットを購入しましたよ(o゜▽゜)
練習しよっと\(^O^)/

PipelineDBのDisk使用率とデータの有効期限に関するメモ

  • このエントリーをはてなブックマークに追加

バージョン毎に事情が変わっているのでメモ。

  • 0.8.0
    • Minute(arrival_timestamp) がサポートされる
    • これのおかげでmrelテーブルに細かく保存されていたものの粒度が大きくなる。
  • 0.8.1
    • WITH構文がサポートされ、max_age指定が出来るようになった。
      • arrival_timestamp > clock_timestamp() - interval '3 day'といった構文と等価
    • stream_commit_interval という設定が追加される。
      • DiskにFlushするタイミングを大きくする事でDisk肥大化を防ぐ事ができる。
  • 0.8.3
    • WITH構文にstep_factorが追加される。
    • step_factorはmax_ageの期間をどれくらいのBucketに分割するかで、minute(arrival_timestamp)の変わりに使う。
  • 0.9.2
    • minute(arrival_timestamp)構文が使えなくなった。
  • 0.9.3
    • step_factorは今まで1〜50の間で設定する必要があったが、小数点を指定できるようになった。
      • 中の人が言うには、Bucketが細かくなりすぎてSELECTが遅くなるのでオススメしないとのこと。

hexo customize その1

  • このエントリーをはてなブックマークに追加

テンプレート

https://github.com/kwhrtsk/hexo-theme-ingenuous

こちらのテンプレートをベースに、カスタムしています。

Archiveの日付部分

日付のFormatはmoment.jsを使っているみたいだけど、FormatにMMM DoDoを指定してもが表示されない。
どうやらmoment.jsのソースコードを見る限り、対応していないっぽい。

LL だと年月日が表示される。けど、年は要らないので、 M月D日と指定する事にしました。

画像の指定方法

{% asset_img cap1.png 画像のタイトル %}

RSSフィード生成

(node) v8::ObjectTemplate::Set() with non-primitive values is deprecated
(node) and will stop working in the next major release.

https://github.com/hexojs/hexo/issues/1924
https://github.com/hexojs/hexo/issues/1939#issuecomment-226368455

MacでNode6系だと発生するのかしら。
ひとまず、書いてある通りに実行したら発生しなくなりました。

直したいところ

  • タグの場所
  • 一覧画面(_partial/article.ejs)の先頭に、タグやカテゴリの内容を表示したい
  • Pocket対応
  • GA対応
  • 広告配置
  • 独自タグの追加(画像の配置とサイズ)

BLOGを引越してみました

  • このエントリーをはてなブックマークに追加

Blogを引越してみました。
前のBlogは タムタムの日記 なのですが、MovableTypeのバージョンアップがかなりキツい。
MT4からMT6は骨が折れたので、諦めました。

あと、BlogをMarkdown/Githubで管理したいなーと思い、Hexoというソフトを使ってます。

design-test

  • このエントリーをはてなブックマークに追加

本文。

"HelloWorld"
#include <iostream>
int main() {
std::cout << "Hello, World!\n";
}
fn main() {
println!("hello, world");
}

画像はセンタリングされる

Table

NORMAL LEFT CENTER RIGHT
1 2 3 4

GIST

.gist .blob-codeのbackgroundがtransparentになっているせいかしら。
ちょっとGistを貼り付けるのは諦めよう..