Dockerが1.0としてリリースされました。

IT’S HERE: DOCKER 1.0
http://blog.docker.com/2014/06/its-here-docker-1-0/

これまで気になっていたけど手を出してこなかった

• Vagrant
• Docker

を触ってみたい！
参考にしたのはこちら

Windows + Vagrant + VirtualBox + Docker
http://syonx.hatenablog.com/entry/2014/02/18/010757

ちなみに仕事では、Docker や Vagrant, VirtualBox は全く触っていないんだけど、それはそれ。これはこれだ。

まず、VirtualBox や Vagrant をWindows へインストールするのには、普通にインストーラーを使用してもいいのだが、どうやらChocolatey なるものがあるらしい！
と言うことで、早速インストールだ！

> @powershell -NoProfile -ExecutionPolicy unrestricted -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%systemdrive%\chocolatey\bin

Chocolatey のインストールは、見ての通りPowershell を使用したコマンドラインによって行える。面白い形ですね。

無事にインストールが完了したら、まずはVirtualBox, Vagrant をインストールしてみる

>cinst virtualbox
>cinst vagrant

Vagrant のインストールは、実は一度タイムアウトのエラーが出て失敗したのだが、
もう一度コマンドを叩いたら無事にインストール出来た。

ここまで来て、参考HPに書いてある vagrantfile が存在せず、手順を進めることができない。
Vagrantfileを公開しておく事に関して幾つかの問題があって公開をやめてしまったようだ。

公式を見る限り、Windows環境で使うためには、Boot2Dockerを利用することを推奨している。

Installation Microsoft Windows
https://docs.docker.com/installation/windows/

Boot2Docker
https://github.com/boot2docker/boot2docker

Windows向けにはInstallerが提供されている

https://github.com/boot2docker/windows-installer/releases

これにはVirtualBoxも含まれている。ちなみに同梱されているVirtualBoxは4.3.12
さっき Chocolatey 経由で落としてきたものと同じ。

Boot2Dockerに関しては、インストーラにしたがって入れればOK。
とりあえず、Hello World してみた

docker@boot2docker:~$ docker run busybox echo hello world
Unable to find image 'busybox' locally
Pulling repository busybox
a9eb17255234: Pulling image (latest) from busybox, endpoint: https://cdn-registr
a9eb17255234: Download complete
511136ea3c5a: Download complete
42eed7f1bf2a: Download complete
120e218dd395: Download complete
hello world

うむ。
バージョンを表示する

docker@boot2docker:~$ docker version
Client version: 1.0.0
Client API version: 1.12
Go version (client): go1.2.1
Git commit (client): 63fe64c
Server version: 1.0.0
Server API version: 1.12
Go version (server): go1.2.1
Git commit (server): 63fe64c

うむ。

Docker自身がGoで書かれているのでGoのバージョンまで出ている。
一応、VirtualBoxのマネージャで見てみても動いている事が分かる

さて、よくよく考えてみると、Vagrantが放置されている。

Boot2Docker は、Docker インストール済みのイメージを使うだけ。
Vagrant は Docker がインストールされた Ubuntu をインストールするだけなので、
Ubuntu を普通に Vagrant を使ってインストールすればいいのでは？ということでやってみる。

参考：VagrantでUbuntuをインストール
http://qiita.com/awakia/items/895b3d61311b19737237

OSのイメージとしては以下のページから好きなものを選んでvagrantに食わせてあげればいい

http://www.vagrantbox.es/

Ubuntu だけでそれなりに色々とあって、何を選ぶとどうなのか？というのはさっぱりわからないが、とりあえず、最新っぽいやつを入れてみることにした

C:\Dev\docker>vagrant box add ubuntu https://cloud-images.ubuntu.com/vagrant/tru
sty/current/trusty-server-cloudimg-i386-vagrant-disk1.box
==> box: Adding box 'ubuntu' (v0) for provider:
box: Downloading: https://cloud-images.ubuntu.com/vagrant/trusty/current/tru
sty-server-cloudimg-i386-vagrant-disk1.box
box: Progress: 100% (Rate: 930k/s, Estimated time remaining: --:--:--)
==> box: Successfully added box 'ubuntu' (v0) for 'virtualbox'!

OKOK

では、Vagrant up しよか

C:\Dev\docker>vagrant up
Vagrant could not detect VirtualBox! Make sure VirtualBox is properly installed.

Vagrant uses the `VBoxManage` binary that ships with VirtualBox, and requires
this to be available on the PATH. If VirtualBox is installed, please find the
`VBoxManage` binary and add it to the PATH environmental variable.

なぬ。

パスが通っていないか？

インストール時にPath変数の値が省略形で書き込まれているので、これを修正して実行するとちゃんと動いた

うん、VirtualBox上でも動いているな。名前はちょっとあれだけど…

あ、Ubuntu 上での Docker 試してなかった。
まぁ、今日はこの辺りまでとしよう。

何れにしても、本題は Docker へのアプリのデプロイ周りになってくるので、この辺りはもう少しいじってみてというところだろうか。
Chocolatey の考え方ややり方と言うのは、それほど複雑ではないのでなんか参考に出来そうな気がする。

インストールやデプロイ周りはどうしても面白くないトラブルが無くならないので
簡単に出来る部分は簡単にする手法を見習って取り入れて行きたいところだ。

実践 Vagrant

posted with amazlet at 14.06.10

Mitchell Hashimoto
オライリージャパン
売り上げランキング: 42,962

Amazon.co.jpで詳細を見る

Docker入門 Immutable Infrastructureを実現する

posted with amazlet at 14.06.10

技術評論社 (2014-04-25)
売り上げランキング: 336

Amazon.co.jpで詳細を見る

きっかけはすっかり忘れてしまったけど、少し go を勉強している。

特別、go を使って何かをしたいと言うよりは、どんなものだろうか？という好奇心が理由と言っても差し支えない状態。
さしあたり、チュートリアル的なものが用意されているのでそちらをチマチマと動かしている感じだ。

An Introduction to Programming in Go.
http://www.golang-book.com/

ちょっと、お？と思ったのはCのようにポインタという概念が存在している事だ。
最近私が興味でいじる言語はGCが実装されているものが多かったりして、ちょっと懐かしい感じ。
いや、仕事ではC++とかもいじるのでそういう意味では懐かしい訳ではないんだけど、
うん。懐かしく感じたんですよ。

まだ全部は終えてはいないんだけど、何となくは理解出来たと思うから、
どこかのタイミングで簡単なツールを作ってみようかなと考えている。

スクリプト言語は確かに簡易で、変化にもの凄く柔軟に対応出来ると思う。
ただ、動かす環境は構築する必要があって、go のように build して exe にする事が出来れば
何も考えずに持って行く事が出来る（んじゃないかな？）

まぁ、Windows環境で行うならC#なりで書けばいいじゃないかと言う話はもちろんあって、
それはそれでいいとは思うんだ。

まぁ、でも、色々いじってみた方が楽しいじゃん？

理由なんてそれで十分だろうと正直思ったりもする。
あくまで個人用のツールであればだけどね。

少し前にエントリーした件ですが、解決というか結果からすると回避する事が出来ました。

まず、ログを調べようと考え、config/logging.yml上でログをデバッグ出力に変更。

#es.logger.level: INFO
es.logger.level: DEBUG

実際に取込んでみたところ、出力されるログには

[2014-04-25 09:58:00,343][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [225] success [100 items] [20ms]
[2014-04-25 09:58:00,358][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [226] success [100 items] [15ms]
[2014-04-25 09:58:00,362][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] new bulk [227] of [100 items], 1 outstanding bulk requests
[2014-04-25 09:58:00,373][DEBUG][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverSource] merged 22709 rows
[2014-04-25 09:58:00,378][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [227] success [100 items] [16ms]
[2014-04-25 09:58:00,382][DEBUG][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverFlow] … fetched, flushing

見たいに書かれて、22709件実施したと出る。
ただし、実際にElasticsearch側へ登録されたデータ件数はもっと少ない状態でした。

river側は処理したが、データ不正かなにかによってElasticsearch側ではじかれたのか？
それともまさかUpdateされた？と思って地道に失敗したレコードの一部を特定。
単独でjdbc-riverを実施してみると・・・

問題なく登録される。

以前話に聞いた、大量件数を実施した時に問題が起こるって奴なのか？と再び考え、
たかだか２万件程度で問題が無いと思いつつも/config/elasticsearch.ymlに下記の設定を追加
ちなみに、参考にさせていただいたのはこちら

threadpool.index.queue_size: -1
threadpool.bulk.queue_size: -1

参考サイトには、キューが足りなくなったときと書いてあった。デフォルトでは30。
ログを見る限り、多分「outstanding」で示された数がそれに当たるんだろうけど、
それらは30に達しているようには見えない。
最高でも17〜18程度に見える。
そう考えると、これの影響は内容に思えるのだが、なぜかこれを設定する事で件数はあった。

ちょうど、jdbc-riverを見てたら話題になっていた

It is an issue with BulkProcessor class of ES. I patched the class and will release a fixed version of JDBC river soon.
https://github.com/jprante/elasticsearch-river-jdbc/issues/228

こちらはriver側のパラメータ指定で回避されたと報告されている。
受け渡す側のしきい値か、受け取る側のしきい値かの違いだとは思う。

どのしきい値に達したのかは、数からしてちょっと納得いかないものがあるがログくらいには出して欲しいものだ。
さしあたってなんとかなったけど、この辺りはもう少しなんとかしたいところだと思うので
今度ソースを当たってみよう。

高速スケーラブル検索エンジン ElasticSearch Server

posted with amazlet at 14.05.05

Rafal Kuc Marek Rogozinski
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 77,882

Amazon.co.jpで詳細を見る

既に始まってしまっていますが、GWへ突入しました。
私は、特に有休を取る訳ではなく暦通りに仕事へ行く事にしているので、
この4連休がGWのすべてと言えばすべてです。

とは言っても、我が家は嫁も私も人ごみの中に出かけるのはそれほど好きな訳でもなく、
さらに子供も小さいのでまだそれほど「〜へ行きたい！」という主張はしてこないんですよね。

あぁ、最近よくDVDレンタルで「リトルアインシュタイン」借りてくるんですが、
ちょうど借りてきている話が舞台がロシアで、

「シベリアいきたいー！」

って叫んでいる長男はいました。
今度、シベリア超特急でも借りてくればいいんですかね、きっと。

どこかへ家族で出かけると言うのもいいのですが、もう少しnodeやElasticsearch周りの知識をつけたいところ。
怠惰な私はすぐにゲームの誘惑へ負けてしまうのですが、どっかで見切りを付けなければ行けません。

そういう意味でも、ちょっとしっかりと考える必要がありますね。

ふーむ

シベリアかー

リトル・アインシュタイン/ひのとりを たすけよう [DVD]

posted with amazlet at 14.05.03

ウォルトディズニースタジオホームエンターテイメント (2008-05-21)
売り上げランキング: 33,615

Amazon.co.jpで詳細を見る

前々から、iOSやAndroidで業務アプリを作った場合、どういう配布方法になるんだろうなぁ〜と疑問には思っていたんだけど、機会あって調べてみたのでメモ的に残しておく。
ちなみに調べたのはiOSだけで、Androidに関してはまだ調べてないのでそれはまた別の機会にでも。

Enterprise Program

AppStoreに公開するために加入するプログラムとして 「Developer Program」 があるのは知っていたけど、社内アプリケーション開発用に別途、「Developer Enterprise Program」が用意されていた。

プログラム比較一覧表
https://developer.apple.com/jp/programs/start/ios/

それぞれで出来る事に関しては、上記の公式を見ていただくと分かると思うが、ざっくりというと

• AppStoreに公開するならDeveloper Programでいいけど、社内用アプリケーションはDeveloper Enterprise Programに入る必要がある
• Developer Enterprise Program は、社内配布は制限無く出来るが、逆にApp Store への公開の権限を有していない
• Developer Program で実機にセコセコと一台ずつインストールしていくという手もなくはないが、登録が面倒だし1年の有効期限がある

と言うところか。

ここで、結構気になるのは「社内への公開」と言うところだ。
たぶんだが、Enterprise 契約時に DUNS 番号を必要としている事から考えると、DUNS で定義された範囲内でのみの利用と言う位置づけなんだろうな。

普段業務アプリケーションを開発している私としては、お客様先へお客様のニーズにあったアプリケーションを開発して提供というシナリオが真っ先に思いついてしまう。
ところが、当然の事ながらその場合は「社内」という枠を超えてしまう。

こういうケースの場合、お客様が Developer Enterprise Program へ加入して、そのコード署名を使ってビルドしたアプリケーションを使ってもらう必要がありそうだ。

つまり、実際に開発した会社に対して、開発作業をアウトソーシングするような位置づけなのかな。

そういう立場ならばそういう立場でもいいのかもしれないけど、そうなるとお客様にMacを購入してもらって、そこでビルドとかになりかねないのではないかなぁ。
でも、そのためだけにMac購入してもらうとか、どんだけ無駄なんだ・・・。

この辺り、実は私の理解が謝っている恐れは十分あり得るんだけど、もし理解が正しかったとすればとても非効率な話に感じる。

うーん、なんか間違っているかもしれないな

先日の Elasticsearch 勉強会では、これまで知らなかった事を色々と勉強出来た。
勉強会が終わってから、勉強会中に話されていたが自分で理解出来ていなかった事をあれこれと消化しようとしています。

当初はログをぶち込んで Kibana で見る事によって何かしらの解析を行う事が出来ないか？という事を考えていたんだけど、
Elasticsearch を生かそうとした時には全文検索もちゃんと生かした方がいいと考えを改めた。
特に、基本語化等の自然言語処理系のお話はこれまで携わっていなかった分野なので素直に面白いと思ったのです。

と言う訳で、これまでは RDB に入れて Like 検索を行っていたような情報を Elasticsearch に入れて、フロントを適当に作ってしまえば誰かしら（not 自分）が幸せにならないかなぁと考えた。

Kibana を使うにあたって、既に RDB からのインポートと言う意味では JDBC river を試した事があったのでそれを利用して早速データを入れてみたんだけど・・・・

件数があわない

たかだか2万件ちょっとのデータなのだが、取込んでみると1万8千件位になってしまう。
これではちょっと困る。

先日の勉強会で、Couchbase からのデータ移行時に処理が追いつかずに Elasticsearch が取りこぼすような話があったんだけど、、、うーん。
当然の事ながら、Elasticsearch のログには特にエラーのようなものは出ていない。

元となっているRDB側のデータは少し変なデータが混ざっているかもしれなくて、それが悪さをしているのかもしれないけど、それにしてもエラーも何もでないのは困る。
（別なところにエラーが出ていてそれに気づいていない？？）

JDBC river のソースはあるので、そちらを少しいじってみようかなと考えています。
river プラグイン側の問題なのか、それとも Elasticsearch 本体側ではじかれているのか。
せめてそれくらいはどこかしらにメッセージ出してくれてもいいじゃないか

まぁ、それはそれとして、あれこれと使ってみる上でやはり調べる事が多すぎて追いついていない状態です。
と言う訳で、AmazonでKindle版をポチりました。
お世話になりまする

高速スケーラブル検索エンジン ElasticSearch Server

posted with amazlet at 14.04.23

Rafal Kuc Marek Rogozinski
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 3,439

Amazon.co.jpで詳細を見る

少し妻に頼み込んで、最近気になっている Elasticsearch 勉強会に行ってきた。
いやぁ、頼もしい妻で助かります。（大事なところ）

今回、初めてこの勉強会に参加した訳ですが、ここで使われている技術のほとんどは、
現在の私の業務上ではそれほど使う事がない技術ばかり。
そういう事もあって、とても新鮮な印象を受けました。

恐らく、全体の概要と言う形では他の参加者が記事にされると思うし、私に取っては整理が追いついていない事柄も多々あるのでここでは割愛。
ただ、今後調べてみたりした事に関しては随時記事にしていきたいと思っている。

特にこれまで Kibana に目が行き過ぎていたけど、今日の発表中にあった文字の「基本語化」という処理などは、あったらいいなと思う場面は幾つかありそう。
それらのソリューションに対して、今回の Couchbase や Hadoop , Hive などの技術を組み合わせて対応するというのは、素直に面白そうだなと思える。

なかなかこういった勉強会への参加は、子供が小さかったり家が遠かったりすると
参加が難しい現実があります。
いや、その辺りはうまい事家族内で折り合いが付けられればいいんですけどね。

とはいえ、勉強してなんぼの業界ではあるので学ぶ機会と言うのは増やしていきたいですね。

最近、先日も記事に書いた Elasticsearch、Kibana 周辺を見ています。
Kibana を知ったきっかけはただの偶然で、

Hacker News でElasticsearch 1.0 Release !　→　Kibana ってかっこいいー！

という、目的とかそういうの何も考えない世界からのスタートでした。

所謂 Big Data ブームに関しては、私の業務的にはそれほど密接に繋がっている訳ではないんだけど、
もう少しデータを有効活用する事で随分と自分の周りは変化するのではないかとよく考えていました。

よくある話と言えばよくある話なのかもしれませんが、IT に携わっている割にデータや数値ではなく経験に頼って物事が進んでしまう事が多々あります。
ソフトウェアを提供する側が、もう少しソフトウェアに頼って行きたいところ。
ソフトウェアに使われるような形にはなりたくありませんが、利用出来るものは有効活用していきたいですね。

• ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk）Add Star
• 柔軟なログ収集を可能にする「fluentd」入門
• logstash を試す

時間の長さからこれまで見ていなかったけど、Kibana に関しては公式のビデオが結構分かりやすかった。

kibana: data visualization made simple and beautiful
http://www.elasticsearch.org/webinars/kibana-made-simple/?watch=1

ただ、どちらかというと logstash 経由の Web アクセスログが対象で、公開 Web サーバーを取り扱っている訳ではない私にはどう使っていくかが完全には見えていない。
特に Kibana で面倒だと思うのは、可視化する事は出来るが、データの操作を行う事は出来ない点だ。
あらかじめ、Elasticsearch に対して分析が容易になるような形でデータを取込む必要があるので、独自のデータを対象とした場合にはその形式を決めるのに少し知恵を絞る必要がありそう。

確かにグラフへ変換が容易だったり、フィルタリングなどの仕組みは秀逸。
文字列の検索に関しても言う事は無い。
ただ、実際にそれらを分析するシーンにはいいけどよく話としてはありがちなレポートとして利用するとなると、どうしていいのかがよくわからない。

あくまで、分析や問題発見のシーンに利用する感じなのかな？
そもそも Web の世界のカックイイ人たちはレポートとかURLで示す事が出来ればOKなのかな。

それはそれで一つの形だとは思うし、そういう使い方でも十分だとは思う。
結局のところ、何を持って「可視化出来た」というかなんだろうな。

さてはて、データを有効活用したいという考え自体は間違っていないとは思うが、問題は何をどう活用すれば有効なのか？という基本的なところの考えが足りていない。

最近、こそこそとElasticsearchを触っています。

とりあえず、手始めに簡単なところからと思い、気象庁のHPから千葉の気温に関するCSVを取得。
どんな風に見えるかをやってみようかと。

過去の気象データ・ダウンロード
http://www.data.jma.go.jp/gmd/risk/obsdl/index.php

注意しなければいけないのは、CSVファイルがダウンロードされる割にそのまま使える形になっていません。
微妙に整形しないといけないし、最初の行をタイトルとすると列名が重複する事になります。
この辺りは手操作で修正する形ですね。

Elasticsearchにデータを流し込むのはcsv_riverというプラグインを使いました。

CSV River
https://github.com/xxBedy/elasticsearch-river-csv

流し込む事自体はそれほど苦労せずに出来たのですが、Kibanaにてヒストグラムを表示しようとするとエラーになりました。

実は、以前にOracleデータをJDBC Riverを使って入れた時はこんなエラーにならなかったので一瞬何が起きたのか分かりませんでした。

ただ、Kibana上からデータをJSON形式で見てみると

これ、データが文字列として登録されているように見える。
つまり、自動判別されてしまうもしくは、CSV Riverがすべて文字列として登録してしまっているので、フィールドの定義をきちんとしてあげればOKになるはず。
ただ、CSV Riverのプロパティを見てもそれっぽいところが見つからなかった

そこで、困った時の神頼みと言うことでおもむろにTwitterへ投稿したら

@krote はじめまして。内部的に文字列になってる気がします。試してないので動くかわかりませんが、 該当のフィールドの設定にこれを入れるとどうでしょう？http://t.co/Ldd6fmBcNk

— Jun Ohtani (@johtani) April 14, 2014

反応してくれる人がやはりいた。ありがたい。

私はJDBC Riverの時にうまい事判定してくれたので、データの登録側で何かするのではないかと考えていたのだが、
あらかじめElasticsearch側に定義を作っておく形を取るようだ。
もしかすると、JDBC RiverではRDBからそういう情報を抜いて、あらかじめマッピング定義をしているのかもしれない。
違うかもしれないけど。

さて、何となくの仕組みは理解したが、リファレンスをじっくりと読む事が苦手な私はとりあえず見よう見まねでやってみた。

curl -XPUT localhost:9200/temperature/chiba/_mapping -d ‘{
“chiba”:{
“properties”:{
“average”:{“type”:”double”},
“high”:{“type”:”double”},
“low”:{“type”:”double”},
“date”:{“type”:”date”, “format”:”yyyy/MM/dd”}
}
}
}’

こんな感じかな〜？と思ってやってみたが、エラー。

{“error”:”MergeMappingException[Merge failed with failures {[mapper [average] of different type, current_type [string], merged_type [double], mapper [low] of different type, current_type [string], merged_type [double]]}]”,”status”:400}

マージに失敗？
確かにリファレンスには、マッピング情報が定義されてから登録されるデータに適用されると言う話だったので、一度全部データを削除してから定義してみようとしたけど

{“error”:”IndexMissingException[[temperature] missing]”,”status”:404}

INDEXそのものを削除してしまってはいかんか。
面倒だったけど、もう一度INDEXを作り、その後INDEXを残してTYPEを削除。
再度、マッピング情報を登録してあげると・・・

ヒャッハー

なんて見た目がつまんないデータなんだー！

今日はここまで。
なんか凄い疲れた

高速スケーラブル検索エンジン ElasticSearch Server

posted with amazlet at 14.04.15

Rafal Kuc Marek Rogozinski
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 24,547

Amazon.co.jpで詳細を見る