AWS 勉強中

最近、遅まきながら仕事でAWSを触り始めました。

実際に業務で使う範囲というのは、オンプレミスをそのまま AWS に移行するだけであればそれほど考えることはないように感じているのですが、
どうせならば豊富に用意されている AWS のサービスを把握したうえで使うべきところを使うという形にしたい。

これまでなんとなく話には聞いていたけれど、いざ実際に触ってみるとやはりわからないことが多いので、Web 媒体を使いながら勉強をしています。

以下、参考にしている個所をまとめてみました。

  • AWS クラウドサービス活用資料集(http://aws.amazon.com/jp/aws-jp-introduction/
    • AWS のトレーニング資料や活用事例が PDF や Slideshare で提供されています。一通りがそろっているので、あまり把握していないところに関しては見ておきたいところです
  • CLOUD DESIGNE PATTERN (http://aws.clouddesignpattern.org/index.php)
    • サービス構成をデザインパターンとしてまとめたものです。クラウドを利用するときにはどういう構成にすると、どういう問題を解決できるのかが解説されています。あまり運用周りの構成に関してはオンプレミス含めて強いほうではないので、いろいろと勉強になりました

それ以外にも、ブログや Qiita にもいろいろと記事は見つかるので勉強の仕方に関しては参考になります。
こうやって調べられるのは便利ですね。

勉強したら勉強したで、その成果を残したくなったり、指標が欲しくなります。
プログラムに関わるものであれば、それはプロダクトを開発することが本文といえば本文なのかもしれないけれど、
実際のところ AWS の豊富なサービス群を使い切るのは難しい。

というわけで、幅広く確認出来そうな内容としては資格が思いつくわけだ。
AWS は認定プログラムを用意していて、その内容としては

がある。ネットで見ている限り、ソリューションアーキテクトを受験する人が多いように感じた。
AWS 専用にアプリケーションを作成する場合は、デベロッパー資格を取ることを考えるのがいいのかもしれないけれど、
全体構成を考えたりするのにはソリューションアーキテクトがいいのかもしれない。

ちなみに、日本での受験料は15000円。
相変わらずこの手の資格試験はいいお値段がする。

いろいろと探していたら、法人向けではあるが AWS Partner Network というものがあるようで、そこにパートナー向けのトレーニングコンテンツがあるみたい。
というわけで、 register レベルであれば無料なようなのでさくっと登録してみた。

APN ポータルにログインして、 training をクリック。トレーニング用のポータルへ移動する。

APN で用意されている認定としては、

  • ビジネスプロフェッショナル
  • テクニカルプロフェッショナル

の二つ。

それぞれ、動画による e-learning 形式の教材と試験が用意されている。
スライドと音声による解説が主で、スライドは日本語の教材を選べば日本語で書かれているが、音声に関しては英語だった。
ただ、字幕を付けることが出来るのであまりこのあたりは気にしなくてもいい。
そして幅広く学ぶことが出来る。何よりも無料であることが大きい。

というわけで、APN にアクセスできる状態であるならばこちらの教材を利用して幅広く学び、
個別の詳細を活用事例集や各サービスに用意されているドキュメントを追いかける形の勉強方法がいいように感じた。

その先に、認定試験の受験と合格があるかもしれないが、これで満足してしまうかもしれない。
とりあえず、APN の認定試験を二つとも取得してから考えることにしようかな。

ドメインを変更しました

Surface買ったんですよ、Surface。
その喜びをブログに書こうとしたら…

ブログにアクセス出来ない。

何が起きたのかさっぱりわからなかったのですが、FTPはつなぐことが出来るのでドメイン側の問題と考え、
さくらインターネットとVALUE DOMAIN にそれぞれ問い合わせを投げてみたところ

ドメインが更新されずに、別の人にとられている

という状態になっていた。
再取得するには、この現在のオーナーに交渉する必要があって、万単位のお金がかかるみたい。
そーいえば、独自ドメインを取得した際に1年分しか払っていなかったや。とはいえ、期限が切れる前に通知があってもいいものなのに!って憤慨していたら、
もはや稼働していない(当時は使えていた)livedorのメールアドレスが設定されていました。
これは、通知こないよね。完全に自分のミスです。

というわけで、「toarukaeruno.com」はさっくりとあきらめて「kaerugekogeko.com」というドメインを新たに取得しました。
確かにこれまで使ってきて、ブログ名とあっているドメインはいいんですが、そのためにお金をかけるのも気が引けます。

これは、いい教訓として受け入れることにしました。
新しいドメイン取得をするにしてもなんて名前にするのか~?とか、めんどくせ~とか、ウダウダしていたら一か月近くかかってしまった。
ものぐさなもので申し訳ありません。

というわけで、ドメイン変更をあれこれとしました。

ドメインの変更

このドメイン取得から設定周りは、頻繁に行う作業ではないので毎回調べてやる必要があるところは少し非効率ですがしょうがないです。
・VALUE DOMAINでドメイン取得
・ネームサーバーをさくらのものに設定
・さくらでドメイン名の登録と、ブログのアドレスとの関連づけ設定

WordPress設定変更

そもそも、ログイン画面もまともに開かず、直接アドレスを指定しても旧ドメインへ転送されてしまう状態でした。
というわけで、さくらの管理コンソールからphpMyAdminを起動してMySQLを直接操作することになります。
config.phpにdefineを追記するやり方もありますが、MySQLを変更するほうが後々問題にならないかな~と。

  • WP_SITEURLを新ドメインへ変更
  • WP_HOMEを新ドメインへ変更

リンクの張替

画像ファイルは基本的に同じドメインではあるけど別管理状態にしていたので、記事中のリンクを変更していく必要があります。
これには「Search Replace DB」というPHPスクリプトを利用しました。

DATABASE SEARCH AND REPLACE SCRIPT IN PHP
https://interconnectit.com/products/search-and-replace-for-wordpress-databases/

phpMyAdminからpostテーブルを頑張ってSQLで更新をすることも可能かも知れませんが、
あれこれ考えるのが面倒なのでありものを利用します。
現在、バージョン3がBetaで公開されていますが、比較的単純に利用可能なバージョン2をダウンロード。
wp_config.phpと同階層において利用します。
それほど難しい訳ではないですが、使い方に関してはこちらが参考になりました。

WordPressを設置したドメインや設置ディレクトリが変更になった場合に、たった5分で全てのURLを書き換える方法
http://inspire-tech.jp/2013/10/wordpress-search-replace-db/

というわけで、なんとか移行が終わりました。
所用時間としては数時間で済む話なのですが、随分と期間が空いてしまったなぁ。

そして、その間にSurface購入から一か月近くたってしまったなぁ・・・・。
少し今更感がありますね。

Docker 1.0 Release ! と言うことでインストールしてみた

Dockerが1.0としてリリースされました。

IT’S HERE: DOCKER 1.0
http://blog.docker.com/2014/06/its-here-docker-1-0/

これまで気になっていたけど手を出してこなかった

  • Vagrant
  • Docker

を触ってみたい!
参考にしたのはこちら

Windows + Vagrant + VirtualBox + Docker
http://syonx.hatenablog.com/entry/2014/02/18/010757

ちなみに仕事では、Docker や Vagrant, VirtualBox は全く触っていないんだけど、それはそれ。これはこれだ。

まず、VirtualBox や Vagrant をWindows へインストールするのには、普通にインストーラーを使用してもいいのだが、どうやらChocolatey なるものがあるらしい!
と言うことで、早速インストールだ!

> @powershell -NoProfile -ExecutionPolicy unrestricted -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%systemdrive%\chocolatey\bin

Chocolatey のインストールは、見ての通りPowershell を使用したコマンドラインによって行える。面白い形ですね。

無事にインストールが完了したら、まずはVirtualBox, Vagrant をインストールしてみる

>cinst virtualbox
>cinst vagrant

Vagrant のインストールは、実は一度タイムアウトのエラーが出て失敗したのだが、
もう一度コマンドを叩いたら無事にインストール出来た。

ここまで来て、参考HPに書いてある vagrantfile が存在せず、手順を進めることができない。
Vagrantfileを公開しておく事に関して幾つかの問題があって公開をやめてしまったようだ。

公式を見る限り、Windows環境で使うためには、Boot2Dockerを利用することを推奨している。

Installation Microsoft Windows
https://docs.docker.com/installation/windows/

Boot2Docker
https://github.com/boot2docker/boot2docker

Windows向けにはInstallerが提供されている

https://github.com/boot2docker/windows-installer/releases

これにはVirtualBoxも含まれている。ちなみに同梱されているVirtualBoxは4.3.12
さっき Chocolatey 経由で落としてきたものと同じ。

Boot2Dockerに関しては、インストーラにしたがって入れればOK。
とりあえず、Hello World してみた

docker@boot2docker:~$ docker run busybox echo hello world
Unable to find image 'busybox' locally
Pulling repository busybox
a9eb17255234: Pulling image (latest) from busybox, endpoint: https://cdn-registr
a9eb17255234: Download complete
511136ea3c5a: Download complete
42eed7f1bf2a: Download complete
120e218dd395: Download complete
hello world

うむ。
バージョンを表示する

docker@boot2docker:~$ docker version
Client version: 1.0.0
Client API version: 1.12
Go version (client): go1.2.1
Git commit (client): 63fe64c
Server version: 1.0.0
Server API version: 1.12
Go version (server): go1.2.1
Git commit (server): 63fe64c

うむ。

Docker自身がGoで書かれているのでGoのバージョンまで出ている。
一応、VirtualBoxのマネージャで見てみても動いている事が分かる

さて、よくよく考えてみると、Vagrantが放置されている。

Boot2Docker は、Docker インストール済みのイメージを使うだけ。
Vagrant は Docker がインストールされた Ubuntu をインストールするだけなので、
Ubuntu を普通に Vagrant を使ってインストールすればいいのでは?ということでやってみる。

参考:VagrantでUbuntuをインストール
http://qiita.com/awakia/items/895b3d61311b19737237

OSのイメージとしては以下のページから好きなものを選んでvagrantに食わせてあげればいい

http://www.vagrantbox.es/

Ubuntu だけでそれなりに色々とあって、何を選ぶとどうなのか?というのはさっぱりわからないが、とりあえず、最新っぽいやつを入れてみることにした

C:\Dev\docker>vagrant box add ubuntu https://cloud-images.ubuntu.com/vagrant/tru
sty/current/trusty-server-cloudimg-i386-vagrant-disk1.box
==> box: Adding box 'ubuntu' (v0) for provider:
box: Downloading: https://cloud-images.ubuntu.com/vagrant/trusty/current/tru
sty-server-cloudimg-i386-vagrant-disk1.box
box: Progress: 100% (Rate: 930k/s, Estimated time remaining: --:--:--)
==> box: Successfully added box 'ubuntu' (v0) for 'virtualbox'!

OKOK

では、Vagrant up しよか

C:\Dev\docker>vagrant up
Vagrant could not detect VirtualBox! Make sure VirtualBox is properly installed.

Vagrant uses the `VBoxManage` binary that ships with VirtualBox, and requires
this to be available on the PATH. If VirtualBox is installed, please find the
`VBoxManage` binary and add it to the PATH environmental variable.

なぬ。

パスが通っていないか?

インストール時にPath変数の値が省略形で書き込まれているので、これを修正して実行するとちゃんと動いた

うん、VirtualBox上でも動いているな。名前はちょっとあれだけど…

あ、Ubuntu 上での Docker 試してなかった。
まぁ、今日はこの辺りまでとしよう。

何れにしても、本題は Docker へのアプリのデプロイ周りになってくるので、この辺りはもう少しいじってみてというところだろうか。
Chocolatey の考え方ややり方と言うのは、それほど複雑ではないのでなんか参考に出来そうな気がする。

インストールやデプロイ周りはどうしても面白くないトラブルが無くならないので
簡単に出来る部分は簡単にする手法を見習って取り入れて行きたいところだ。

実践 Vagrant
実践 Vagrant

posted with amazlet at 14.06.10
Mitchell Hashimoto
オライリージャパン
売り上げランキング: 42,962
Docker入門 Immutable Infrastructureを実現する
技術評論社 (2014-04-25)
売り上げランキング: 336

expressプロジェクトの作り方がいつの間にか変わっていた

ちょこちょことnode.js周りをいじっているのですが、なにぶん行き当たりばったりなもので、
少し勉強しようと買って放置してしまっていたKindle本を読み返してます

Nodeクックブック
Nodeクックブック

posted with amazlet at 14.05.31
David Mark Clements
オライリージャパン
売り上げランキング: 356,390

これまでは大抵、expressを利用してきたので、久々にレシピにそって作ってみようと思ったのですが。。。

$ express profiler
-bash: express: command not found

あれ?以前は普通にこれでプロジェクトが作れたはずなんだけど・・・。
クックブックにもそう書いてあるし。
はて???

と、公式を見てみたら

$ npm install -g express-generator

と書いてあり、これまでの express をインストールしてexpressコマンドを叩くのではなく、
express-generator をインストールする必要があるみたい。

というか、どちらかというと公式の書き方を見る限りでは、express コマンド叩くと言うよりは
package.json に記述して npm install 叩く事を推奨しているのかな?

go

きっかけはすっかり忘れてしまったけど、少し go を勉強している。

特別、go を使って何かをしたいと言うよりは、どんなものだろうか?という好奇心が理由と言っても差し支えない状態。
さしあたり、チュートリアル的なものが用意されているのでそちらをチマチマと動かしている感じだ。

An Introduction to Programming in Go.
http://www.golang-book.com/

ちょっと、お?と思ったのはCのようにポインタという概念が存在している事だ。
最近私が興味でいじる言語はGCが実装されているものが多かったりして、ちょっと懐かしい感じ。
いや、仕事ではC++とかもいじるのでそういう意味では懐かしい訳ではないんだけど、
うん。懐かしく感じたんですよ。

まだ全部は終えてはいないんだけど、何となくは理解出来たと思うから、
どこかのタイミングで簡単なツールを作ってみようかなと考えている。

スクリプト言語は確かに簡易で、変化にもの凄く柔軟に対応出来ると思う。
ただ、動かす環境は構築する必要があって、go のように build して exe にする事が出来れば
何も考えずに持って行く事が出来る(んじゃないかな?)

まぁ、Windows環境で行うならC#なりで書けばいいじゃないかと言う話はもちろんあって、
それはそれでいいとは思うんだ。

まぁ、でも、色々いじってみた方が楽しいじゃん?

理由なんてそれで十分だろうと正直思ったりもする。
あくまで個人用のツールであればだけどね。

職業体験施設 Kandu に行ってきた

子供向けの職業体験というと、キッザニアが有名な訳だが豊洲はちょっと千葉からは遠い。
と言う訳で、幕張に新しく出来たイオン内にある、Kanduというところへ行ってみた。

Kandu
http://www.kandu.co.jp/

事前情報では、「少しちゃっちいキッザニア」的な印象で、高学年の子供やキッザニアに一度行った人には少し不向きとの事。
ただ、低学年だったり初めてとしては楽しめるらしい。

当然我が家は、5歳と3歳という年齢なので問題ないし、モノは試しというレベルなので問題ない。
なにせ、将来何になりたい?という質問にトーテムポールとか訳の分からない回答が来るレベル。
その道は険しそうだ。

今回体験した内容としては

長男

  • パイロット
  • マーシャラー
  • ペーパークラフト(お客さんとして)
  • マジシャン(お客さんとして)
  • 勇者
  • ピザ作り(別料金)

長女

  • 勇者
  • マッキー作り
  • マジシャン(お客さんとして)
  • ピザ作り(別料金)

という内容。長男は積極的にあれこれと楽しむ事が出来たようだが、
長女は家では暴れん坊のくせに外に出ると妙に動きが悪くなってしまう。
あれこれとやらせてみたいものだが、そこはまだ3歳。ほとんど拒否されてしまった。
もう少し、歳や経験を積まないと難しいのかもしれない。

ファッションモデルという職業があり、ドレスだとかを来てファッションショーに出るのだが、
これに関しては恐ろしい人気具合で、予約を取る事すら出来なかった。
今回は前から行こうと決めていた訳ではなかったので、直前に予約を取ったためにそもそも場内への入場が遅かった。
次回は早めに予約を行って今回うまく行かなかった事のリベンジをしたいものだ。

当初、将来の職業なんて考えても無いだろう年齢を連れて行く事に関しては
楽しめるかどうかが一抹の不安だったけど、少なくとも長男は楽しめた。
長女もピザ作りや、最後のほうにマッキーを自作した時には楽しんでいるように見えた。

そして、一枚の単価が高〜い写真がドンドン嫁の手に取られていく姿を見る。
うん、いい商売だなぁ

 

楽しかったー!!ってとても嬉しそうに言うものだから

「ディズニーランドとカンドゥーどっちがいい?」

って聞くと、対して考えもせずに

「ディズニーランド!!」

と帰ってきた。
夢の国はやはり大きな存在のようだ

Elasticsearchにjdbc-river経由で漏れが発生した件

少し前にエントリーした件ですが、解決というか結果からすると回避する事が出来ました。

まず、ログを調べようと考え、config/logging.yml上でログをデバッグ出力に変更。

#es.logger.level: INFO
es.logger.level: DEBUG

実際に取込んでみたところ、出力されるログには

[2014-04-25 09:58:00,343][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [225] success [100 items] [20ms]
[2014-04-25 09:58:00,358][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [226] success [100 items] [15ms]
[2014-04-25 09:58:00,362][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] new bulk [227] of [100 items], 1 outstanding bulk requests
[2014-04-25 09:58:00,373][DEBUG][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverSource] merged 22709 rows
[2014-04-25 09:58:00,378][INFO ][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth] bulk [227] success [100 items] [16ms]
[2014-04-25 09:58:00,382][DEBUG][org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverFlow] … fetched, flushing

見たいに書かれて、22709件実施したと出る。
ただし、実際にElasticsearch側へ登録されたデータ件数はもっと少ない状態でした。

river側は処理したが、データ不正かなにかによってElasticsearch側ではじかれたのか?
それともまさかUpdateされた?と思って地道に失敗したレコードの一部を特定。
単独でjdbc-riverを実施してみると・・・

問題なく登録される。

以前話に聞いた、大量件数を実施した時に問題が起こるって奴なのか?と再び考え、
たかだか2万件程度で問題が無いと思いつつも/config/elasticsearch.ymlに下記の設定を追加
ちなみに、参考にさせていただいたのはこちら

threadpool.index.queue_size: -1
threadpool.bulk.queue_size: -1

参考サイトには、キューが足りなくなったときと書いてあった。デフォルトでは30。
ログを見る限り、多分「outstanding」で示された数がそれに当たるんだろうけど、
それらは30に達しているようには見えない。
最高でも17〜18程度に見える。
そう考えると、これの影響は内容に思えるのだが、なぜかこれを設定する事で件数はあった。

ちょうど、jdbc-riverを見てたら話題になっていた

It is an issue with BulkProcessor class of ES. I patched the class and will release a fixed version of JDBC river soon.
https://github.com/jprante/elasticsearch-river-jdbc/issues/228

こちらはriver側のパラメータ指定で回避されたと報告されている。
受け渡す側のしきい値か、受け取る側のしきい値かの違いだとは思う。

どのしきい値に達したのかは、数からしてちょっと納得いかないものがあるがログくらいには出して欲しいものだ。
さしあたってなんとかなったけど、この辺りはもう少しなんとかしたいところだと思うので
今度ソースを当たってみよう。

高速スケーラブル検索エンジン ElasticSearch Server
Rafal Kuc Marek Rogozinski
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 77,882

GWに何をしよう

既に始まってしまっていますが、GWへ突入しました。
私は、特に有休を取る訳ではなく暦通りに仕事へ行く事にしているので、
この4連休がGWのすべてと言えばすべてです。

とは言っても、我が家は嫁も私も人ごみの中に出かけるのはそれほど好きな訳でもなく、
さらに子供も小さいのでまだそれほど「〜へ行きたい!」という主張はしてこないんですよね。

あぁ、最近よくDVDレンタルで「リトルアインシュタイン」借りてくるんですが、
ちょうど借りてきている話が舞台がロシアで、

「シベリアいきたいー!」

って叫んでいる長男はいました。
今度、シベリア超特急でも借りてくればいいんですかね、きっと。

どこかへ家族で出かけると言うのもいいのですが、もう少しnodeやElasticsearch周りの知識をつけたいところ。
怠惰な私はすぐにゲームの誘惑へ負けてしまうのですが、どっかで見切りを付けなければ行けません。

そういう意味でも、ちょっとしっかりと考える必要がありますね。

ふーむ

 

シベリアかー

 

リトル・アインシュタイン/ひのとりを たすけよう [DVD]
ウォルトディズニースタジオホームエンターテイメント (2008-05-21)
売り上げランキング: 33,615

IE脆弱性騒動

休みに入ってちょっとニュース関係をチェックしていなかったと言うのもあるのですが、
完全に見落としてしまっていました。
会社に行ってから知るというていたらく。ちょっといかん。

Internet Explorer の脆弱性により、リモートでコードが実行される – Security TechCenter
https://technet.microsoft.com/ja-jp/library/security/2963983

まだアップデートが公開されていないので、暫くは提示された回避策を取る形になるのでしょう。
回避策の一番上に上げられているEMETというツールはこれまで知りませんでした。

結構、こういうMSが出しているツールって色々あって便利だとは思うのですが、
色々と出しすぎていて正直よく分からない状態になってしまっているのも事実に感じます

GWのような連休の場合、連休明けにセキュリティ関係のトラブルがあるのはよくある話ですが、
まさかこのタイミングでこういう話が持ち上がるとは、正直意外でした。

何れにしても、目と耳をちゃんとそばだてていないとダメだなぁといういい教訓になりました。
やれやれだ。

iOS アプリの社内配布メモ

前々から、iOSやAndroidで業務アプリを作った場合、どういう配布方法になるんだろうなぁ〜と疑問には思っていたんだけど、機会あって調べてみたのでメモ的に残しておく。
ちなみに調べたのはiOSだけで、Androidに関してはまだ調べてないのでそれはまた別の機会にでも。

Enterprise Program

AppStoreに公開するために加入するプログラムとして 「Developer Program」 があるのは知っていたけど、社内アプリケーション開発用に別途、「Developer Enterprise Program」が用意されていた。

プログラム比較一覧表
https://developer.apple.com/jp/programs/start/ios/

それぞれで出来る事に関しては、上記の公式を見ていただくと分かると思うが、ざっくりというと

  • AppStoreに公開するならDeveloper Programでいいけど、社内用アプリケーションはDeveloper Enterprise Programに入る必要がある
  • Developer Enterprise Program は、社内配布は制限無く出来るが、逆にApp Store への公開の権限を有していない
  • Developer Program で実機にセコセコと一台ずつインストールしていくという手もなくはないが、登録が面倒だし1年の有効期限がある

と言うところか。

ここで、結構気になるのは「社内への公開」と言うところだ。
たぶんだが、Enterprise 契約時に DUNS 番号を必要としている事から考えると、DUNS で定義された範囲内でのみの利用と言う位置づけなんだろうな。

普段業務アプリケーションを開発している私としては、お客様先へお客様のニーズにあったアプリケーションを開発して提供というシナリオが真っ先に思いついてしまう。
ところが、当然の事ながらその場合は「社内」という枠を超えてしまう。

こういうケースの場合、お客様が Developer Enterprise Program へ加入して、そのコード署名を使ってビルドしたアプリケーションを使ってもらう必要がありそうだ。

つまり、実際に開発した会社に対して、開発作業をアウトソーシングするような位置づけなのかな。

そういう立場ならばそういう立場でもいいのかもしれないけど、そうなるとお客様にMacを購入してもらって、そこでビルドとかになりかねないのではないかなぁ。
でも、そのためだけにMac購入してもらうとか、どんだけ無駄なんだ・・・。

この辺り、実は私の理解が謝っている恐れは十分あり得るんだけど、もし理解が正しかったとすればとても非効率な話に感じる。

うーん、なんか間違っているかもしれないな