2013年08月27日

[Web] AWSを使ってみる CRDSでの文字化けに対処してみた

PHPからRDSに接続してSQLを発行できたことだし、あとはアプリづくりに専念できる!
と思いきや、日本語をテーブルに挿入してみたら「???」と表示されてしまいました orz

これが、これまでで一番ハマった問題でした。

「UTF-8で日本語を表示したい」
これが今回の目的です。

まずは、「SET NAMES」というコマンドが有効っぽいと出てきたけど問題があるっぽい。

【参考】mysql + PHP の SET NAMES問題

ならば、「PDO::MYSQL_ATTR_INIT_COMMAND => "SET CHARACTER SET `utf8`"」という命令がよさげ。
でもダメでした。

【参考】PHP, PDOでMySQL接続時の文字コード設定

次に、「charset=utf8」を設定すればよいという情報を発見。
指定しても変わらず……。

【参考】
PDO_MYSQL DSN
PHP 5.3.6以降(PDO)でMYSQLの文字化け対策(charsetを指定する)

EC2の /etc/my.cnf に設定を追記(↓)すればいけるという記事を見つけるもダメでした。
※現在もこの記述は残していますが
=======================================
[mysqld]
default-character-set = utf8

[mysqld_safe]
character-set-server = utf8

[mysql]
default-character-set = utf8

[mysqldump]
default-character-set = utf8
=======================================

EC2の設定を確認してみようという記事を発見。

mysql> show variables like 'character_set%';
+--------------------------+-------------------------------------------+
| Variable_name | Value |
+--------------------------+-------------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /rdsdbbin/mysql-5.6.12.R1/share/charsets/ |
+--------------------------+-------------------------------------------+

UTF8以外の文字コードに設定されていることが確認できました。
でもこの参考サイトでの対処方法は「SET NAMES」という非推奨の方法。

【参考】PDOでmysqlに接続する時の文字コード
【参考】MySQLに日本語でINSERTできない場合

解決方法を探していたら、「RDSのパラメーターグループを変更」する必要があるらしい。

【参考】Amazon RDSのパラメータグループを変更する方法

パラメーターグループを変更するには、「Amazon RDS Command Line Toolkit」を使う必要があるらしい。
しかもJAVA環境が入っている必要もあるらしい。

くじけそうになりました orz

ということで、参考サイトを見ながらMacに Amazon RDS Command Line Toolkit をインストール。
幸い、JAVA環境はインストール済みでした。

環境設定(~/.bashrc )に以下を追加。
=======================================
# JAVAの環境設定
JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home
export JAVA_HOME
PATH=$PATH:$JAVA_HOME/bin

# Amaozn Web Service Setting
export AWS_CREDENTIAL_FILE=/Users/[Macのユーザー名]/aws/credential.txt ←具体的には以下のとおり

# Amazon RDS CLT Setting
export AWS_RDS_HOME=/Users/[Macのユーザー名]/aws/RDSCli-1.14.001 ← ToolKitを解凍した場所
PATH=$PATH:$AWS_RDS_HOME/bin
=======================================

「credential.txt」は、参考サイトにあった「アクセス証明書」にあった、
アクセスキーIDとシークレットキーの2つを記載して保存しました↓

=======================================
# Enter the AWS Keys without the < or >
# These can be found at http://aws.amazon.com under Account->Security Credentials
AWSAccessKeyId=[アクセスキーID]
AWSSecretKey=[シークレットキー]
※権限は 600
=======================================

ToolKitのインストールが出来たら、
次はAWSの管理画面に入り、RDSの設定変更のところで「Parameter Group」を追加します。

RDSの画面の左メニュに「Parameter Groups」があるので、それをクリックすると
現在のParameter Groupが表示されます。
デフォルトで1つ指定されているはずです。

スクリーンショット 2013-08-27 0.34.07.png

これはToolKitでは変更できないようで、
新しくParameter Groupを作りUTF8設定をして、それをRDSに適用する
方法で解決しました。

Parameter Groupを新規に作る方法は、上記のAWS管理画面の指示どおりにすれば簡単にできました。

■注意点
作成ウィザードを進めていくと「DB Parameter Group Family:」を選択する画面になります。
そのときは、使用しているRDSのインスタンスと同じMySQLのバージョンを指定してください
そうすることで、RDSのインスタンス > 右クリック > Modify > で表示される管理画面にて
「Parameter Group:」の選択肢に上記で作成した Parameter Group が選択できるようになります。
※異なったバージョンのMySQLを指定すると、選択肢に表示されません

これで準備が整いました(長い。。。


いよいよ、Amazon RDS Command Line Toolkit を使ってParameter Groupを変更します。
Macでコンソールを立ち上げて、ToolKitを実行しました。

実際に使ったコマンド↓
=======================================
rds-modify-db-parameter-group [ParameterGroup名] \
--aws-credential-file $AWS_CREDENTIAL_FILE \     ←~/.bashrc で設定した「AWS_CREDENTIAL_FILE」
--region ap-northeast-1 \               ←AZのインスタンスに合わせる
--parameters "name=character_set_client, value=utf8, method=immediate"

rds-modify-db-parameter-group [ParameterGroup名] \
--aws-credential-file $AWS_CREDENTIAL_FILE \
--region ap-northeast-1 \
--parameters "name=character_set_connection, value=utf8, method=immediate"

rds-modify-db-parameter-group [ParameterGroup名] \
--aws-credential-file $AWS_CREDENTIAL_FILE \
--region ap-northeast-1 \
--parameters "name=character_set_database, value=utf8, method=immediate"

rds-modify-db-parameter-group [ParameterGroup名] \
--aws-credential-file $AWS_CREDENTIAL_FILE \
--region ap-northeast-1 \
--parameters "name=character_set_results, value=utf8, method=immediate"

rds-modify-db-parameter-group [ParameterGroup名] \
--aws-credential-file $AWS_CREDENTIAL_FILE \
--region ap-northeast-1 \
--parameters "name=character_set_server, value=utf8, method=immediate"
=======================================

この後、RDSの該当するインスタンスを 右クリック > Reboot して再起動します。
Parameter Groupを確認して、以下のようになっていれば成功です!

振り返ると、MySQLのコマンドの先頭に「--default-character-set=utf8」を付けてます。
これも文字化け対策でした↓

$ mysql --default-character-set=utf8 -h [Endpoint] -P 3306 -u [RDSのインスタンスのユーザー名] -p

mysql> show variables like 'character_set%';
+--------------------------+-------------------------------------------+
| Variable_name | Value |
+--------------------------+-------------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /rdsdbbin/mysql-5.6.12.R1/share/charsets/ |
+--------------------------+-------------------------------------------+

【参考】
AWSのRDSの文字化けに悩んだ時にパラメーター設定の為に見たサイトまとめ
AWS RDS パラメータグループでMySQLの文字コードをUTF-8に設定

これで、文字化けが解消しました!
おつかれさまでしたー。
posted by be-style at 01:09| Comment(0) | Web

2013年08月26日

[Web] AWSを使ってみる BEC2からRDSにPDOを使ってアクセスしてみた

EC2からPHPを使って外部APIを使えたので、次は返ってきた値をDBに保存したいところです。
AWSでは、DBだけで独立したRDSというサービスがあるのでそれを利用しています。

今回のやることです。

@PDO(PHP Data Object)を知る
APDOを使ってRDS(MySQL)にアクセス
BPDOを使ってクエリを発行
CSQLにパラメーターを渡す


■前提条件
[Web] AWSを使ってみる @EC2とRDSの立ち上げを済ませて、
コマンドラインでRDS(MySQL)に接続できる状態になっていること


@PDO(PHP Data Object)を知る
PHP5から、MySQLを使うときに便利なクラスが登場しました。
「PDO」でググると詳しい説明が出てくるのでそちらを参照ください。

【参考】はじめてのPDO


APDOを使ってRDS(MySQL)にアクセス
BPDOを使ってクエリを発行

簡単な例を挙げます。
接続に必要な情報を揃えてから、new PDO() でMySQLにアクセスします。
それから query() を使ってSQLを発行します。
===========================================
<?php
try {
// AWS管理画面ではMySQL5.6.12なので、charset=utf8 を設定する
$dbs = "mysql:host=[RDSのインスタンスのEndpoint];dbname=[DB名];charset=utf8";
$user = "[RDSのインスタンスのユーザー名]";
$pass = "[RDSのインスタンスのパスワード]";
$sql = "INSERT INTO [テーブル名] (columnNum, columnStr) VALUES(10, 'テスト');";
// PDOを使ってRDSに接続
$pdo = new PDO($dbs, $user, $pass);
// SQLを発行
$pdo->query($sql);
// 切断
$pdo = null;
} catch (PDOException $e) {
die();
}
?>
===========================================
これだと固定のSQL文です。
たとえば「WHERE句」を柔軟に使えるようにするために条件にパラメーターを渡したいときは、
「query()」ではなくて「execute()」を使います。

ここで重要なのが、
EC2のデフォルトの設定では、PDOが使える設定になっていない
という点でした。

対処方法は、php.ini にPDOを有効にする設定を書き込むことでした。

まずは、PDOがインストールされているかチェック。
/usr/lib64/php/modules にpdo.so、pdo_mysql.soがあればOK。なければインストール↓
$ sudo yum -y install php-pdo

次にPDO用の設定を追記↓
$ sudo vim /etc/php.ini
;;;;
; Note: packaged extension modules are now loaded via the .ini files  ←こんな行があったのでその下に追記
; found in the directory /etc/php.d; these are loaded by default.
;;;;
extension=pdo.so
extension=pdo_mysql.so


【参考】
[AWS][PDO]AWSにMySQL用のPDOをインストールする


CSQLにパラメーターを渡す
SELECT文を例に挙げます。
先ほどの「query()」が「execute()」に変わり、「bindValue()」を使ってパラメーターを渡しています。
===========================================
<?php
try {
// AWS管理画面ではMySQL5.6.12なので、charset=utf8 を設定する
$dbs = "mysql:host=[RDSのインスタンスのEndpoint];dbname=[DB名];charset=utf8";
$user = "[RDSのインスタンスのユーザー名]";
$pass = "[RDSのインスタンスのパスワード]";
// :num のところがパラメーター
$sql = "SELECT * FROM [テーブル名] WHERE columnNum = :num;";
// PDOを使ってRDSに接続
$pdo = new PDO($dbs, $user, $pass);
// 先ほどのSQLを読み込んでおく
$stmt = $pdo->prepare($sql);
// SQLにパラメーターを渡す(整数なので、PDO::PARAM_INT)
$stmt->bindValue(':num', 10, PDO::PARAM_INT);
// SQLを発行
$pdo->execute($sql);
// SQLの結果を受け取る
$result = $stmt->fetchAll(PDO::FETCH_ASSOC);
// チェック
var_dump($result);
// 切断
$pdo = null;
} catch (PDOException $e) {
die();
}
?>
===========================================
これである程度柔軟なSQLを扱うことができるようになりました。

【参考】
queryメソッド
PDOの利用
PDOStatement::bindValue


よかったね。
めでたし、めでたし。

とはなりませんでした!
一番ハマった、RDSの文字化け問題が次に待ち構えるのでした。。。
posted by be-style at 21:30| Comment(0) | Web

[Web] AWSを使ってみる APHPでPOSTして外部APIを使ってみた

EC2のインスタンスを立ち上げて、無事Webサイト(index.html)が表示されました。
次は、PHPを使ってみます。

ここでの流れは、この通り。

@PHPから外部APIを呼ぶ
A返ってきた値(JSON)をパースする
B欲しいデータを表示する



@PHPから外部APIを呼ぶ
細かい説明は抜きにして、コードです。
※[]で囲った部分は適宜書き換える必要があります
===========================================
<?php

// 外部APIのURLを指定
$url = '[APIのURL]';

// おまじない
$data = array(
'pattern' => 'htmlspe',
'show' => 'quickref',
);

// おまじない
$headers = array(
'Content-Type: application/x-www-form-urlencoded',
'Content-Length: '.strlen(http_build_query($data))
);

// 外部APIにはPOSTするので!
$options = array('http' => array(
'method' => 'POST',
'content' => http_build_query($data),
'header' => implode("\r\n", $headers),
));

// $json に外部APIの結果が保存される
$json = file_get_contents($url, false, stream_context_create($options));
===========================================
ここで、
print $json;
とすると、返ってきた中身が確認できます。

【参考】
とても簡単にPHPからPOSTリクエストを送信する方法【PHP】


A返ってきた値(JSON)をパースする
B欲しいデータを表示する

外部APIの返り値がJSONの場合、欲しい値を取得するにはパースする必要があります。
===========================================
// @の続き
// JSONをデコードして配列に入れる
$obj = json_decode($json, true);

// foreachで辿りながら欲しい情報を取得する
// JSONの階層が4つまである場合
foreach ($obj as $key => $value) {
// 第1階層
echo "$key -> $value";
foreach($value as $key => $value) {
// 第2階層
echo "$key -> $value";
foreach($value as $key => $value) {
// 第3階層
echo "$key -> $value";
foreach($value as $key => $value) {
// 第4階層
echo "$key -> $value";
}
}
}
}

?>
===========================================
PHPには json_decode() といった便利な関数があるのですね。
デコードした後は、欲しい情報がある階層まで掘り下げて検索していきます。

【参考】
twitterの検索結果をphpでjson使って表示する【たった7行】

ちなみに、JSONはそのままだと文字が並んでいて読みにくいので、
こちらの整形サービスを利用することをオススメします。

JSON整形サービス

よーし、次だー。
posted by be-style at 19:34| Comment(0) | Web