前回、前々回とデータサイエンス100本ノック（構造化データ加工編）の実施で得たことをメモとしてまとめてきた。 jis.hatenablog.com jis.hatenablog.com今回で最後となる。データ加工のテクニックについてメモ書きしておく。 クロス集計 クロス集計とは質問…

前回、データサイエンス100本ノック（構造化データ加工編）の実施で得たことをメモとしてまとめた。 jis.hatenablog.com今回はその続きである。知らなかった機能、知っていても新たに知った機能についてメモ書きしておく。 副問合せの前定義 SQLで副問合せを…

ちょっと前にデータサイエンス100本ノック（構造化データ加工編）というのが公開されていた。 github.com機械学習で必要となるデータ加工の演習ができるという。必要なデータが予め用意されておりdockerを利用するので演習をするためのデータベースや言語の…

今年は競馬ネタばっかりだったのでたまには技術的なネタでも書いてみることにする。ちょうどお仕事でSpringBoot2.2の移行検証をやったので忘備録的に残しておく。 はじめに 前提 検証まとめ 検証手順 事前情報 pom修正 ソース修正 単体試験による確認 起動に…

LDAP認証の検証時にパケットキャプチャしてみてどんなことが行われているか調べてたのでついでに載せておく。 LDAP認証時にはアプリケーションとLDAPサーバは以下のやり取りをおこなう。 ユーザの認証（ユーザ名＋パスワード） ユーザ情報の取得 所有する権…

SpringBootでLDAP認証は以下の構成となっている。 LDAPサーバの構築 認証用情報の設定 LDAP認証をおこなうアプリケーションの作成 LDAP認証をおこなうアプリケーションの作成 その前に前提として。 ここで使用するSpringBootのバージョンは1.5.12である。最…

SpringBootでLDAP認証は以下の構成となっている。 LDAPサーバの構築 認証用情報の設定 LDAP認証をおこなうアプリケーションの作成 認証用情報の設定 1.ツールのインストール その前にツールのインストールをおこなう。phpldapadminだ。このツールはLDAPサー…

暇なので仕事に一息ついたので斜め読みだったSpringBootのリファレンスを少しだけ真面目に読んでみた。そうしたらLDAP認証についての記述があった。ちょうど社内システムの認証方法について検討（わざわざ認証機能作りなくないとも言う）していたこともあり…

全体の目次はこちら 5章の目次 5. 仕様が抜け落ちないようにするための工夫 5.1 E-R図(概念モデル)の工夫 5.2 E-R図(論理モデル)の工夫 5.3 テーブル定義書の工夫 6. おまけ 5. 仕様が抜け落ちないようにするための工夫 さて、4章では概要把握をするには概念…

全体の目次はこちら 4章の目次 4. 定義から仕様を読み取る手順 4.1 用語について 4.2 テーブル定義＋E-R図(物理モデル)＋データ 4.3 4.2 + E-R図(論理モデル) 4.4 4.3 + E-R図(概念モデル) 4.4.1 概要把握 4.4.2 仕様把握 4.5 まとめ 4.4 4.3 + E-R図(概念モ…

全体の目次はこちら 4章の目次 4. 定義から仕様を読み取る手順 4.1 用語について 4.2 テーブル定義＋E-R図(物理モデル)＋データ 4.3 4.2 + E-R図(論理モデル) 4.3.1 概要把握 4.3.2 仕様把握 4.3.2.1 エンティティが成立する条件の確認 4.3.2.2 エンティティ…

全体の目次はこちら 4章の目次 4. 定義から仕様を読み取る手順 4.1 用語について 4.2 テーブル定義＋E-R図(物理モデル)＋データ 4.2.1 概要把握 4.2.2 仕様把握 4.2.2.1 テーブルレコードが成立する条件の確認 4.2.2.2 テーブル属性が成立する条件の確認 4.2…

全体の目次はこちら 3章の目次 3. 設計書が欠けると落ちていく仕様 3.1 テーブル定義はあるがE-R図（物理モデル）がない・自動生成のみの場合 3.2 E-R図（物理モデル）はあるがE-R図（論理モデル）がない場合 3.3 概念モデルがない 3.4 まとめ 3.設計書が欠…

全体の目次はこちら 2章の目次 2. 設計書から読み取れる仕様とは 2.1 テーブル定義書とデータ 2.2 E-R図 2.3 実データ 2.4 まとめ 2. 設計書から読み取れる仕様とは さて、本ドキュメントの題名は「データ定義から読み取る仕様」としている。そのため扱う設…

目次はこちら 1. はじめに プログラマとしてお仕事をする場合何らかのプロジェクトへ途中参加することが多いだろう。特に雇われの身ともなればプロジェクトに最初から参加することなんて稀だと思う。 さて、プロジェクトに参加したときに最初にやることは対…

1. はじめに 2. 設計書から読み取れる仕様とは 3. 設計書が欠けると落ちていく仕様 4. 定義から仕様を読み取る手順 4.2 テーブル定義＋E-R図(物理モデル)＋データ 4.3 4.2 + E-R図(論理モデル) 4.4 4.3 + E-R図(概念モデル) 5. 仕様が抜け落ちないようにする…

前回、PythonのWebサービス構築用フレームワークのtornadoについて紹介したが、今回はJSONに特化した拡張ライブラリ－Tornado-JSONについて紹介する。 Tornado-JSONのインストール tornadoと同様にpipを使おう。 pip install Tornado-JSON 特徴 Webapiの入出…

お仕事で、Pythonのtornadoについて学んだのでそのメモを公開する。tornadoはシングルスレッドで動作する軽量なWebサービス構築用のフレームワーク。テスト用のMockサービスなどちょっとしたものならばJavaでゴリゴリ書くよりは手っ取り早く作れる。 Python…

あるいは、リモートが主役のsvnとローカルが主役のgit。svnとgitの概念的な違いを述べるとしたらこんなところだろうか。 お仕事でgitを使うようになったのだが、コマンドだけを見てもわけが分からず(それこそサルでも分かるを見てもである)モヤモヤしていた…

Web API The Good Partsの読書メモの後編である。前編はこちら。 ４．レスポンス形式 4.1 データの形式について リクエスト・レスポンスで渡すデータの形式は今はJSONがデフォルトである。ゆえにJSONを基本とし、必要に応じてXMLにも対応するという指針で行…

Web API The Good Partsを読んだが読書メモを残してなかったので復習がてらにポイントを書いておく。ただ、本のまとめとしては付録BのWebAPIチェックリストを活用すれば十分かもしれない。少々長くなったため前編・後編と分けた。 １．WebAPIの設計指針 本で…

日経システムの連載記事にスキルマップという大変おもしろそうなものが紹介されていた。これは楽しそうだ。ぜひやりたい！ ……だが一人客先に居る身ではなかなかできる代物ではなかった。 いつかチームを組んだときにチームメンバーと一緒にやってみたい。そ…

はじめに 先日、クロージャ(javascript)の良い解説を読んだ。いままでクロージャの概念はよくわからずもやもやしていたのだが、ようやく理解できた。ただ、それをアウトプットとして出そうとしても、解説サイトの丸写しになるため、ここではまとめない。『Ja…

久々にアクセス解析を見てみたら数値が跳ね上がっていた。何故だと見てみたら、過去に書いた記事がホットエントリーに上がったからっぽい。同様にハマった事例でもあたのだろうか。ただ、改めて読んだら事象が分かりづらかったので図を入れておいた。 さてそ…

例えば、以下のようにやりたい場合 <arg><[!CDATA[hogehoge]]></arg> XML→オブジェクトの変換は、CDATAが付いていようが無かろうが問題なく変換される。だが、オブジェクト→XMLの変換時は、自動では変換されない。 変換方法は以下のようなものがある。 方法1 オブジェク…

例えば、以下のようなXMLを作成する必要があるとする。 <hoge xmlns="http://hoge.co.jp/hoge/Hoge" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://hoge.co.jp/hoge/Hoge hoge.xsd"> xmlnsとschemaLocationを出すには以下のようにする。hoge = Hogeクラスにマッピングしているとする。1. Hogeクラスのパッケージにpackage-info.javaを作成する。 @XmlSchema( na…</hoge>

お仕事で、RestEasyを使う機会があったのだが、調査した時のメモを書いておく。RestEasyで、XML形式の応答結果を返すのは簡単だ。応答結果形式にマッピングしたオブジェクトを作成し、アノテーションをつけ、それをメソッドの返り値にすればJAXBでオブジェク…

暇だったので、Oracleカーソルに関してちょっといじって理解した結果を書いておく。 カーソルとは何か？ アプリケーションが発行したSQLの問い合わせ結果を逐次受け取るための仕組みである。具体的に言うと、Oracleのサーバ上に、SQLの実行結果を格納した領…

前回、ARPパケットの扱いについて書いた。本（詳解TCP/IP Vol.1 プロトコル）によると、Gratuitous arpの送り手とターゲットのMACアドレスとIPアドレスは次のように設定するとある（前回載せたサンプルソースもこれでやっている）。 送信元MACアドレス：arp…

お仕事で、ARPパケットを扱ったのでそのメモを残しておく。Linuxの話である。 ARPパケットの取り扱い方 1.デバイスソケットの作成 2.デバイスソケットのbind 3.デバイスソケットの送受信 サンプル 受信 送信 結論 余談 参考 ARPパケットの取り扱い方 次の手…