読者です 読者をやめる 読者になる 読者になる

巨大な配列のソートの計算量を減らす

要件:100万レコードからなる{ID,SCORE}の中からTOP N件をSCORE降順で得たい。 普通にやる HashMap<String, Double> items = new HashMap<>(); for (int i = 0; i < 1000000; i++) { items.put(String.valueOf(i), r.nextDouble()); } List<Entry<String, Double>> entries = new ArrayList<>(it</entry<string,></string,>…

storyboardでのScrollViewレイアウト

iOS

Swift - How to use Scrollview Xcode 7 (Storyboard) - YouTube いろいろ大変だったが、結局この動画で一瞬で解決(xcode7) この動画のままだとなぜか横スクロールがでてくる。 ScrollViewが一番上のViewに対して持っている右端と左端の制約をそれぞれ-20…

push通知ハマりポイント

Provisioning Profile で登録している 名前とxcode側の名前(Bundle Identifier)が一致しないとアプリ側に送られてこない。 エラーも何もでないからどこが原因かわかりづらかった。もう。

{"message":"Missing Authentication Token"}

POSTの場合、リクエストの投げ方が間違っているこういうエラーがでる。わかりにくい。こうするとうまくいった curl -H "Content-Type: application/x-www-form-urlencoded" -X POST -d '{"hoge":"123"}' https://aaaaaaaaaaa 参考 AWS API GatewayでContent-…

一括で複数ファイルアップロード

今いるディレクトリのファイル全部アップロード find . -type f -print0 | xargs -0 -I% aws s3 cp % s3://path_to_upload/

さくらVPSでUnicode::Japaneseインストール

yum install perl-ExtUtils-Embed cpan Unicode::Japanese 参考: Perl - Unicode::Japaneseのインストール失敗をなんとかしてみた - Qiita

java.lang.NoClassDefFoundError JaxbAnnotationIntrospector

はまり[GLASSFISH-21141] Missing jackson-module-jaxb-annotations JAR causes error on first Jersey/Jackson JSON response - Java.net JIRA A quick hack how I managed to overcome this on GlassFish Server Open Source Edition 4.1 (build 13): 0) s…

分散的にsqliteを扱う場合のパフォーマンスに関するメモ

巨大なSQLliteのDBをいくつかのDBに分けた場合のパフォーマンスに関するメモ。結論:2つ以上のDBに交互にSELECT文を発行すると、そうでない場合に比べて10〜100倍くらい遅くなった。 最初に複数のDBコネクションを配列に入れる。 my @dbhs = qw(); for(my $t…

同じクラス名は避けるべし

重大: Mapping conflict. A Servlet registration exists with same mapping as the Jersey servlet application, named jp.unko.hoge1.resources.MyApplication, at the servlet mapping, /rest/*. The Jersey servlet is not deployed. 重大: Mapping conf…

JAVAでSQLiteを使う(glassfish)

WEBサービスで使う機械学習のモデルを実現するためにJAVAのヒープを使うっていう話もあったが、 メモリに頼ったやり方だとモデルが巨大化していった時にスケールしにくいし、ユーザ0のうちから金がかかるのは微妙。 なので、SQLite+ヒープのキャッシュで賄…

最大使用メモリの取得

参考:GNU timeでプロセスの最大メモリ使用量を取得するシェルスクリプトを書いてみた - N_Nao’s log mac /usr/bin/time -lp perl myScript.pl maximum resident set sizeが最大使用メモリらしい real 172.55 user 144.37 sys 20.92 12747128832 maximum res…

ディープラーニングフレームワークChainerをEC2のGPUインスタンスで動かす g2.2xlarge instance

GPUモードで動かしたことなかったのでEC2でやってみた。 GPUモードとCPUモードのスピードの差は圧倒的で、 GPU:CUP=2.49143505096:161.869711161だった以下手順備忘録 1. g2.2xlargeを一番安いバージニアリージョンでたてる ただしコマンドのレスポンスが…

TypeError: amax() got an unexpected keyword argument 'keepdims'

というエラーはnumpyのversion updateによって解決 sudo easy_install -U numpy

serviceはかならずreturn {}を含めなければならないっぽい

さもなければコンソールにinjection関係のエラーがでる。

divでNカラムでいらいらしない方法

ようやくしっくりくるやり方が見つかった。 <div style="display: table; table-layout: fixed; width: 100%; border: 1px solid #CCC"> <div style="display: table-cell; width: 100px; border: 1px solid #CCC"> 固定幅の何か </div> <div style="border: 1px solid #CCC"> 長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長文長文 長…</div></div>

NetBeans + AngularJs (windows)

環境準備のうる覚え netbeansだと環境準備が楽そう AngularJS Meets Java EE 7 - YouTube Tips for AngularJS in NetBeans IDE 8.0.1 - YouTube プロジェクト作成 新規プロジェクト > HTML5 > HTML5アプリケーション > プロジェクト名決める > オンライ…

java.io.NotSerializableException

問題 java.io.NotSerializableException とあるオブジェクトをこのtoByte()でbyteに変換しようとしたらエラーがでた。 Javaで大量データをメモリに展開するテクニックの考察 - Symfoware 解決方法 java.io.NotSerializableException - How to solve Not Seri…

munin-node | mysqlのレプリケーション関係で動かない

mysqlのリプリケーションをやったサーバでmunin-nodeを起動しても動作しなかった それ以外の状況が全く同じサーバについては普通通りに動いている。ログをみると、/var/log/munin-node/munin-node.logだけがでている。 sudo -u munin /usr/bin/munin-cron こ…

1つのサーバにmysql複数プロセス立ち上げる

基本 MySQLプロセスを一台のサーバで複数起動 [GameCreator'sNote]mysql dirの初期化だけはこちらの手順 MySQLのデータベースを初期化する - Qiita つまり vim /etc/my2.cnf mkdir /var/lib/mysql2 chown mysql:mysql /var/lib/mysql2 # init dir su mysql m…

さくらVPSでmysqlレプリケーションを構築してみる

前提 centos6 mysql5.5 まず、mysql5.5を入れる。 【シンプル】CentOS6にMySQL5.5をyumで簡単にインストールする手順 | 田舎に住みたいエンジニアの日記 最初5.6を入れてすすめていたが、5.1から5.6への移行は推奨されないというのを見て、嫌な予感がして5.5…

jax-rsでNoSuchMethodErrorにハマる

問題 java.lang.NoSuchMethodError: com.sun.research.ws.wadl.Response.getRepresentationOrFault()Ljava/util/List; at com.sun.jersey.server.wadl.WadlGeneratorImpl.createResponse(WadlGeneratorImpl.java:198) at com.sun.jersey.server.wadl.WadlBui…

web server (apache) → app server (glassfish) 構成

web server (apache) → app server (glassfish) の構成にする。 ApacheとGlassFishを連携する mod_proxy編 - Webサービスで起業を目指すプログラマーblogこれによって、無駄にport開放をしなくてよくなった。ユーザのアクセスはすべてapacheの80に集約される…

sqlite + java + connection pool + glassfish

Glassfishの設定 http://sourceforge.net/p/sqlite-connpool/wiki/How%20To%20Setup%20a%20SQLite%20Connection%20Pool%20on%20Glassfish/ Java source code http://sourceforge.net/p/sqlite-connpool/home/Home/ おまけ 設定 java - Set SQLite connection…

JAX-RS Viewable | jspで変数が展開されずにハマった

問題 ${it} これがjspでそのまま ${it} と表示されてしまう。解決方法 java - JSP: EL expression is not evaluated - Stack Overflowこれでもいける なぜハマってしまったのか 原因がJAX-RSかViewable近辺にあると思いこんでいた。。 あと、jspのこの変数の…

Route53の設定を変えるとしばらくホスト名が解決できなくなる

しかしながら、他のネットワークからならアクセスできた。 あと、15分くらい待ったらすべてのネットワークの端末からアクセスできるようになった。かなり不確かな情報だけど、プロバイダーがそういう情報をキャッシュとしてもっていてそのキャッシュが更新…

Elastic Beanstalk + logback

beanstalkでtomcatデプロイ。で、ログを出したいだけなのに 何かといろいろ調べなければならなかった。 pom.xmlに依存を加える <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.5</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-jdk14</artifactId> <version>1.7.5</version> </dependency>

AWS + java + JAX-RS + session のメモ

EclipseでJersey(JAX-RS)を始める EclipseでJersey(JAX-RS)を始める - Qiita beanstalkでさっとdynamodbのセッションを作る Amazon DynamoDBによるTomcatセッション永続化とフェイルオーバー | Developers.IOeclipseで普通にやるとsession用のdynamodbのテ…

JDK1.8をcentosに入れて、デフォルトのjavaを入れ替える で jstatで監視

jstatを使ってヒープの監視がしたかったのでいれる。このサイトの通りでいけた。 How to Install Java 8 (Jdk 8u31) on CentOS/RHEL 7/6/5 cd /opt/ wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; o…

オンメモリ高速KVSをjavaのstatic変数で実現する

やりたいことは、メモリの高速さをフルに活かした超シンプルなKVS。 用途は、機械学習アルゴリズムのモデル用。 ・大量のKeyValue値を高速に読み書きできること。 ・モデルはシリアライズを使って、ファイルに保存/読み込みもできるようにしたい。 ・サーバ…

JSON形式のマルチバイト文字(UTF16)をUTF8変換する

JSON系モジュールを使わずに直接まともに見れる形に変換したいが、なかなか情報がなかった。 use Encode;## test print encode("UTF-8", "\x{3042}"); ## "あ"## 変換したいUTF16な文字列 my $str = '\u3042';$str =~ s/\\u(:xdigit:{4})/chr eval "0x$1"/eg…

scale_x_datetimeの引数がないとか言われて使えない

問題 scale_x_datetimeの引数がないとか言われて使えない p1 以下にエラー continuous_scale(aesthetics, "datetime", identity, breaks = breaks, : 使われていない引数 (major = "2 weeks") 解決 Google グループ require(scales) で解決

install phpmyadmin on centOS : 一番楽なやつ

CentOSにphpMyAdminを入れてみる - yk5656 diary 以上

Neo4jインストールなど

情報推薦エンジンつくるにあたって、いろいろやってみたところ、KVSやRDBではパフォーマンス的にきついことがわかった。 ので、まずはグラフDBを導入したい。グラフデータベース「Neo4j」の 導入の導入 というわけで手順neo4jインスコ(centOS) http://yum.…

女性と男性の性的嗜好の違い|「アブないデータ分析」 by あんちべ

右のカードほどレアリティが高い。女性向けのカードイラストでは、男性の顔がアップしたものほど高い訴求力を持つが、逆に男性向けのイラストでは身体全体を描写したものの方がよいという違いがあるとのこと。男性向けでは描かれた女性の胸や尻や太ももの露…

ノードに画像を描画

## image rasters <- c(); for(v in V(g)$name){ jpg <- paste("/Users/ukonlly/data/", v, ".jpg", sep=""); url <- paste("file://", jpg, sep=""); if(file.exists(jpg)){ con <- url(url, open="rb") bin <- readBin(con, what="raw", n=10^6) close(con…

複数のgeom_line

R - ggplot2で、複数の時系列を一枚にプロット - Qiita R - ggplot2で、複数の時系列を一枚にプロット - Qiita <a href="http://stat.biopapyrus.net/ggplot/geom-line.html" data-mce-href="http://stat.biopapyrus.net/ggplot/geom-line.html">geom_line | ggplot2で折れ線グラフ</a> geom_line | ggplot2で折れ線グラフ 問題

font_faceの指定が間違うとフォント汚くなる

"font_face" : "ここ" で指定するやつは、windowsのコントロールパネルの 使うfontの プロパティの 詳細の 「タイトル」の項目(なぜかコピペできない)を一字一句間違えずに入力するとうなくいく。 うまくいくと設定を保存した瞬間に反映される

glassfish4.1 構築 on さくらVPS

install glassfish4.1 CentOS に GlassFish をインストールする - Javaな日々 管理コンソールアクセス momoiro: Scientific LinuxへのGlassFishインストール 管理コンソール画面で以下のエラーが出力された場合> Secure Admin must be enabled to access the…

Wrong user name or password. Killing startup process.

java ee - Glassfish starting with Eclipse always tells: "Wrong user name or password." - Stack Overflow

install jenkins

基本ここ PHPでTDD&CIワークショップ、Jenkins + PHP の各種プラグインパート資料 - Yamashiro0217の日記 mv yamashiro-ci_workshop_job-3b7fcfc $JENKINS_HOME/jobs/ci_workshop_job/ ここはそのままでは動かなかった。ありません系エラーがでた。 $JENKINS…

ggplot2で日本語フォント指定

theme_set( theme_bw( base_family= "Hiragino Kaku Gothic Pro W3")) r - Modifying fonts in ggplot2 - Stack Overflow

R 3.1.1に ggplot2とRMySQLをインストール on OS X 10.9.4

gglot2を使いためにRのバージョンを2.xから3.1.1に上げたが、するとRMySQLがRStudioのパッケージ機能ではインストールできなくなった。 r - Installing RMySQL in mavericks - Stack Overflow $ export PKG_CPPFLAGS="-I/usr/local/mysql/include"$ export P…

Volume容量サイズ変更

ec2

snapshot作成 volumeをsnapshotに基いて作成 ? umount ? mount ? reboot resize2fs /dev/sda1 http://asobicocoro.com/tips/article/aws-change-ebs-volume

jsのtestの方法のまとめ

http://sssslide.com/speakerdeck.com/naoya/javascripthurontoendokai-fa-falsezuo-jin

plotなどで日本語の文字化け解消

R

https://www.youtube.com/watch?v=z1kBuKQz4Ds plot(data, family = "ploHiragino Kaku Gothic Pro W3" のようにfamily属性にフォント名指定。

文字化け

http://ver321.com/web/517 MySQL ver 5.5からは’default-character-set’は’character-set-server’に」

mac上でDBD::mysqlをインストール

やや面倒 cpan DBI cpan DBD::mysql ... エラー発生 http://www.bartbusschots.ie/blog/?p=2186 export DYLD_LIBRARY_PATH="/usr/local/mysql/lib:$DYLD_LIBRARY_PATH" cpan DBD::mysql ... Access deninedのエラー発生 パスを指定してテストする必要がある …

複数のtarを解答

find . -name "*.tar.gz" -print0 | xargs -0 -n1 tar xf http://shohu.hatenablog.com/entry/20100311/1268270290

ディレクトリ以下 一括置換

http://qiita.com/takuan_osho/items/df2095f9023ec163ba5a ファイル数がすくなければ zsh なら perl -i -pe 's/foo/bar/g' **/*.txt などとするのが楽ですね。

ec2のphpで"Call to undefined function ssh2_connect"

yum install php-pecl-ssh2.x86_64