paper-reading issue の文字数をカウントした
TL;DR
- ○○○字の記事、というのを目にする機会が多くなっている気がする
- 自分はどれくらい書くのかと paper-reading issue の文字数をカウントしてみた
- 平均は 5296 文字、最長は 11499 文字、最短は 1269 文字、だった
アメリカ東海岸旅行記
TL;DR
- 9月下旬から10月はじめまでアメリカ東海岸に旅行に行ってきた
- タラハシー → プリンストン → マンハッタンという旅程で知人に会いながら観光
- 東海岸は行ったことなかったので色々観光できて楽しかった
TensorFlow Hub のソースコードを読む
TL;DR
- default で準備されているモデルで embedding を得る場合、 Module class の call メソッドに input を渡して実行するようになっている
- モデルは Tensorflow Hub が提供するものをダウンロードしてきて “default” とかで所定の tensor を名前引きして結果を得るようになっている
- モデルの情報がちゃんと残ってないのが辛い…
最近の作業スペース
TL;DR
- 東京に戻ってきてから作業する場所がだいたい固まってきた
- 基本的に KENRL HONGO とビズコンフォートのライトプランを使っている
- 運動不足という以外はまあまあ良い環境になっているのではないか
「ディープラーニングと物理学」を読んだ
TL;DR
- reference が充実している点、3,4章のブラケット記法の導入、5章のサンプリングの説明、は良かった
- 7章以降の物理への応用に関しては、お話的な内容だったりどのくらい嬉しいことなのかぱっと見で判断できないものも多かった
- 物理の言葉や例で説明されている部分も多く、物理を学んでいる（た）人がディープラーニングを学ぶときに読んでみる本、という印象
c-lesson 第三回「バイナリやアセンブリから見るC言語とリンカ」を終えて全内容を終了した
TL;DR
- c-lesson でC言語の勉強をしている
- 最終回となる第三回も終えて、ついに全部終了した
- 第三回は第二回で得た知識を活用して、オブジェクトファイルやリンカの理解を通してC言語の理解を深めることができる良コンテンツ
- 最後には JIT コンパイルの課題もあるよ！
c-lesson 第二回「簡易アセンブラとディスアセンブラを作ろう」を終えた
TL;DR
- c-lesson でC言語の勉強をしている
- 第二回も第一回に負けず劣らずの出来の良さで、こちらも良い勉強になった
- 簡易的な逆アセンブラとアセンブラを実装することで、低レベルからC言語の理解を深めることができる良コンテンツ
体調が悪い日が多い
TL;DR
- 無職になってから体調を崩す日が多い。無職の才能がないのか…
Kotlin Coroutine の勉強経過記録
TL;DR
- Kotlin の Coroutine を勉強したときの記録
- 勉強した内容をまとめる目的じゃなくて、何をどういう順番でやって何が分かって何が分からなかったかを残しておく目的
Remote Development with VS Code を試してみた
TL;DR
- VSCode で container の中などでの開発をシームレスに実施できる拡張が発表された
- こういう機能は前から欲しかったので、ローカルで docker container 使って試した際のメモを残しておく
- まだ VSCode Insiders が必要な preview だけど、良い感じなので正式に取り込まれるのが楽しみ
宜野湾での生活
TL;DR
- いま宜野湾に住んでて、ビーチが近いのと家が広いのと自炊できるのはとても良い
- そろそろ梅雨に入るし、作業環境の面では前のところが上回っていたし、そちらに戻る予定
- あと一ヶ月くらいしたら東京に戻るので、住むのに良い場所あったら誰か教えてください
Kotlin で初の Android アプリを作った
TL;DR
- 初の自作 Android アプリである FingerBoardCheck を作った
- ギタータブ譜読み用のトレーニングアプリで、めちゃくちゃ簡単なものだけど、とにかく作った
- 色々学びながらどんどん自分の作りたいものを作っていこう
c-lesson 第一回「簡易PostScriptインタプリタを作ろう」を終えた
TL;DR
- c-lesson でC言語の勉強をしている
- 第一回の PostScript インタプリタを作るを完走して、それがめちゃくちゃ良い勉強になった
- parser や evaluator を実装し、さらにはC言語のスタックフレームを使わず継続まで実装してちゃんと理解できる良コンテンツ
沖縄でリモートワーク、みたいなの増えるといいな
TL;DR
- 寒い時期や花粉症の時期に沖縄でリモートワークするのが増えるといいなぁ
- (無花粉による生産性変化分)+(リモートワークによる生産性変化分) >= 0 が成し得るかみんな検証してくれ
- ちなみに自分はいまギークハウス沖縄に滞在していてなかなか良い感じ
ふつうの Linux プログラミングを読んだ
TL;DR
- 途中まで読んで止まっていた「ふつうの Linux プログラミング」を読んだ
- C 言語で Linux のライブラリ関数や HTTP サーバの実装などを介して必要な要素を学ぶスタイル
- 平易な言葉で書かれていて、自分のように基礎知識がない人の学び始めには良さそう
無職になって色々な人に話を聴きに行った感想
TL;DR
- 二月は色々な人（主として機械学習業務を生業にしている人）に話を聴きに行ったので感想を書いてみる
- バラエティに富んでいて面白かったが、ある程度見通しがついているタスクに取り組むという感じが多かった
- 技術的に今だからこそ出来そうという新しいプロダクトに取り組むという話はそんなになくて、機械学習系の人はこういう思考・志向の人が少ない感じがする
- 偉そうに言ってるけど自分こそがまさにそうだったので、無職期間に何を作りたいのか意識的に考えていかねば
リモートサーバのファイルをローカルの VSCode で開く
TL;DR
- ローカルの VSCode でリモートサーバのファイルを開きたい
- ssh トンネルを掘ってリモートサーバで rmate などを使う
- local で docker container を作って試した
すごいHASKELLたのしく学ぼう！ を読んだ
TL;DR
- 何となく Haskell 勉強してみようと思って「すごいHASKELLたのしく学ぼう！」を読んだ
- 文章とか挿絵とかかなり独特だったが、内容はとても良く書けていてかなり面白かった
- せっかくなので Functor から Monad に関する現在の理解をブログに残してみる
- 今後も圏論とか勉強しつつ趣味で触っていこうかな、と思えるくらいには好きになった
AWS Loft Tokyo を使ってみた
TL;DR
- 無職になって作業スペースを探してたので AWS Loft Tokyo を使ってみた
- AWS のアカウントさえ持っていれば誰でも無料で利用可能で、なかなか環境が良い
仕事を辞めて無職になりました
TL;DR
- 1/31 を退職日として無職の仲間入りをしました
- しばらく（最長一年くらい？）再就職する予定はなく、自分のやりたい勉強などを自由にやるつもりです
- 色んな会社の人がどんなことをやっているかは知りたいので、よかったら会社に遊びに行かせてください
アウトプットが役に立ったら投げ銭をする、というのをもっと気軽にやろう
TL;DR
- 以前 bert-japanese を公開するタイミングで Booth 商品 を公開した
- 2 週間程度で 12 人の方が計 28,000 円分も購入してくれた
- 内容が良かったら投げ銭してくれ、というのはもっとみんなやって欲しい
御岳山と日の出山にハイキングに行ってきた
TL;DR
- 知人に誘われて御岳山と日の出山にハイキングに行ってきた
- 奥多摩とか混んでるのかなと思ったけど、時期もあるのか思ったより人も少なかった
- 最後はつるつる温泉で温泉にも入り、なかなかの満足度だった
BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました
TL;DR
- 日本語 Wikipedia で学習した BERT モデルを公開しました yoheikikuta/bert-japanese
- livedoor ニュースコーパスで finetuning して良い性能を発揮することも確認
- まあまあコスト掛かっているので、役に立った場合は BOOTH の商品ページ でサポートしてくれると嬉しい
2018年のまとめ
TL;DR
- 2018年も頑張った、去年も頑張ったという記録が残っているので二年連続二回目の頑張りで凄い
- 2018年は外向きの活動は例年より減らして落ち着きのある一年にした（つもり）
- 2019年は自分の得意分野以外の勉強に重点を置きつつアウトプットも増やす
ブログの DISQUS 連携を止めてコメント欄廃止した
TL;DR
- ブログのコメント欄に DISQUS を使っていたが、気付いたら広告を出すようになっていた
- ほとんどコメントないし、広告を消すのに月額 9 ドルは今の自分の状況では払い難いのでコメント欄を廃止した
- なんか物申したいことがあれば Twitter で @yohei_kikuta に言ってください
Trickle 〜最近の自分が最も気に入っているサービス〜
TL;DR
- Trickle という topic 毎につぶやいたりフォローできたりする Twitter のようなアプリがリリースされた
- 後から見直しやすい topic 毎の公開ロガーとして使える、他人の特定の topic だけ見れる、ということで自分のニーズにマッチしている
- このサービスが長続きするように、自分以外の多くの人にもぜひ使ってもらいたい
ウェブで投げ銭するための方法論（2018/11/10時点）
「機械学習のエッセンス」を読んだ
TL;DR
- 数学や Python の基礎があやふやな人が自分で機械学習のコードを書いてみる、というのに良さそう
- とはいえ機械学習の話が始まるまでが長く（275ページ以降に現れる）、読み手のモチベーションがどこまで続くのかはよく分からない
- 機械学習以前の話が多かったり SVM が一番厚く取り上げられていたりしてトピックはいまいち同意ができなかった
独力で車輪の再発明をするのは良いことだと思う
TL;DR
- 知人と話して自分の力で車輪の再発明をするのは良いことだという話をした
- 出した結論が既知であっても、その過程は自身の胸裡に財産として積み重なっていく
- そのような積み重ねが理解を深めたり新しいことを発想する土台になると思う
- どんどん車輪の再発明をしていこう
月30~40時間くらいでちょうど良い感じの仕事があったらやりたい
肩こり対策に関して見直してみる
TL;DR
- 今年の目標の一つに「肩こり許すまじ」がある
- 肩こりに良さそうなことを年初から色々と試してみているので、その効果のほどを振り返ってみる
- 多少効果があるものもあるが、机での作業時間が支配的な気がするのでより良い方法を考える必要がありそう
機械学習の理論と実装はどう学んでいくと良いのだろうか
TL;DR
- 機械学習エンジニアは理論と実装の両方が求められる場合が少なくない
- この二つは割と異なる学びの過程がある気がしているが、自分を例にとってそれを考えてみる
- かなり強引に言うなら、理論は要素を積み重ねて全体を理解するやり方で、実装は全体から必要な要素を削り出していくやり方、な気がする
- 自分は実装に関してはどうトレーニングを積んでいくのが良いかいまいち分かっていない
「マリオオデッセイ」をクリアした
TL;DR
- switch でマリオオデッセイをクリアした
- ムーン 500 個集めて月の国もっと裏までクリアしたので結構頑張った
- 前評判通りで完成度が高いゲームだった、満足
数理科学「機械学習の数理」を読んだ
TL;DR
- 数理科学201808号「機械学習の数理」を読んだので感想を書いておく
- トピックは幅広くて眺めていて面白いが、基礎となる数理というより応用例みたいな感じ
- （致し方ないことだが）頁数的に説明が省略気味なので数式を追うのは結構辛い
ReLU6 とは何者なのか？
TL;DR
- MobileNet で使われていることで有名な ReLU6 を復習してみた
- 初出の論文（と思われるもの）では sparse feature を得るために使うという導入だった
- MobileNet の文脈では固定小数点数の演算に適している（上限を与えない場合と比べて resolution が高い）
- とはいえ 6 は実験によって決めるべきパラメタでしかなく、それ以上に深い意味はない（と思う）
Chrome で Overleaf v2 を使う
TL;DR
- Overleaf の version 2 が出たので試してみた
- Chrome で遭遇するエディタのカーソルがズレる問題を解決した（フォントのカスタマイズで固定幅フォントを「Monaco」にする）
- reference search など新しい機能が使えて全体的に良い感じ
- 具体的な例は こちら
A Mini-Introduction To Information Theory を眺めてみた
TL;DR
- ひょんなことから Witten が書いたレビュー論文を眺めてみた
- 特に前半の古典の話は物理っぽい書き方で好き（Stirling の公式は前提となるが）
- 古典と量子の違いは意識的に書かれていて読みやすかった
- 分からないところも色々あるが、そのうち何かのきっかけでちゃんと勉強するかもしれない（しなそう）
「ベヨネッタ２」をクリアした
TL;DR
- switch でベヨネッタ２をクリアした
- ノーマル全クリとハード一部、それとウィッチトライアルをクリアしてロダンも倒した
- 面白かったけど個人的には前作の方が良かった（単に思い出補正の可能性あり）
- ウィッチトライアルとロダンが難しくてストレスが溜まった。ゲームでストレス良くない
機械学習案件に携わってきてどんな理論的トピックを扱ってきたか
TL;DR
- 機械学習を仕事で使う人はどんな理論的内容を扱っているのか
- コードは GitHub にあるし研究は論文になるが、実業務で必要な理論的トピックに関してはなかなか目にする機会がない
- 自分がこれまでどんなことをしてきたのかを簡単にまとめてみた
咳がヤバイ
TL;DR
- GW終盤から発生した断続的な咳が治らずヤバイ
- 二度ほど病院に行ったが根本的な原因は分からず。アレルギーも絡んだ喘息のような感じがするが果たして…
- こうすれば快方に向かうというのが分からないというのはかなりのストレスであることに気付かされた
arXiv の論文を google drive に保存する Chrome extension を作った
TL;DR
- iPad Pro で論文を読む際に Notability を使いたいが Mendeley などと異なり論文管理は手間
- Chrome extension を使って arXiv の論文を google drive に保存できるようにした：Repository
- Notability との連携が改善されれば文句なしなのだが…
機械学習をやる上で線形代数のどのような知識が必要になるのか
TL;DR
- 「機械学習をやるなら線形代数はやっとけ」的な話が出るけど具体的な話があまり見当たらない
- 研究でなく実務レベルで機械学習を扱う場合にどのような線形代数の知識が必要になるのか考えてみた
- 高校でやるベクトル・行列＋αくらいあれば概念的には十分で、計算が苦じゃない基礎体力が重要では？
論文読み会で発表したい人はそんなにいないのでは？という気付き
TL;DR
- WSDM2018論文読み会 に人が集まらなかった
- 有意義な会ならちょっと宣伝すれば人が集まると思ってたのは見当違いだった
- 論文読み会で発表したいと思っている人は割と少ないのでは？
Deep Learning with Python を読んだ
TL;DR
- Deep Learning with Python を読んだ
- よく書かれている本で、特に初学者〜中級者が Keras を使ってモデル構築ができるようになるには最適
- 扱っているトピック自体は他の本と比べてそこまで変わっていないが、一つ一つの質は高い
- 個人的には Keras の実装の話などをもっとして欲しかった
「ゼルダの伝説 ブレス オブ ザ ワイルド」をクリアした
TL;DR
- switch を買った
- ゼルダの伝説 ブレス オブ ザ ワイルド をクリアした
- 純粋に素晴らしく、いまの自分が他人の作ったゲームでこんなに楽しめるなんて思ってなかった
- 開発エピソードを眺めたりすると良い作品を作るには良い手法が重要なんだなぁと思う
過去に XXX をしておけば良かった、という命題は真か偽か
TL;DR
- 自分の場合はほとんど偽、と思う
- ただプログラミングは何かしらやっておければ良かったのかもしれない
プレゼン用の資料作成のためのツールをいくつか試した
TL;DR
- プレゼンで資料を作るときに自分に合うものをちょっと探してみた
- 結論としては Deckset（もしくは gitpitch）が良さそう
論文を読んだ際のメモをレポジトリの issue に残していくことにした
TL;DR
- 論文読みのメモを GitHubのレポジトリのissue で管理することにした
- 数式は screencloud で imgur に保存してそれを貼るということにした。自分で書けないのは不便もあるが、数式が多すぎない論文なら大丈夫そう
- 小さい単位でコメントとして残していくスタイルはまあまあ良さそう
確定申告の提出書類を作成した
TL;DR
- 平成29年分の確定申告の提出書類を作成した
- 検討の結果、会計ソフトなどは何も使わずに全て自分で作成した
- 作ったのは確定申告書Bと青色申告決算書と医療費控除の明細書
家にホワイトボードがあると良いことがあります
TL;DR
- 家にホワイトボードを買って計算をしよう
MiSTEL BAROCCO MD600 を買った
TL;DR
- MiSTEL BAROCCO MD600 分離式 英語配列 茶軸 を購入
- 付属品のケーブルが短くてキーボードがあまり離せないので、micro(B)オス-mcro(B)オスのケーブルも購入
- マクロプログラムモードでキーの割当をする場合にwindows環境でのファームウェアupgradeが必要かも
iPad Pro で論文を読む
TL;DR
- Mendeley + PaperShip
- 計算などをノートにする場合は Notability
2017年のまとめ
TL;DR
- 2017年も頑張った、何はともあれ自分を褒める
- 2017年は仕事の時間が長かったので、2018年はもう少し時間配分を変えよう
Dynamic Routing Between Capsules を読んだ
TL;DR
- neuron をまとめてベクトル化した capsule という概念を導入。各成分は特徴量の表出を parametrize
- routing という手法を導入し、in と out の内積値で低次カプセルから高次カプセルへの値の受け渡しを記述
- CapsNet というモデルを具体的に構成し、特に MNIST の画像を重ねた MultiMNIST で高い性能を発揮
- capsule は CNN では効率的に扱えてない平行移動以外のアフィン変換を効率的に扱い得るもので、発展性がある
DLを誤認識させるノイズの話
TL;DR
- 普遍的な摂動ノイズによって様々な画像がDLで誤認識されるという論文を読んで発表した
Deep Learning の汎化性能に関して論文を読んで発表した
TL;DR
- Deep Learningの汎化性能に関して軽くまとめてその内容を発表した
CNNの発展に関して簡単にまとめた
TL;DR
- CNNの発展に関して軽くまとめてその内容を発表した
Why does deep and cheap learning work so well? を読んだ
TL;DR
- この論文を読んでその内容を発表した
Googleのニューラル機械翻訳APIでarXivのsummaryを翻訳してサクッとチェックする
TL;DR
- Google Cloud Translation API premium edition ではニューラル機械翻訳が使用可能
- arXivのAPIを使用して論文のsummaryを取得し、日本語でチェックできるnotebookを作った ( repository )
- ニューラル機械翻訳おもしろい
Googleの超解像RAISRの論文を読んだ（その２）
TL;DR
- その１の内容は理解しているという前提で進める
- 画像を同じような輝度勾配情報を持つbucketに分け、ローカルの情報を考慮してフィルタを学習する
- 処理高速化のために勾配情報をハッシュ化したテーブルを構築する
- 他のstate of the artと比べて遜色のない精度で、速度は2桁も速い
Googleの超解像RAISRの論文を読んだ（その１）
TL;DR
- その１では RAISR の話はせず、前段となる定式化や基本的概念を説明する
- 基本となる考えは、bilinear補間のようなcheapな補間にさらにフィルタを適用して高精度化するというもの
- フィルタの学習には低解像度画像と高解像度画像のペアを用いる
- 学習したフィルタはバンドパスフィルタのような振る舞いをすることが示された
ubuntuでlinux kernelのversionを固定する
TL;DR
- nvidia-docker と不整合を起こさないように linux kernel version を固定するようにした
jekyllで作成したページをローカルでプレビューする
TL;DR
- Ubuntu Desktop 環境で jekyll serve を使えるようにした
iMacのNVIDIA GPUをデュアルブートしたUbuntu16.04のnvidia-dockerで使う
TL;DR
- タイトルまま
ブログ開始
TL;DR
- ブログを始めた
- 日々のあれこれを書いていくことにする