word2VecとfastTextはNLPの基礎

色々AIの調査をしているが、NLP関係で現在現場で一番活躍しているのは、このword2Vec（Vecと省略)とfastTextだと思う。
理由を上げてみると、

１．NN系のアルゴリズムを使っている。
２．GPUを利用しなくても動作する。
３．大量データを扱うのが目的。
４．趣味的にもNLP研究のツールとして使える。
５．ベクトル化、数値化した情報
６．オントロジーやタクソノミーとして利用できる。
７．生の文書（日本語は分かち書きが必要）を扱う。
８．他のAIツールのリソースの生成に役立つ。
９．NLPのDB（QAエンジン）としても使える？
１０．利用するのが簡単
１１．文法に関係している情報も分類できる
１２．少量のデータでも利用が可能

もう既に誰にでも名前が知られたツールなのでここで説明をする必要がないのですが、大体自然言語の基礎的な情報を取得できる。
もしかしたら、他にも利用できることがあるかも？
どうやら、ググやYouTubeでも隠喩ですばらしさを表現している人も沢山いるので、あえて書きます。

Vecを実データで試してみると、明らかに文章中のベクトル化に成功していることに、まさしくマジックをみることになります。

一方OpenNMT（ニューロンを使った翻訳ツール）を試して見ると確かになるほどとは感じますが、NLPの分野では豊富なデータも個人では持っていないので、実用的なところまでは程遠いことを思い知ることろです。
もちろんAIの勉強にはなりますが、むしろGPUを自由に使えない環境では、ストレスを感じてしまいます。

現在大手がこのツールを使っていることは、想像するまでもありませんが、今後もこの分野がNLPの中心になっていくことと予想できます。
NMTで固定長、エンコードや文法問題を抱えたまま長文や文書全体の課題を、Vecが見事に解決してくれます。
現状はNMTが主流になっているようですが、Vecを何らかの形で連携することは必須と考えられます。

IT関係者でなくても誰でも恩恵が受けることが可能なツールで、是非一度お使いになることをお勧めします。
もしかして、「基礎に始まり基礎に終わる」てなこともありますよね。

追記：２０１８０５０２
文法について使いたいならば、Doc2Vecをお薦めします。
文の中の語順を考慮していますので、より文法規則が正確に取得できているようです。

追記：20190518
NLPの基礎技術という考え方では、もう一つ重要な技術としては、SMTの分野で有名なMosesとGiza++があることを追加します。
これは、SMT翻訳とNMT系の翻訳とがお互いに協力弱点を補い合って行うことで、より完全な人間に近い翻訳ができるようになるからです。

YouTubeで技術習得

もう何度もこの内容でブログに書いてきたが、再度取り上げる。

大体新しい技術の分野を習得したければ、一番早いのは既にその知識を熟知している人に教えてもらうことが一番早いことは誰でもが知っていることだ。
でも最先端の技術だとどうだろう、中々熟知している人が見つからない、そこでセミナーが存在している。
でもセミナーが毎日開かれているとは限らないし、場所も限定しているのが現状だ、ましてや個人的な興味の場合には、お金が掛かる。

そこで、書籍もあるがもしかすると、まだ英語でしか出版されていない場合もある。
そこで役立つのがYouTubeだ、今では英語も日本語の字幕が見れるので、何度も両方の言語で字幕を見て理解していけば
、その人の興味がモチベーションとなって、不思議に理解が進むものだ。
メリットとして英語もリスニングできるので耳が鍛えられる。もし聞くのが不慣れであれば、初め速聴をすることでその後標準速度に戻せば、非常にスローに効くことができてしまう。どうやら脳がこうした機能を持っているようだ。
これは、高い音（速聴）が早く喋っているように聞こえ、低音が遅く聞こえる現象からも理解できることだ。
また速読したからといって、内容が理解できないかというと以前にも書いたが、哲学書を速読してみれば速読の効果を体験できる。速聴も速読も脳のインプットの部分では異なるが、最後に理解する場所は多分同じであろうから、人間に備わっている機能を使わないのはもったいない。
これは早い仕事を脳に与えて、活性化させ、標準モードに戻すとハンディが生まれることを利用している。よく耳も筋肉に例えられるように、脳も同じように筋肉効果をもっている。
又、日本人には英語のS音が気なって、より気になってしまい、聞き取れないことがあるが、これも速聴がS音を聞こえないようにしてくるので、子音が聞きやすくなる。

話がそれてしまったが、是非YouTubeを使い一番最適な技術習得をしてみることをお薦めする。
一つマイナスなことがあるので、あまりこれを実行しすぎると、神経症に掛かる恐れもあるので、ヨガや深呼吸方も合わせて行うことも必須条件としておきたい。

DBR（Define by Run)はDSLの進化

ここ数日AIツールについて調査をしてきた。
完全に周回遅れだ、とはいっても旧AIを３０年前の雑誌は購入して来て、何時かはAI時代を夢見てIT業界で働いてきた。

今のAIについてここ１年ほど距離を置きながら考えていた。
まずはTensorFlowの書籍を購入し、少し旧いが集合知の書籍も読み直してみた。
技術的には非常に簡単な理論で容易にイメージが湧く説明ばかりで、一体なにがこう騒いでいるのか、又マスコミ先導の流行りごとではないかとも考えていた。

そんな時、PyTorchのNN技術に興味を強く感じ実際に試すことにした。

すると今までと全然違う衝撃の感覚を受けた。
IT業界で今までほとんどどの工程にも現場で経験して来た感覚とは違う感覚に出会ったのだ。
どんなプログラム言語もほとんど理解できるようにしてきた。
なのに全く違う思想でAIツールは作られているではないか。

PyTorchのフレームワークは
「Define by Run」(定義をRunで掛（X)けること）
なのであるが、これは定義するだけで動作してしまうことを指している。それもGPUの上で並列に動作されることを約束してくれる。いまはまだGPUの値段が１０万円クラスのコストだが、今後数年でもっと安価な時期も来ると容易に予想される。
そうなると、今よりももっとDBRの思想が進化することになる。

加えてGitHubでこぞってコードがオープン化している、こんな時DBRでは何が重要なのか、書くことから見て考えることにシフトすることが予想される。DBRはDSLのフレームワークの進化版なので、よりITの現場に影響することは大きい。

これが単なるプログラム言語の話しならともかく、ツールで簡単に利便性の高い数式が扱えるのだ、いままでどんな職業が影響するのか巷では騒がれていたが、本当に違いがでてくるのは、そして進歩しなければ行けないのは、IT業界ではないかと、強く思うようになった。

今までは遅かったり、メモリが気になってできなかったことが、理想的な公理的設計さえできれば、後は自動化されることになるし、設計の証明も行えるようになる。
残りはセキュリティの問題だけかもしれない。

今まで、宣言的プログラムを指向してきたが、どうやらDBRが今後は主流になると考える今日このごろです。

イメージ化していく時代

５年前に全てがマトリックス化していると感じた、そしてAIがテンソルでこれを現実化している。

次のフレーズを予想すると、イメージ化が見えてきた。
これは画像のイメージではない、指向のイメージ化を指す。

現在起こっていることは、従来数学や技術論の専門としてきた領域がツールにより、非常に簡単化することにより始まる。まさしくAIを教師として人間が自由にこれを利用できる環境がこれを現実化する。

今までデザインを専門として来た人がAIを利用して非常に高度なことをしてみたり、子供でも発想があれば簡単に実現できる時代が来るようなきがする。
いわゆるIT専門家も、子供も同じレベルに立つ時代が来る。現実にスマフォは子供のの方が利用する上でより上級者だ、どんな未開の地域でも、スマフォさえあれば都会の人とあまりユーザビリティでは差がない時代だ、すでにイメージは共有できている。

それにしても今まで苦労して数式を証明してから使う時代と、パラメータだけを設定するだけで数式を利用できる時代を比較すると、どちらが正しく使いこなせるだろう。

この頃数式もこれを使うイメージや目的が明確になれば、これを使いこなすことができる時代がもう始まっていると感じる。

「数学を学問的か技術的な使い方から、ツールのように扱う時代が来ている。誰でもが平等に扱えるのだ。」

そして、今までできなかったことがAIやロボットにより、魔法のようにできてしまう時代がもう目の前にきている。
世界は広く、ユーチューブで見る限り、発想力はどの国でも平等であり、むしろ今まで注目されてこない国の方が、素敵な動画を作成できる時代になっている。

こんなイメージを感じている人が増えていることは間違いないのではなかろうか。

日本語の歌を異国の人が歌うと

この頃異国の人が日本語で歌うのをテレビで見ると、気がづくことがある。

どうやら日本人より断然音の分解能が良いようだ。それと音の発音の仕方が日本人と異なるため、日本人で作れない音を出していることに気がつく。話す会話と違い歌の場合、音声も大きくより繊細に放送されているため、視聴する側もいつもより詳細に発音を聞くことができる。

「なんという雑味がない歌声なのだろう。異国の人が歌う歌は！！！」
日本語をこんなにきれいな発音ができる人は、今まで聞いたことがない。

母国語が正確に出せないことは少し悲しいが、そもそも日本語には母音しか無いので、普段から当然そんな細かい違いを意識して発音していない。よって発生の範囲が狭くなる。
また、多分音の分解能まで落ちているのかも、もしくは自分の発声した音に対する分解能が良くない可能性がある。
少なくとも以上の理由でどうしても異国の人の歌声にはかなわないようだ。

でも次第にテレビのコマーシャルでも最近ネーティブの英語で流すようになってきた。これにより日本人も段々と高いレベルの若い人達が育つことになるので、将来はもっと歌がうまい日本人も出てくると思う。
また非常に心地よい日本語の発音をするナレータが増えると予想できるので、もう一度きれいな日本語が復活することが期待できる。

それにしてもN＊＊のアナウンサーは本当に綺麗な発音をする人もいるのに、あまり活躍していないことが非常にもったいないと感じているのは、非常に残念と思うのである。