knaka Tech-Blog

AI, IoT, DIYエレクトロニクス, データサイエンスについて投稿予定です。

自然言語処理

flask+ TF-IDF+ janome ,AIチャットボット CSVから学習用の文章を読み込む。 自然言語処理(9)

index: 概要 環境 web画面 コード データセット 関連 概要 前の、自然言語処理の関連となります。 TF-IDF の AIチャットボットの、学習データを CSVファイルから、読み込み可能な方法の、例となります。・UI面は、BotUI のJSライブラリを使用しています。 ・…

入力文章から、俳句 短歌を抽出する。WEB画面の追加 自然言語処理(8)

index: 概要 環境 コード データセット 処理など 関連のページ 概要 前の、 自然言語処理 で TF-IDF 関係となりますが、 俳句、短歌を機械学習させて、入力文章と、 類似文章を抽出する。web画面の作成となります。・ 画面は、前回と同じ Bot UIライブラリを…

TF-IDFで sklearn.feature_extraction.text.TfidfVectorizer の結果を保存する。 自然言語処理(7)

index: 概要 環境 コード 関連のページ 概要 前の、 自然言語処理関係となりますが、 TF-IDFで、学習済みの TfidfVectorizer を保存して、 評価時に、読込むテストしてみました。 環境 python 3.5.2 janome sklearn コード github.compython3 です。train.py…

flask+ TF-IDF で、AIチャットボットをweb画面で作成する。自然言語処理(6)

index: 概要 環境 参考 コード web画面 処理など 参考のページ 概要 以前の、slackチャット対応のAI チャットボット機能の 関連となります。web画面 UIを自作して、 自然言語処理とwebサービスを使用する例となります。UI面は、BotUI のJSライブラリを使用し…

keras LSTM で、文章自動生成を行う。 自然言語処理(5)

index: 概要 環境 参考 コード データセット 処理など 評価の結果 概要 前回の、自然言語処理の関連となります。 学習させた文章(書籍など)、を元にLSTM で、文章を自動生成する仕組みの例です。テストは、google colab で行いました。 環境 python 3.5.2 ja…

Slackチャットから、flask+ TF-IDF の応答を出力する。自然言語処理(4)

index: 概要 環境 参考 コード 処理など デモの画面 まとめ 関連のページ 概要 前回の、自然言語処理の関連となります。 slackチャットからの、入力文章を webhook経由で AI/機械学習サーバからの応答を出力する例となります。webhookは、aws EC2 ubuntu16で…

TF-IDF+ janome で、類似文章の抽出。 自然言語処理(3)

index: 概要 環境 参考 コード 処理 テスト 概要 前回の、自然言語処理の関連となります。 TF-IDF TfidfVectorizer + janome で、類似文章の抽出 してみたいと思います。 環境 python 3.5.2 janome sklearn numpy 参考 http://tadaoyamaoka.hatenablog.com/e…

doc2vec + janome で、類似文章の評価。 自然言語処理(2)

index: 概要 環境 参考 形態素解析 コード 関連のページ Github 概要 前回の、word2vec の関連となりますが。 doc2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似の文章を抽出する例です。 環境 python 3.5.2 janome gensim 参…

word2vec + janome で、類似単語の抽出。 自然言語処理(1)

index: 概要 環境 参考 形態素解析 ライブラリ、NLP関係 学習データ コード Github 概要 word2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似単語を抽出する例です。 環境 python 3.5.2 janome gensim 参考 https://blog.aidemy…