knaka Tech-Blog

AI, IoT, DIYエレクトロニクス, データサイエンスについて投稿予定です。

machineLerning

TF-IDF+ janome で、類似文章の抽出。 自然言語処理(3)

index: 概要 環境 参考 コード 処理 テスト 概要 前回の、自然言語処理の関連となります。 TF-IDF TfidfVectorizer + janome で、類似文章の抽出 してみたいと思います。 環境 python 3.5.2 janome sklearn numpy 参考 http://tadaoyamaoka.hatenablog.com/e…

doc2vec + janome で、類似文章の評価。 自然言語処理(2)

index: 概要 環境 参考 形態素解析 コード 関連のページ Github 概要 前回の、word2vec の関連となりますが。 doc2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似の文章を抽出する例です。 環境 python 3.5.2 janome gensim 参…

word2vec + janome で、類似単語の抽出。 自然言語処理(1)

index: 概要 環境 参考 形態素解析 ライブラリ、NLP関係 学習データ コード Github 概要 word2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似単語を抽出する例です。 環境 python 3.5.2 janome gensim 参考 https://blog.aidemy…

機械学習の環境を、aws EC2 のdocker へ構築する。

index: 概要 環境 参考 機械学習の docker環境へ構築 docker の配置準備 実行 Github 概要 機械学習の環境を、aws EC2に構築。 docker を使って簡易的に構築すると。少し楽でした。 環境 EC2 amazon Linux 参考 https://qiita.com/yumatsud/items/33bc22f7d8…

raspberry PIで、機械学習インストールのエラー対策

index: 概要 環境 修正の作業 概要 raspberry PIで、久しぶりに機械学習ライブラリを、再構築したのですが。 numpy等のimportエラーが、なかなか回避できず。 対策方法を、メモしたいと思います。 raspbian の問題ではなく、pip3の問題かもしれません。=> 失…

機械学習 + Django WEBアプリの実装

index: 概要 関連 環境 設定等 画面 Github 参考、 以前のflask版の WEB実装 概要 機械学習の機能を、 web フレームワークの Djangoで、web実装する内容となります。 機械学習は、前の不動産の家賃の予測機能です。 関連 knaka0209.hatenablog.comknaka0209.…

機械学習 + flask WEBアプリの実装

index: 概要 参考 環境 Github 機能 まとめ 概要 前回の、flask関連となりますが。機械学習と 軽量web フレームワークのflaskで、 webアプリの実装を行いました。=> 機械学習は、前回の家賃予測の機能を 実装し、学習済みの modelファイルから 予測を出力し…

予測問題、kaggle: PUBG Finish Placement Prediction

index: 概要 コンペ 環境 学習データ 前処理 結果の提出 概要 kaggleチャレンジで、 PUBG Finish Placement Prediction 予測問題 コンペ https://www.kaggle.com/c/pubg-finish-placement-prediction ケームの、勝率的な値の、予測らしいですね 環境 python …

予測問題、kaggle: New York City Taxi Trip Duration

index: 概要 コンペ 参考 環境 学習データ 前処理 結果の提出 概要 kaggleチャレンジで、 New York City Taxi Trip Duration 予測問題 コンペ https://www.kaggle.com/c/nyc-taxi-trip-duration タクシーの、乗車時間を予測する。問題らしいですね 参考 http…

予測問題、kaggle House Prices: Advanced Regression Techniques

index: 概要 参考 環境 学習データ コード 評価 概要 予測問題で、kaggle House Prices: Advanced Regression https://www.kaggle.com/c/house-prices-advanced-regression-techniques 今回は、sklern 重回帰分析で進める事にしてみました。 参考 http://och…

機械学習で、kaggle タイタニック問題に挑戦

index: 概要 参考 環境 学習データ 結果 処理 まとめ 概要 初心者問題らしい kaggle Competition のタイタニック問題を実施してみました。 https://www.kaggle.com/c/titanic 今回は、ロジスティック回帰で進める事にしてみました。 参考 https://qiita.com/…

機械学習で、ロジスティック回帰 予測問題

index: 概要 環境 参考の資料 学習データ コード 実行 概要 前回の重回帰分析と異なり、 目的変数が、連続した値ではなく 予測したい変数が連続数値ではなく、2種類の選択(購入する /しない)の場合 を考えます。 環境 python 3.5 scikit-learn numpy matpl…

機械学習で、重回帰分析(2) 家賃を予測する

index: 概要 環境 学習データ コード 評価 関連 概要 前回の重回帰分析の続編とり、 家賃の予測機能を検証したいと、思います。 不動産の物件情報を学習し、特定の物件の家賃を予測 scikit-learn を使用 ・前回と、機械学習の流れは同じで、学習データは、 …

機械学習で、重回帰分析 予測問題

概要 環境 参考の資料 学習データ コード 実行、評価 概要 重回帰分析で、複数の変数(説明変数)を含むデータ学習し、予測を出力する例をテストしてみました。 scikit-learn を使用 環境 python 3.5 scikit-learn numpy 参考の資料 東大さまの、データサイ…

pandas sort_values()

ソート 指定列で、ソートする。 a2 = {'ID':['11','12','13' ] ,'birth':[1980,1973,1970 ] ,'type1':['a','b','c' ]} frame2 = DataFrame( a2) #frame2 a3 = frame2.sort_values(by='birth' ) print(a3 ) 結果: ID birth type1 2 13 1970 c 1 12 1973 b 0 …

pandas merge()

merge() dataFrame マージ 結合用のデータを準備しておきます。 # a1 = {'ID':['11','12','13' ] ,'city':['Tokyo','Osaka','Kyoto' ] ,'num1':[ 101 ,102,103 ] } frame1 = DataFrame(a1 ) print(frame1 ) a2 = {'ID':['11','12','13' ] ,'birth':[1980,198…

pandas DataFrame

作成 a1 = {'ID':['11','12','13' ] ,'city':['Tokyo','Osaka','Kyoto' ] ,'num1':[ 101 ,102,103 ] } frame1 = DataFrame(a1 ) print(frame1 ) 結果: ID city num1 0 11 Tokyo 101 1 12 Osaka 102 2 13 Kyoto 103 T 置き換え、行列の転置が可能です。 a2= …