knaka Tech-Blog

AI, IoT, DIYエレクトロニクス, データサイエンスについて投稿予定です。

機械学習

TF-IDF+ janome で、類似文章の抽出。 自然言語処理(3)

index: 概要 環境 参考 コード 処理 テスト 概要 前回の、自然言語処理の関連となります。 TF-IDF TfidfVectorizer + janome で、類似文章の抽出 してみたいと思います。 環境 python 3.5.2 janome sklearn numpy 参考 http://tadaoyamaoka.hatenablog.com/e…

doc2vec + janome で、類似文章の評価。 自然言語処理(2)

index: 概要 環境 参考 形態素解析 コード 関連のページ Github 概要 前回の、word2vec の関連となりますが。 doc2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似の文章を抽出する例です。 環境 python 3.5.2 janome gensim 参…

word2vec + janome で、類似単語の抽出。 自然言語処理(1)

index: 概要 環境 参考 形態素解析 ライブラリ、NLP関係 学習データ コード Github 概要 word2vec + janome で、NLP( 自然言語処理 ) してみたいと思います。 今回は、類似単語を抽出する例です。 環境 python 3.5.2 janome gensim 参考 https://blog.aidemy…

機械学習の環境を、aws EC2 のdocker へ構築する。

index: 概要 環境 参考 機械学習の docker環境へ構築 docker の配置準備 実行 Github 概要 機械学習の環境を、aws EC2に構築。 docker を使って簡易的に構築すると。少し楽でした。 環境 EC2 amazon Linux 参考 https://qiita.com/yumatsud/items/33bc22f7d8…

raspberry PIで、機械学習インストールのエラー対策

index: 概要 環境 修正の作業 概要 raspberry PIで、久しぶりに機械学習ライブラリを、再構築したのですが。 numpy等のimportエラーが、なかなか回避できず。 対策方法を、メモしたいと思います。 raspbian の問題ではなく、pip3の問題かもしれません。=> 失…

機械学習 + Django WEBアプリの実装

index: 概要 関連 環境 設定等 画面 Github 参考、 以前のflask版の WEB実装 概要 機械学習の機能を、 web フレームワークの Djangoで、web実装する内容となります。 機械学習は、前の不動産の家賃の予測機能です。 関連 knaka0209.hatenablog.comknaka0209.…

機械学習 + flask WEBアプリの実装

index: 概要 参考 環境 Github 機能 まとめ 概要 前回の、flask関連となりますが。機械学習と 軽量web フレームワークのflaskで、 webアプリの実装を行いました。=> 機械学習は、前回の家賃予測の機能を 実装し、学習済みの modelファイルから 予測を出力し…

予測問題、kaggle: PUBG Finish Placement Prediction

index: 概要 コンペ 環境 学習データ 前処理 結果の提出 概要 kaggleチャレンジで、 PUBG Finish Placement Prediction 予測問題 コンペ https://www.kaggle.com/c/pubg-finish-placement-prediction ケームの、勝率的な値の、予測らしいですね 環境 python …

予測問題、kaggle: New York City Taxi Trip Duration

index: 概要 コンペ 参考 環境 学習データ 前処理 結果の提出 概要 kaggleチャレンジで、 New York City Taxi Trip Duration 予測問題 コンペ https://www.kaggle.com/c/nyc-taxi-trip-duration タクシーの、乗車時間を予測する。問題らしいですね 参考 http…

予測問題、kaggle House Prices: Advanced Regression Techniques

index: 概要 参考 環境 学習データ コード 評価 概要 予測問題で、kaggle House Prices: Advanced Regression https://www.kaggle.com/c/house-prices-advanced-regression-techniques 今回は、sklern 重回帰分析で進める事にしてみました。 参考 http://och…

ディープラーニングで、予測問題 家賃の予測(2) ネットワーク層の変更。

index: 概要 環境 学習データ コード 考察 関連 概要 以前の ディープラーニングの予測問題の関連となります ネットワーク層を増やして、精度のテスト行いたいと思います。 ・ネットワーク構成、層の数は、タイタニック問題と似ていますが 予測問題用のモデ…

ディープラーニングで、kaggle タイタニック問題に挑戦(2) ネットワーク層数の変更

index: 概要 環境 学習データ コード 考察 関連 概要 以前の DL版タイタニック問題の関連となり。 ニュラルネットワークのネットワーク層数を増やして、テストしてみました。 環境 python : 3.5.2 numpy pandas keras : 2.1.3テストは、google colab など 学…

ディープラーニングで、kaggle タイタニック問題に挑戦。

index: 概要 環境 学習データ 結果 コード 評価 関連 概要 以前の ロジスティック回帰の タイタニック問題の関連となり。 ディープラーニングで、結果を分類してみました。 環境 keras : 2.1.3 tensorflow : 1.4 python : 3.5.2テストは、google colab など …

ディープラーニングで、予測問題 家賃の予測

index: 概要 環境 学習データ コード 評価 関連 概要 以前の 機械学習の重回帰分析 の関連となります。 ディープラーニングで、家賃の予測機能を実装してみます。 環境 keras : 2.1.3 tensorflow : 1.4 python : 3.5.2テストは、google colab など 学習デー…

機械学習で、kaggle タイタニック問題に挑戦

index: 概要 参考 環境 学習データ 結果 処理 まとめ 概要 初心者問題らしい kaggle Competition のタイタニック問題を実施してみました。 https://www.kaggle.com/c/titanic 今回は、ロジスティック回帰で進める事にしてみました。 参考 https://qiita.com/…

ディープラーニングで、数値系予測 python版

index: 概要 環境 参考の書籍 コード 評価 実行ログ 概要 ディープラーニングの、予測系問題として、温度値の数値予測を検討してみました。 python版で、フレームワークは使用しておりません。 設計については、書籍を参考にしていますので。オリジナル仕様…

ディープラーニングで画像認識 実装(4)、keras CNNで、自前準備した画像の学習(2)

index: 概要 環境 画像データ コード 実行ログ 関連 概要 前回は、自前で準備した画像で、ImageDataGenerator flow_from_directory() を使用して、学習用/ 評価用データを準備しましたが。 評価時の、正解率などが。よく把握できなかったので 画像読み込み処…

ディープラーニングで画像認識 実装(3)、keras で、CIFAR-10データの学習

index: 概要 環境 画像データ コード 関連 概要 前回は、自前で準備した画像の keras で画像認識の学習、評価、を行いました。 mnist以外のデータで、CIFAR-10データ を試してみたいと思います 環境 keras : 2.1.3 tensorflow : 1.4 python : 3.5.2 画像デー…

ディープラーニングで画像認識 実装(2)、画像の前処理

index: 概要 環境 コード 実行結果 まとめ 関連 概要 前回は、keras で画像認識の学習、検証(画像認識の判定結果出力)等、 一連の流れを記載しましたが。 ディープラーニングで画像認識で、認識精度を向上させる為に、 学習画像数を増やしたり、前処理での…

ディープラーニングで画像認識 実装、keras  ImageDataGenerator

index: 概要 環境 処理の流れ コード 学習データの配置 実行方法 説明など ログ等 参考 概要 mnist 等のサンプル以外で、画像認識の実装テストを行いました。 条件として、自前の画像を準備(カメラ撮影、ネット検索等で取得)し、 ラベル情報を追加して、教…

matplotlib plot()

index: 概要 必要なimport plot() plot + sin 波形 散布図 hist() pie() 概要 データの可視化で、matplotlibの機能の説明になります参考のページ / tutorial:https://matplotlib.org/tutorials/introductory/sample_plots.html#sphx-glr-tutorials-introduct…

IoTデータから scikit-learnで線形回帰。

概要 前回続き、機械学習の関連となります。 IoT温度データから scikit-learnを使用して線形回帰モデルでグラフ描画までテストしてみました。 比較的カンタンなデモですが、ライブラリの読み込みも速めで、 使いやすく見えました。今回は、データ分析、特徴…

IoTデータ学習して chainerで時系列予測を出力する。

index: 概要 参考のページさま 環境 結果 code update まとめ 概要 機械学習の関連となります。 ディープラーニングも対応できそうなchainer を使って、IoTデータの数値予測してみました。前は、LSTMのKeras+ tensorFlow 版でしたが、 Ubuntu以外のLinux で…

確率

index: データの準備 この試行結果を根元事象(基本事象)といいます 統計的確率 統計的確率 確立変数 確率分布: ベルヌーイ分布: 二項分布: ポアソン分布: 必要なimport import numpy as np import numpy.random as random import scipy as sp import pa…

分散、標準偏差、要約統計量

index: 分散 標準偏差 平均値 中央値 最頻値 要約統計量 四分位範囲 必要なimport # import numpy as np import numpy.random as random import scipy as sp import pandas as pd from pandas import Series, DataFrame import matplotlib.pyplot as plt imp…

pandas info()

index: .info() mean median() mode() describe() .info() dataFrame についての、情報が表示できます。importしておきます # import numpy as np import numpy.random as random import scipy as sp import pandas as pd from pandas import Series, DataFr…

pandas Series

必要な import import numpy as np import numpy.random as random import pandas as pd from pandas import Series, DataFrame 配列の作成 # Series a1 = pd.Series([5,6,7,8,9]) print(a1) a1 = pd.Series(np.arange(5, 10 ,dtype='f')) print(a1 ) 結果:…

numpy の行列の作成

numpy の行列の作成 、操作のの説明となります。 reshape() 行列の作成作成 #行列の作成 a1 = np.arange(9).reshape(3,3) print(a1 ) 結果: [[0 1 2] [3 4 5] [6 7 8]] 3×3の行列が、出力されます。 行の取り出し。 0行目 a1[0, :] < 結果: >|python| ar…

numpy のrandom randn() で乱数生成。

numpy のrandom 等 で乱数操作のの説明となります。 関連のページ: https://docs.scipy.org/doc/numpy/reference/routines.random.html numpyモジュールのimport import numpy as np import numpy.random as random randn() seed指定で毎回同じ乱数が出る ra…

pythonでデータサイエンス 初級

データ解析、機械学習で使用される統計などの技術 python の数学系ライブラリについての内容となります。========= 参考は。大学さまの公開資料や、python数学系ライブラリの参考記事、 統計学の参考記事を参考にしています。より詳しく理解されたい方は 記…