HYT MachineWorks

やったこととか思いついたことをメモしておくブログです。

Python

CUDAを使った、CuPyやTensorFlow GPUを簡単に使う

CUDA Tool kitや、cuDNNを入れてVisual Studio Build Toolsが必要と思ってました・・・ 頑張っていろいろやってましたが、@daizutabiさんの記事を見て腰砕ける。 qiita.com この衝撃的な事実を共有したくメモします。

もっと簡単にMeCabとmecab-ipadic-neologdとmecab-pythonをインストールする Python3 Windows10

最近、MeCabの周りが騒がしくなっている気がする 以前は、公式のインストーラで入れたあとに自分で、64bitでコンパイルをし直すとかいろいろ手間がかかっていましたがもう少し簡単になったようなので以前の記事を書き直す意味でも、新しく書き直してみます。

ファイルサーバや、ドライブのフォルダの容量を調べるツールを作ってみた(Python3 windows10)

Pathlibって使っていますか? Pythonからファイルを扱うライブラリです。 docs.python.org 使わない理由が無いと言われますが、今まで困ってなかったのでというか、わざわざsubprocess使ってコマンドを実行してやってました。 ですが、フォルダ容量を調査し…

自然言語処理100本ノックをWindows/Python3で 第10章: ベクトル空間法 (II)を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いてついに、最終章である第十章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第9章: ベクトル空間法 (I)を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第九章をこなしました。

自然言語処理100本ノックの第9章ベクトル空間法 (I) 第80問~第85問を1/10サンプリングのデータをThinkPad X1 (2011)で解いてみた

自然言語処理100本ノックの第9章ベクトル空間法 (I) 第80問~第85問とは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集で、その中で唯一この章だけ問題の注釈として なお,問題83を素直に実装すると,大量(約7GB)の主記憶が必要にな…

簡単にPyGraphvizとNetworkxで自由なフォントを使ってグラフを作画する(Python3 Windows10 64bit)

Graphvizフォント自由にならない問題とは 以前、PyGrapvizで豆腐を回避する記事を書きました。 hytmachineworks.hatenablog.com ですが、完全では無くどうしても出来ない組み合わせが存在しましたが完全に網羅させる方法がわかったのでメモします。その完成…

もっと簡単に、pygraphvizをWindows10 64bitでインストールする(Python3)

以前の記事で紹介したpygraphvizのWindowsへのインストール方法 hytmachineworks.hatenablog.com 上の記事で、pygraphvizのインストール方法を解説していましたが、 とりあえずGraphviz本体を入れる。 GitHubにいい人が64bitにビルドしてくれたのがあるので…

もっと簡単にpycairoをwindows10 64bitにインストールする(python3)

以前、紹介したpycairoのWindowsへのインストール方法 hytmachineworks.hatenablog.com 上の記事で、pycairoのインストール方法を解説していましたが、 msys2をインストールする cairoをインストールする pycairoをインストールする って3ステップ必要でし…

Windowsで Headless Chrome + Selenium + Python3 でスクレイピングをする初めの一歩

Headless ChromeとSeleniumとは 元々、Seleniumは、Webブラウザの自動動作を可能にするソフトウエアです。Webサイト等を開発している人がJavaScriptによる動的な書き換え等がうまく動作するかのテストをするためのツールとして作られていました。 一方、Head…

urllib3を使ってWikipediaから国名一覧を取得してJSONで保存する Python3 windows10 64bit

Web スクレイピングの例としてWikipediaから情報収集をする ここでは、英語版wikipediaの国の一覧と海外領土・自治領の一覧からhtmlを取得して国名の一覧を取得することを目的にする。 それと、これは自然言語処理100本ノックの81問で使用する国名リストの取…

2019年時点の俺流Windows10 64bitでのPython3環境構築と、condaでYAMLから環境復元が出来ない件について

Windows10におけるPython環境構築とは 本当に、一つの事しかしないのであればPythonの公式のバイナリをダウンロードして、パッケージのインストールにpipを使ってPyPIに集約された、いろいろな人が開発されたパッケージを使って構築してもいいと思います。で…

condaがうまく動かない Windows10 64bit Python3

condaがうまく動かないというか、condaからネットワークにつながらない。 久々に開発環境を構築をしようとしてMinicondaを入れて元々作ってあった環境のYAMLファイルで復元しようとした時に、ためにしcondaをアップデートらこんなエラーがでた。 PS C:\Users…

自然言語処理100本ノックをWindows/Python3で 第8章: 機械学習を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第八章をこなしました。

pandasでShift JIS(cp932)で書き出す時のUnicodeErrorと戦う(Pyhton3 windows10)

pandasでShift JISで書き出す際に出るUnicode Errorとは? 以下のようなコードでpandasでshift JIS(cp932)でcsvを書き出そうとすると import pandas as pd# エラーが出るデータを作成unicode_data = [["全角\u0020スペース\n", "\xA0ノンブレークスペース"] …

Python3 / Windowsで文字コード判定してテキスト読み込みする

文字コード判定とは、 テキストを人が読めるように文字列に変換するのですが、その変換規則のことです。最近は、Unicodeといって、Python3のコード様にUTF-8で書かれていることも増えましたが、Windows上では未だに、ShiftJIS(cp932)やEUC-JPなどの日本語の…

自然言語処理100本ノックをWindows/Python3で 第7章: データベースを解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第七章をこなしました。

Flaskで、Pythonを使ってwebアプリを作る Windows10 64bit (自然言語処理100本ノック7章 69番を解く)

Flaskとは? http://flask.pocoo.org/ Pythonをベースに作られた軽量webフレームワークです。一から頑張らなくても比較的カンタンにwebアプリが作れます。 これを使って簡単なwebアプリを作って見たのでメモ。正確には、自然言語処理100本ノックの7章 69番の…

Windows10 64bitでPythonからMongoDB(DocumentStore)を使ってみる

MongoDBとは? 所謂、NoSQLの一種で、Document Storeと言われるタイプのデータベースです。 エクセルで例えると、行をJSONで表現して、表全体をJSONの集まりとして表現したようなものです、そんな感じです。 JSONで扱えるので、そのまま辞書型に変換して、終…

Windows10 64bit + Miniconda 上でcondaからpycryptoのインストールにハマった件

pycryotoとは 指定した文字列を色々な暗号化アルゴリズムで暗号化できるパッケージpycrypto pypi.org conda でもpipを使わなくてもインストールできて >conda install pycrypto でインストールされたように見えます。でも、使えないのです。その解決法*1 *1:…

Windows10 64bitでPythonからRedis(KVS)を使ってみる

Redisとは? 所謂、NoSQLの一種で、KVS(Key Value Store)と言われるタイプのデータベースです。 Key:「正解は?」 Value:「越後製菓!」 みたいに、キーと値を結びつけて管理するタイプになってます。これをPythonから使ってみたのでメモ。 https://redis.…

Windows の PyCharm64bitで4GB以上のメモリを使う方法

以前取り上げた、PyCharmを64bitで使う方法ですが。。。 hytmachineworks.hatenablog.com 現時点のversion17.3だとインストーラで途中で64bitかどうか聞かれてYESと答えれば何もしなくても使えるよう様になったみたいです。 ですが、それだけでは、750MBしか…

自然言語処理100本ノックをWindows/Python3で 第6章: 英語テキストの処理を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第六章をこなしました。

networkxとpygraphvizを使って日本語を含むグラフを作画する(Python3, Windows7 64bit)

networkxとpygraphvizを使ってネットワークの作画 python向けのネットワーク解析パッケージであるnetworkxとその作画にgraphvizを用いる際のラッパーであるpygraphvizを組み合わせてグラフを作図してみました。その際に日本語を豆腐にしないで表示する方法の…

自然言語処理100本ノックをWindows/Python3で 第5章: 係り受け解析を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第五章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第4章: 形態素解析を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第四章をこなしました。

Pythonで、forを重ねてネストが深くなったり、リストをforとapend組合せたりする問題を回避する

とはPythonで、forを重ねてネストが深くなったり、リストをforとapendを組合せたりする問題とは Pythonで色々処理をするときに、listを forでループさせることや、forでリストを作ったりすることがあると思います。いろいろ組み合わせたくてforにforを重ねて…

自然言語処理100本ノックをWindows/Python3で 第3章: 正規表現を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第三章をこなしました。

Pythonの正規表現で、括弧に囲まれた括弧を取る方法

カッコに囲まれたカッコとは <あか<abcdef>さたな><はま<abcdef>やらわ> みたいな文から <あか<abcdef>さたな> <はま<abcdef>やらわ> を取り出したいと言うことです。簡単そうに見えてハマったのでメモ。</abcdef></abcdef></abcdef></abcdef>

自然言語処理100本ノックをWindows/Python3で 第2章: UNIXコマンドの基礎を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第二章をこなしました。