HYT MachineWorks

やったこととか思いついたことをメモしておくブログです。

Python

自然言語処理100本ノックをWindows/Python3で 第七章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第七章をこなしました。

Flaskで、Pythonを使ってwebアプリを作る Windows10 64bit (自然言語処理100本ノック7章 69番を解く)

Flaskとは? http://flask.pocoo.org/ Pythonをベースに作られた軽量webフレームワークです。一から頑張らなくても比較的カンタンにwebアプリが作れます。 これを使って簡単なwebアプリを作って見たのでメモ。正確には、自然言語処理100本ノックの7章 69番の…

Windows10 64bitでPythonからMongoDB(DocumentStore)を使ってみる

MongoDBとは? 所謂、NoSQLの一種で、Document Storeと言われるタイプのデータベースです。 エクセルで例えると、行をJSONで表現して、表全体をJSONの集まりとして表現したようなものです、そんな感じです。 JSONで扱えるので、そのまま辞書型に変換して、終…

Windows10 64bit + Miniconda 上でcondaからpycryptoのインストールにハマった件

pycryotoとは 指定した文字列を色々な暗号化アルゴリズムで暗号化できるパッケージpycrypto pypi.org conda でもpipを使わなくてもインストールできて >conda install pycrypto でインストールされたように見えます。でも、使えないのです。その解決法*1 *1:…

Windows10 64bitでPythonからRedis(KVS)を使ってみる

Redisとは? 所謂、NoSQLの一種で、KVS(Key Value Store)と言われるタイプのデータベースです。 Key:「正解は?」 Value:「越後製菓!」 みたいに、キーと値を結びつけて管理するタイプになってます。これをPythonから使ってみたのでメモ。 https://redis.…

Windows の PyCharm64bitで4GB以上のメモリを使う方法

以前取り上げた、PyCharmを64bitで使う方法ですが。。。 hytmachineworks.hatenablog.com 現時点のversion17.3だとインストーラで途中で64bitかどうか聞かれてYESと答えれば何もしなくても使えるよう様になったみたいです。 ですが、それだけでは、750MBしか…

自然言語処理100本ノックをWindows/Python3で 第六章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第六章をこなしました。

networkxとpygraphvizを使って日本語を含むグラフを作画する(Python3, Windows7 64bit)

networkxとpygraphvizを使ってネットワークの作画 python向けのネットワーク解析パッケージであるnetworkxとその作画にgraphvizを用いる際のラッパーであるpygraphvizを組み合わせてグラフを作図してみました。その際に日本語を豆腐にしないで表示する方法の…

自然言語処理100本ノックをWindows/Python3で 第五章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第五章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第四章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第四章をこなしました。

forで、apendしたり、forにforしてネストが深くなる問題を回避する

forで、apendしたり、forにforをしてネストが深くなる問題とは Pythonで色々処理をするときに、listを forでループさせることや、forでリストを作ったりすることがあると思います。いろいろ組み合わせたくてforにforを重ねてどんどんネストが深くなってしま…

自然言語処理100本ノックをWindows/Python3で 第三章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第三章をこなしました。

Pythonの正規表現で、括弧に囲まれた括弧を取る方法

カッコに囲まれたカッコとは <あか<abcdef>さたな><はま<abcdef>やらわ> みたいな文から <あか<abcdef>さたな> <はま<abcdef>やらわ> を取り出したいと言うことです。簡単そうに見えてハマったのでメモ。</abcdef></abcdef></abcdef></abcdef>

自然言語処理100本ノックをWindows/Python3で 第二章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第二章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第一章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。初歩的な内容から応用的な内容まで含まれているのでこれをこなしてみることにしました。*1。ただ、OSを*NIXを使う前提っぽい感じがあってWindowsでやる…

PowerShellでadmin権限無しでcondaで仮想環境の切替や、proxy越しにcondaやpipを使う

PowerShellとは Windowsに搭載されている、コマンドプロンプトに変わる次世代のシェル環境になります。以前紹介した、msys2を使ってcondaやpipを使う方法を思いついた際は、管理者権限を持っていないと出来ないと思っていましたができる方法が分かったのでメ…

Google Noto Fontsを使ってmatplotlibとseabornでNo 豆腐する(文字化け回避)(Windows)

より良いmatplotlibとseabornでの文字化け回避の方法 以前、ライブラリの大本のフォント設定を変える方法での対応をメモした。 hytmachineworks.hatenablog.com だが、Google様とAdobe様がフリーの豆腐をなくすためのフォントを公開してくださったので、シス…

python-igraphをwindowsにインストールする(python3)

ネットワーク分析パッケージpython-igraph pythonではnetworkxのほうが有名っぽいですがigraphにしか実装されていない機能もあったりしたのでインストールしてみました。思いの外めんどかったのでメモ*1 *1:Rだと超簡単なのにね・・・

pycairoをwindowsでインストールする(python3)

windowsにpycairoを入れるには課題が cairoのpythonバインディングであるpycairoのインストールですが、流れとしては以下の流れで入るのですが cairoをインストール pycairoを非公式バイナリを落としてインストールです。 ただ、cairoのインストールに引っか…

リストで順序を維持したまま重複を削除する(Python3)

Pythonのリストを順序を維持したまま重複を削除する方法 よく下のようなやり方をネット上で見かけます。 a = ["b", "c", "a", "f", "c", "d"]b = sorted(set(a), key=a.index)print(b) >>>> ['b', 'c', 'a', 'f', 'd'] これでいいと思っていたんですが、最近…

pyreadlineを入れてipythonの補完機能を強化する(Windows)

IPython(Windows)の不満点 Pythonの対話型シェルに補完機能等を追加したiPythonですが、微妙に補完されなかったりしてイライラしてたんですがいいものがあると知ったのでメモ

seabornとmatplotlibで豆腐を回避(文字化け回避)して日本語を表示する

seabornとmatplotlibで豆腐を回避とは? matplotlibやそのラッパーであるseabornでは、デフォルトの環境で日本語を軸や凡例に用いると 日本語 → □□□ という風に文字化けする。その文字の見た目から豆腐とも呼ばれる。その回避方法をバージョンupと入れ直す度…

msys2を使ってproxy下でcondaやpipを使う(windows7 64bit)

pipとcondaをproxy下でadmin権限無しで使う方法のメモ Pythonのパッケージ管理ツールであるpipやcondaは更新情報とかをインターネット上から取得する。だが、proxyが設定されている環境下ではうまく動かないというかアクセス出来なくて困っていたのをmsys2に…

conda update --allが上手くいかない理由が分かった(Windows7 64bit admin権限無し)

conda update --allにまつわる不具合の恒久対策メモ ほとんど、タイトルでネタバレしてますが、先日、下のエントリでconda update --allが出来なくなったという話を書いたその続き hytmachineworks.hatenablog.com

Python3の環境でmecab-pythonを使い、さらにWindows7 64bitで、mecab-ipadic-neologdを使う

windows7のPython3でmecab-pythonを入れたのでメモ。 mecab-pythonをpython3用にビルドしインストール。さらに、辞書を標準のipadicの不具合修正と最新の新語に強いmecab-ipadic-neologdをインストールした。

PyCharmでGoogle日本語入力を使う小技(windows7)

最強のpython IDE"PyCharm"なんだけどの最大の弱点? 困ったのがGoogle日本語入力のサジェスト入力を受け付けない。 というか、画面の左下に張り付いて動かない。 変換しても文字を覆って見えない。

PyCharm Community editionを64bitで使う小技

PyCharmは、インストール直後は何故か32bitで動作している・・・ それを、追加ソフト等無しで64bitで使うちょっと小技をメモする

conda update --allが出来なくて焦る

Anacondaのパッケージ管理ツールであるcondaそのアップデート方法のコマンド conda update --all が動かなくて困ったので色々試してみた作業メモ [2017/3/15追記] 根本的な原因がわかったので新しいエントリを書きました。新しいエントリの方法でやれば、con…

python3の環境上でpygraphvizを入れる(windows7 64bit)

前回、linuxでの入れ方をメモしたpygraphvizだけど、windowsでも出来たからメモ。 ただ、1.3.1だけどね・・・ 環境 windows7 64bit anaconda python3.5 64bit Visual C++ Build Tools 2015 (vc14.0) landinghub.visualstudio.com

python3の環境上でpygraphvizを入れる(linux mint)

カッコイイグラフを書きたくてpygraphvizを入れようとしたんだけどつまずいたのでメモ 環境 Linux Mint 18.1 32bitanaconda python3