HYT MachineWorks

やったこととか思いついたことをメモしておくブログです。

Windows

pandasでShift JIS(cp932)で書き出す時のUnicodeErrorと戦う(Pyhton3 windows10)

pandasでShift JISで書き出す際に出るUnicode Errorとは? 以下のようなコードでpandasでshift JIS(cp932)でcsvを書き出そうとすると import pandas as pd# エラーが出るデータを作成unicode_data = [["全角\u0020スペース\n", "\xA0ノンブレークスペース"] …

Python3 / Windowsで文字コード判定してテキスト読み込みする

文字コード判定とは、 テキストを人が読めるように文字列に変換するのですが、その変換規則のことです。最近は、Unicodeといって、Python3のコード様にUTF-8で書かれていることも増えましたが、Windows上では未だに、ShiftJIS(cp932)やEUC-JPなどの日本語の…

自然言語処理100本ノックをWindows/Python3で 第七章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第七章をこなしました。

Flaskで、Pythonを使ってwebアプリを作る Windows10 64bit (自然言語処理100本ノック7章 69番を解く)

Flaskとは? http://flask.pocoo.org/ Pythonをベースに作られた軽量webフレームワークです。一から頑張らなくても比較的カンタンにwebアプリが作れます。 これを使って簡単なwebアプリを作って見たのでメモ。正確には、自然言語処理100本ノックの7章 69番の…

Windows10 64bitでPythonからMongoDB(DocumentStore)を使ってみる

MongoDBとは? 所謂、NoSQLの一種で、Document Storeと言われるタイプのデータベースです。 エクセルで例えると、行をJSONで表現して、表全体をJSONの集まりとして表現したようなものです、そんな感じです。 JSONで扱えるので、そのまま辞書型に変換して、終…

Windows10 64bit + Miniconda 上でcondaからpycryptoのインストールにハマった件

pycryotoとは 指定した文字列を色々な暗号化アルゴリズムで暗号化できるパッケージpycrypto pypi.org conda でもpipを使わなくてもインストールできて >conda install pycrypto でインストールされたように見えます。でも、使えないのです。その解決法*1 *1:…

Windows10 64bitでPythonからRedis(KVS)を使ってみる

Redisとは? 所謂、NoSQLの一種で、KVS(Key Value Store)と言われるタイプのデータベースです。 Key:「正解は?」 Value:「越後製菓!」 みたいに、キーと値を結びつけて管理するタイプになってます。これをPythonから使ってみたのでメモ。 https://redis.…

Windows の PyCharm64bitで4GB以上のメモリを使う方法

以前取り上げた、PyCharmを64bitで使う方法ですが。。。 hytmachineworks.hatenablog.com 現時点のversion17.3だとインストーラで途中で64bitかどうか聞かれてYESと答えれば何もしなくても使えるよう様になったみたいです。 ですが、それだけでは、750MBしか…

自然言語処理100本ノックをWindows/Python3で 第六章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第六章をこなしました。

networkxとpygraphvizを使って日本語を含むグラフを作画する(Python3, Windows7 64bit)

networkxとpygraphvizを使ってネットワークの作画 python向けのネットワーク解析パッケージであるnetworkxとその作画にgraphvizを用いる際のラッパーであるpygraphvizを組み合わせてグラフを作図してみました。その際に日本語を豆腐にしないで表示する方法の…

Stanford NLPを使う (Windows7 64bit)

Stanford NLPとは、 Stanford大学の自然言語処理グループが開発した多言語(でも、日本語には対応してない)に対応した自然言語処理用パッケージです。他言語版MeCab+CaboChaみたいなものです。 インストールと、使用方法で手間取ったんでメモ

Gephiが動かない原因がわかった(Windows)

Gephiとは? Gephiは、オープンソースのグラフ可視化・操作ソフトウエアで、超かっこいいグラフが書けちゃうソフトです。ですが、インストールしても、起動中の表示が出るものの立ち上がらない・・・ いろいろ、やって解決したのでメモします。 oss.infoscie…

自然言語処理100本ノックをWindows/Python3で 第五章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第五章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第四章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第四章をこなしました。

Windows Subsystem for Linux上のUbuntuでmecabとcabochaを使う

Windows Subsystem for Linuxとは Windows上に直接Linuxの実行環境を作るものです。CreaterUpdateでは、Bash on Ubuntu on Windowsとして搭載されましたが、この度Windows10で、アップストアからubuntuとして利用可能になりました。これを使って、これまで仮…

自然言語処理100本ノックをWindows/Python3で 第二章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。 www.cl.ecei.tohoku.ac.jp 前回に引き続いて第二章をこなしました。

自然言語処理100本ノックをWindows/Python3で 第一章を解く

自然言語処理100本ノックとは、 東北大学の乾・岡崎研究室にて公開されている自然言語処理の問題集です。初歩的な内容から応用的な内容まで含まれているのでこれをこなしてみることにしました。*1。ただ、OSを*NIXを使う前提っぽい感じがあってWindowsでやる…

PowerShellでadmin権限無しでcondaで仮想環境の切替や、proxy越しにcondaやpipを使う

PowerShellとは Windowsに搭載されている、コマンドプロンプトに変わる次世代のシェル環境になります。以前紹介した、msys2を使ってcondaやpipを使う方法を思いついた際は、管理者権限を持っていないと出来ないと思っていましたができる方法が分かったのでメ…

Windows Helloを設定して生体認証で三倍早くログインする

Windows Helloとは これまで、windows7の頃に買ったパソコンについていた指紋認証は、メーカ純正のソフトで行っていました。それをWindowsの標準の機能としてwindows10に搭載された新機能です。マイクロソフト曰く Windows Hello なら、Windows デバイスに 2…

Windows10上でセーフモードで立ち上げる方法

これまでのF8作戦では、立ち上げられない これまでのwindowsはF8を押しながら立ち上げればセーフモードに入ることが出来ましたが、windows10では無くなったようでちょっと焦ったのでメモ

VirtualBoxを使ってwindows7のマシン1台でmecab-ipadic-neologdをインストールする

mecab-ipadic-neologdのコンパイルを1台のマシンで済ませたい 以前、mecab-pythonとmecab-ipadic-neologdのインストールをメモしたが、mecab-ipadic-neologdを別のlinuxマシンでコンパイルしてインストールしていた。VirtualBoxを使い、ホストOSとゲストOSの…

GitBucketをTomcatを使わずサービス化してプライベートGitを構築

社内ネットワークで分散バージョン管理に取り組む プログラミングだけでなく何かを作ろうとした時に、困るのはバージョン管理だと思おいます。 プログラム.py プログラム_途中.py プログラム_最新.py プログラム_最新20170604.py みたいな感じで何がなんだか…

Google Noto Fontsを使ってmatplotlibとseabornでNo 豆腐する(文字化け回避)(Windows)

より良いmatplotlibとseabornでの文字化け回避の方法 以前、ライブラリの大本のフォント設定を変える方法での対応をメモした。 hytmachineworks.hatenablog.com だが、Google様とAdobe様がフリーの豆腐をなくすためのフォントを公開してくださったので、シス…

python-igraphをwindowsにインストールする(python3)

ネットワーク分析パッケージpython-igraph pythonではnetworkxのほうが有名っぽいですがigraphにしか実装されていない機能もあったりしたのでインストールしてみました。思いの外めんどかったのでメモ*1 *1:Rだと超簡単なのにね・・・

pycairoをwindowsでインストールする(python3)

windowsにpycairoを入れるには課題が cairoのpythonバインディングであるpycairoのインストールですが、流れとしては以下の流れで入るのですが cairoをインストール pycairoを非公式バイナリを落としてインストールです。 ただ、cairoのインストールに引っか…

Firefoxの設定を他のPCに引っ越す(windows)

Firefoxの設定ファイルのありかの調べ方 メインで使っているブラウザはFirefoxなんですが、その設定を引っ越す時にFirefoxは変なところに設定ファイルがあって分かりづらい。

pyreadlineを入れてipythonの補完機能を強化する(Windows)

IPython(Windows)の不満点 Pythonの対話型シェルに補完機能等を追加したiPythonですが、微妙に補完されなかったりしてイライラしてたんですがいいものがあると知ったのでメモ

seabornとmatplotlibで豆腐を回避(文字化け回避)して日本語を表示する

seabornとmatplotlibで豆腐を回避とは? matplotlibやそのラッパーであるseabornでは、デフォルトの環境で日本語を軸や凡例に用いると 日本語 → □□□ という風に文字化けする。その文字の見た目から豆腐とも呼ばれる。その回避方法をバージョンupと入れ直す度…

msys2を使ってproxy下でcondaやpipを使う(windows7 64bit)

pipとcondaをproxy下でadmin権限無しで使う方法のメモ Pythonのパッケージ管理ツールであるpipやcondaは更新情報とかをインターネット上から取得する。だが、proxyが設定されている環境下ではうまく動かないというかアクセス出来なくて困っていたのをmsys2に…

conda update --allが上手くいかない理由が分かった(Windows7 64bit admin権限無し)

conda update --allにまつわる不具合の恒久対策メモ ほとんど、タイトルでネタバレしてますが、先日、下のエントリでconda update --allが出来なくなったという話を書いたその続き hytmachineworks.hatenablog.com