shobylogy

叩けシンプルの杖

Pythonでの複雑なページをスクレイピングする(requests-html + pyppeteer)

Pythonでスクレイピングをする場合、requests-htmlが便利ですが、 JSで構築された複雑なページなどをスクレイピングしたい場合、物足りなくなるケースが出てきます。 今回は、requests-htmlが内部で使用しているpyppeteerと組み合わせて、 複雑なWebページを…

ポータルサイトで見つけた物件の正確な住所を特定する

SUUMOやat home、HOME'S等の不動産ポータルサイトでは、物件の住所は町丁までしか公開されていません。 そのため、そのままでは物件周辺の情報を調べたり、物件の登記情報を取得したりすることは困難です。 今回は、各種ツールを用いて、可能な限り正確な住…

Pythonで数十万件の住所データを緯度経度に変換する(pydams)

不動産の分析に取り掛かる際、重要な前処理の一つがgeocodingと呼ばれる住所データの緯度経度変換です。 文字列情報である住所を数値情報である緯度経度に変換することで、分析を行いやすくすることができます。 このgeocodingを数十万件単位で行いたい場合…

市区町村より細かい粒度の昼間人口を推計する

不動産投資の分析において、エリア傾向を図る一つの指標が昼間人口です。 昼間人口を夜間人口と比較することで、そのエリアが通勤・通学先であるか、ベッドタウンかを判定することができ、 どのような物件が求められているかを推測することができます。 ja.w…

新しい不動産の活用方法

近年、シェアリングエコノミーなどの台頭により、不動産活用方法の広がることで、新たな不動産投資の方法が生まれてきました。 今回は、新しい不動産投資を考えるきっかけとして、居住用、オフィス用といった一般的な不動産投資以外の新たな不動産活用法につ…

不動産における入居率の計算方法について

不動産投資に関連する分析において、入居率は意思決定に関わる重要な指標になり得ます。 入居率データは不動産管理会社などが公表していますが、それらの定義は公開されていないことが多いです。 今回は入居率がどのような方法で計算されているのか、利用す…

不動産の家賃相場分析はなぜ難しいのか

事業として不動産を獲得する場合、同等の条件の物件の家賃相場を知ることが重要になります。 しかし、この家賃相場を定量的に分析するのは難しく、高い精度で相場を予測することは困難です。 今回は、なぜ不動産の家賃相場分析が難しいのか、その主な理由を…

不動産投資を行う際の分析手順

今回は事業として不動産投資を行うに当たり、実際の不動産を取得するまでにどのような手順で分析を進めるべきかをご紹介します。 基本的にはマクロからミクロへ、国->都道府県->エリア->相場->個別物件の順で分析を行います。 国・都道府県・エリア・個別物…

【不動産エリア分析】政府統計から駅の乗降客数を取得する

今回は、不動産の分析において重要となる駅の乗降客数を政府統計から取得する方法をご紹介します。 駅徒歩10分以内の人口等を取得する場合はこちらの記事をご参照ください。 blog.shoby.jp 駅の乗降客数が示すもの 駅の乗降客数の調べ方 まとめ 駅の乗降客数…

【不動産エリア分析】駅徒歩10分以内エリアのポテンシャルを測る

今回は、事業として不動産を調達していく上で欠かせないエリア分析の方法をご紹介します。 具体例として、駅徒歩10分エリアのポテンシャルを測り、どの駅近辺の物件を獲得するべきかの判断をするケースを想定します。 不動産エリア分析とは 商圏分析 商圏分…

政府統計から市区町村ごとの空室率を出す

不動産の分析において重要なのが空室率です。 空室率を見ることで、そのエリアの不動産の需給バランスが適切かどうかを判定することができます。 今回は、住宅・土地統計調査という政府の統計データから、市区町村ごとの空室率を出す方法をご紹介します。 住…

不動産データを抱えるレインズとは何か

前回、不動産テックのためのデータはどこにあるのかを調査したところ、レインズというサービスが出てきました。 今回は、多くの不動産データを抱えるレインズというサービスについて調べた結果をお伝えします。 レインズとは レインズのデータについて レイ…

不動産テックのためのデータセットはどこにあるのか

近年、不動産テックといった文脈で「不動産ビッグデータ」や「不動産AI」といった話をよく聞きます。 とは言え、そんな分析に使えるデータセットはどこにあるのでしょうか。 結論としては「都合の良いデータセットはない」という話になってしまうのですが、…

不動産価格推定サービスと精度まとめ

近年、USで不動産価格推定サービスが盛り上がっているおかげで、日本でも不動産テックや不動産価格推定といった言葉をよく聞くようになりました。 個人的に気になったため、巷でよく聞く不動産価格推定サービスの推定精度をまとめました。 海外 Zillow https…

Redashを用いたデータの民主化を進めやすくするための工夫

エンジニア、データサイエンティストの皆さん、こんにちは。 事業におけるデータの重要性が増した昨今、皆さんはビジネスサイドからの「こんなデータを出して欲しい!」といった要望に忙殺されていませんか? 往々にして、データ抽出作業は専門家による聖域…

Redashでユーザーのpasswordをリセットする

Redash 4.0.0以降の場合、admin権限があれば管理画面から任意のユーザーのpasswordを再発行することができる。 Redash 4.0.0未満、もしくはadminユーザーのpasswordが分からなくなった場合、サーバーに入ることができれば、cliからpasswordをリセットするこ…

Amazon AthenaでCSVに含まれていない情報をS3のフォルダ名から取得する

Amazon AthenaでCSVに含まれていない情報をS3のフォルダ名から取得する場合に苦労したため、解決方法を紹介しておきます。 結論から言うと、partition分割を使い、フォルダ毎にpartitionとして読み込むことで、AthenaのSQLからフォルダ名を参照することでき…

S3に貯めてあるログデータを短い準備期間で分析可能な状態にする

S3に貯めているログデータを短い準備期間で分析可能な状態にする必要に迫られたため、AWSのサービスで実現する方法を検討しました。 基本的には、Amazon Athena、もしくはAmazon Redshift Spectrumを使い、S3上のファイルに対して直接クエリを打てる状態にす…

スタートアップでの分析用ツール選定基準

今回は、スタートアップで分析用のツール導入を求められた場合の選定基準について、考えてみました。 スタートアップで分析業務にツールを使用する場合は、そのツールで問題解決が可能かどうか、費用対効果に見合うのかを考えた上で、そのツールが分析の専門…

分析業務でSQLを書くのに使っているツール

皆さんは分析業務でSQLを書く際には、どのようなツールを使っているでしょうか。 主に以下の2つのツールを使っています。 Sequel Pro DataGrip 主にSequel Proはビューアとして、DataGripはエディタとして利用しています。 Sequel Pro Sequel Proはオープン…

BinanceのAPIとサードパーティのPython Library

アルトコインの取引所として有名なBinanceは、WebSocketとRESTのAPIを提供しており、板情報はWebSocket、注文はREST、というように使い分けることができる。 また、サードパーティのPyhon Libraryが存在するため、簡単にbotの開発を行うことができる。 Binan…

家事の効率化を目指す上での考え方

最近は家事の効率化に興味があります。 私がどのような考えで家事の効率化を行っているかをご紹介します。 なお、以下の内容は一人暮らしの方を想定しています。 概要 タスクを削減する 大きなタスクを細かいタスクに分割する タスクを並列処理する タスクを…

投資をする上で役に立った書籍などの情報ソース

投資をする上で役に立った書籍などの情報ソースを紹介します。 女子高生株塾 マンガでわかる株式投資! 女子高生株塾―一番売れている株の雑誌ZAiのNo.1人気連載が待望の単行本化!作者: ホイチョイ・プロダクションズ出版社/メーカー: ダイヤモンド社発売日: 2…

風邪を引いた時にAmazon Prime Nowで頼める物

Amazon Prime Nowは風邪を引いた時に大変ありがたいサービスです。 今日はその中でも、特に風邪を引いた時にピッタリの物を紹介します。 飲み物 大塚製薬 ポカリスエット 1500ml×8本出版社/メーカー: 大塚製薬メディア: 食品&飲料この商品を含むブログを見る…

コーポレートファイナンス読書ログ:第2章

概要 企業の財務上の目的について。 企業は、純現在価値が正の投資プロジェクトに対して投資をすることを目的とする。 純現在価値が正であるということは、投資の収益率が資本の機会費用よりも高いことを意味する。 この目的を達成することで、株主の富を最…

コーポレートファイナンス読書ログ:第1章

最近、コーポレートファイナンスを読んでいるので読書ログを記事にする。 コーポレート・ファイナンス 第10版 上作者: リチャード・A・ブリーリー,スチュワート・C・マイヤーズ,フランクリン・アレン,藤井眞理子,國枝繁樹出版社/メーカー: 日経BP社発売日: 2…

最近読んでいる、読もうと思っている本

忘れて積んでしまいがちなのでメモがてら宣言しておきます。 最近は、統計学、ファイナンスに興味がある感じです。 読んでいる 完全独習 統計学入門作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メディア: 単行本(ソフトカバー)購入: …

被災地支援で実費の数倍上乗せして寄付をする(ふるさと納税)

九州が記録的豪雨に見舞われているようですね。 https://headlines.yahoo.co.jp/hl?a=20170705-00000010-rescuenow-sociheadlines.yahoo.co.jp 災害が起こるたび、より効果的な寄付をしたい、ということを考えていたのですが、実費の数倍上乗せして寄付をす…

一人暮らしでも家事代行サービスを使うのがオススメ

最近、家事代行サービスで掃除頼むようになりました。 家事代行サービスは主に主婦向けと考えられていますが、一人暮らしの方もぜひ利用すると良いと感じたので紹介します。 概要 なぜ家事代行サービスを利用したか 時間をお金で買える 休日のやる気が損なわ…

料理を並列化して夕食の品数を増やす(一人暮らし向け)

最近は、健康のため、可能な限り一食の品数を増やし、バランスの良い食事を心がけています。 今回は、一人暮らしの狭いキッチン、コンロ一つという条件下で料理を並列化し、可能な限り品数を増やす方法をご紹介します。 実際の結果がこのような感じになりま…