エンジニア、データサイエンティストの皆さん、こんにちは。 事業におけるデータの重要性が増した昨今、皆さんはビジネスサイドからの「こんなデータを出して欲しい！」といった要望に忙殺されていませんか？ 往々にして、データ抽出作業は専門家による聖域…

Redash 4.0.0以降の場合、admin権限があれば管理画面から任意のユーザーのpasswordを再発行することができる。 Redash 4.0.0未満、もしくはadminユーザーのpasswordが分からなくなった場合、サーバーに入ることができれば、cliからpasswordをリセットするこ…

Amazon AthenaでCSVに含まれていない情報をS3のフォルダ名から取得する場合に苦労したため、解決方法を紹介しておきます。 結論から言うと、partition分割を使い、フォルダ毎にpartitionとして読み込むことで、AthenaのSQLからフォルダ名を参照することでき…

S3に貯めているログデータを短い準備期間で分析可能な状態にする必要に迫られたため、AWSのサービスで実現する方法を検討しました。 基本的には、Amazon Athena、もしくはAmazon Redshift Spectrumを使い、S3上のファイルに対して直接クエリを打てる状態にす…

今回は、スタートアップで分析用のツール導入を求められた場合の選定基準について、考えてみました。 スタートアップで分析業務にツールを使用する場合は、そのツールで問題解決が可能かどうか、費用対効果に見合うのかを考えた上で、そのツールが分析の専門…

皆さんは分析業務でSQLを書く際には、どのようなツールを使っているでしょうか。 主に以下の2つのツールを使っています。 Sequel Pro DataGrip 主にSequel Proはビューアとして、DataGripはエディタとして利用しています。 Sequel Pro Sequel Proはオープン…

アルトコインの取引所として有名なBinanceは、WebSocketとRESTのAPIを提供しており、板情報はWebSocket、注文はREST、というように使い分けることができる。 また、サードパーティのPyhon Libraryが存在するため、簡単にbotの開発を行うことができる。 Binan…