PythonとExcelを使用してデータを処理および分析します。 パート1：データをインポートして環境をセットアップする

Pythonの可能性を探る旅を始めたばかりなら、あなたの知識はまだ初歩的なレベルにあります-この資料はあなたのためです。 この記事では、Excelファイルに表示されるデータから情報を抽出し、ライブラリの基本機能を使用してそれらを操作する方法について説明します。 記事の最初の部分では、必要なライブラリのインストールと環境のセットアップについて説明します。 第2部では、Pythonを使用してテーブルをファイルにロードおよび書き込むために使用できるライブラリの概要を提供し、pandas、openpyxl、xlrd、xlutils、pyexcelなどのライブラリを操作する方法について説明します。



ある時点で、必然的にExcelデータを操作する必要性に出くわすことになり、そのようなデータストレージ形式での作業を楽しむという保証はありません。 そのため、Python開発者は、Excelファイルだけでなく、他の種類のファイルでも、他の操作を読み取り、編集し、実行する便利な方法を実装しています。



出発点-データの可用性



転送

オリジナルの記事-www.datacamp.com/community/tutorials/python-excel-tutorial

Karlijn Willemsによる投稿



データ分析プロジェクトを開始すると、多くの場合、カウンターの助けを借りて、おそらくKaggle、Quandlなどのシステムからデータをアップロードすることにより、収集された統計に出くわします。しかし、ほとんどのデータはまだGoogleまたはリポジトリにあります。他のユーザーと共有します。 このデータは、Excel形式または拡張子が.csvのファイルにすることができます。



データ、大量のデータがあります。 分析-したくない。 どこから始めますか？ データ分析の最初のステップは、検証です。 つまり、受信データの品質を確認する必要があります。

データがテーブルに保存されている場合、データの品質を確認するだけでなく（テーブルのデータが調査のために提起された質問に答えることを確認する必要があります）、このデータを信頼できるかどうかを評価する必要もあります。



テーブル品質チェック



テーブルの品質を確認するには、通常、簡単なチェックリストを使用します。 表のデータは次の条件を満たしていますか？

• データは統計です。
• さまざまなタイプのデータ：時間、計算、結果。
• データは完全で一貫性があります。テーブル内のデータ構造は体系的であり、存在する数式は機能しています。

これらの簡単な質問への回答は、テーブルが標準に違反しているかどうかを判断するのに役立ちます。 もちろん、特定のチェックリストは網羅的ではありません。テーブルのデータをチェックして、テーブルが「“いアヒル」ではないことを確認するためのコンプライアンスのルールが多数あります。 ただし、表に品質データが含まれていることを確認する場合は、上記のチェックリストが最も適切です。



ベストプラクティスの表形式データ



Pythonでテーブルデータを読み取るのは良いことです。 しかし、データも編集したいです。 さらに、テーブル内のデータの編集は、次の条件を満たす必要があります。

• テーブルの最初の行はヘッダー用に予約されており、最初の列はサンプリング単位を識別するために使用されます。
• 名前、値、またはスペースを含むフィールドは避けてください。 そうしないと、各単語が個別の変数として解釈され、データセットの行の要素数に関連するエラーが発生します。 アンダースコア、大文字と小文字（テキストの各セクションの最初の文字は大文字）、または接続語を使用することをお勧めします。
• 短い名前を優先します。
• 文字を含む名前を使用しないようにしてください？、$、％、^、＆、*、（、）、-、＃、？、<、>、/、|、\、[、]、{、および} ;
• 値がNAの追加の列またはフィールドを避けるために、ファイルで行ったコメントを削除します。
• データセットの欠損値がNAとして表示されていることを確認してください。

必要な変更を行った後（またはデータを慎重に確認するとき）、変更が保存されていることを確認してください。 これは、計算に使用された可能性のある数式を維持しながら、必要に応じてデータをもう一度確認、編集、補足、または変更できるため、重要です。



Microsoft Excelを使用している場合は、デフォルトの拡張子に加えて、ファイルを保存するための多数のオプションがあることをご存じでしょう。.xlsまたは.xlsx（「ファイル」タブに移動し、「名前を付けて保存」を選択して、分析のためにデータを保存する-.CSVおよび.））。 保存オプションに応じて、データフィールドは「区切り文字」フィールドを構成するタブまたはコンマで区切られます。 そのため、データがチェックされて保存されます。 ワークスペースの準備を開始します。



ワークスペースの準備



ワークスペースの準備は、定性分析の結果を確認するために最初に行う必要のある作業の1つです。



最初のステップは、作業ディレクトリを確認することです。



ターミナルで作業する場合、まずファイルが置かれているディレクトリに移動してから、Pythonを実行できます。 この場合、ファイルが作業したいディレクトリにあることを確認する必要があります。



確認するには、次のコマンドを入力します。

# Import `os` import os # Retrieve current working directory (`cwd`) cwd = os.getcwd() cwd # Change directory os.chdir("/path/to/your/folder") # List all files and directories in current directory os.listdir('.')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらのコマンドは、データのロードだけでなく、さらなる分析にも重要です。 したがって、すべてのチェックを行って、データを保存し、ワークスペースを準備しました。 既にPythonでデータの読み取りを開始していますか？ :)残念ながらまだです。 最後にやること。



Excelファイルを読み書きするためのパッケージをインストールする



データをインポートするために必要なライブラリがまだわからないという事実にもかかわらず、これらのライブラリをインストールする準備がすべて整っていることを確認する必要があります。 Python 2> = 2.7.9またはPython 3> = 3.4がインストールされている場合、心配する必要はありません-通常、これらのバージョンではすべてが準備されています。 必ず最新バージョンにアップグレードしてください:)



これを行うには、コンピューターで次のコマンドを実行します。

 # For Linux/OS X pip install -U pip setuptools # For Windows python -m pip install -U pip setuptools
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まだpipをインストールしていない場合は、python get-pip.pyスクリプトを実行します。このスクリプトはここにあります （インストール手順とヘルプがあります）。



Anacondaをインストールする



Pythonを使用してデータを分析する場合は、Anaconda Pythonディストリビューションをインストールすることもできます。 これは、データ分析の作業を開始するための簡単で迅速な方法です。データサイエンスに必要なパッケージを個別にインストールする必要はありません。



これは初心者には特に便利ですが、経験豊富な開発者でさえこの方法をよく使用します。アナコンダは、各パッケージを個別にインストールすることなく、いくつかのことをすばやくテストする便利な方法だからです。



Anacondaには、JupyterやSpyderなどのいくつかのオープンソース開発環境でデータを分析するための100の最も人気のあるPython、R、およびScalaライブラリが含まれています。 Jupyter Notebookの使用を開始する場合は 、次のとおりです。



Anacondaをインストールするには、ここにいます。



Pandas DataFrameとしてExcelファイルをダウンロードする



さて、環境をセットアップするためにすべてを行いました！ 今こそ、ファイルのインポートを開始するときです。



データ分析用のファイルをインポートするためによく使用する方法の1つは、Pandasライブラリを使用してインポートすることです（Pandasは、データを処理および分析するためのPythonプログラムライブラリです）。 Pandasは、低レベルのツールであるNumPyライブラリのデータを処理します。 パンダは強力で柔軟なライブラリであり、分析を容易にするためにデータを構造化するために非常に頻繁に使用されます。



Anacondaに既にPandaがある場合は、pd.Excelfile（）を使用してPandas DataFramesにファイルをアップロードするだけです。

 # Import pandas import pandas as pd # Assign spreadsheet filename to `file` file = 'example.xlsx' # Load spreadsheet xl = pd.ExcelFile(file) # Print the sheet names print(xl.sheet_names) # Load a sheet into a DataFrame by name: df1 df1 = xl.parse('Sheet1')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Anacondaをインストールしなかった場合は、pip install pandasを実行して環境にPandasパッケージをインストールし、上記のコマンドを実行します。



.csvファイルを読み取るには、データをDataFrameにロードするための同様の関数：read_csv（）があります。 この関数の使用方法の例を次に示します。

 # Import pandas import pandas as pd # Load csv df = pd.read_csv("example.csv")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この関数が考慮する区切り文字はデフォルトのコンマですが、オプションで代替の区切り文字を指定できます。 インポートするために指定できる他の引数を知りたい場合は、 ドキュメントを参照してください。



Pandas DataFrameをExcelファイルに書き込む方法



データを分析した後、データを新しいファイルに書き込みたいとします。 Pandas DataFramesを記述する方法があります（to_excel関数を使用）。 ただし、この関数を使用する前に、.xlsxファイルの複数のシートにデータを書き込む場合は、XlsxWriterがインストールされていることを確認してください。

 # Install `XlsxWriter` pip install XlsxWriter # Specify a writer writer = pd.ExcelWriter('example.xlsx', engine='xlsxwriter') # Write your DataFrame to a file yourData.to_excel(writer, 'Sheet1') # Save the result writer.save()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードスニペットはExcelWriterを使用してDataFrameを出力することに注意してください。 つまり、ライター変数をto_excel（）に渡し、シートの名前を指定します。 したがって、既存のワークブックにデータシートを追加します。 ExcelWriterを使用して、複数の異なるDataFrameを1つのブックに保存することもできます。



つまり、1つのDataFrameファイルをファイルに保存するだけであれば、XlsxWriterライブラリをインストールせずに実行できます。 pd.ExcelWriter（）関数に渡される引数を指定しないでください。残りのステップは変更されません。



.csvファイルの読み取りに使用される関数と同様に、結果をコンマ区切りファイルに書き戻すto_csv（）関数もあります。 ファイルを読み込むために使用したときと同じように機能します。

 # Write the DataFrame to csv df.to_csv("example.csv")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

タブ付きの別のファイルが必要な場合は、sep引数に\ tを渡すことができます。 ファイルの出力に使用できる他のさまざまな関数があることに注意してください。 ここにあります 。



仮想環境を使用する



ライブラリをインストールするための一般的なヒントは、システムライブラリのない仮想Python環境にインストールすることです。 virtualenvを使用してPythonサンドボックスを作成できます。Pythonが必要とするライブラリを使用するために必要なすべてを含むフォルダーが作成されます。



virtualenvを開始するには、まずインストールする必要があります。 次に、プロジェクトが配置されるディレクトリに移動します。 このフォルダーにvirtualenvを作成し、必要に応じてPythonの特定のバージョンにロードします。 その後、仮想環境をアクティブ化します。 これで、他のライブラリのロードを開始し、それらの操作を開始できます。



完了したら、環境をオフにすることを忘れないでください！

 # Install virtualenv $ pip install virtualenv # Go to the folder of your project $ cd my_folder # Create a virtual environment `venv` $ virtualenv venv # Indicate the Python interpreter to use for `venv` $ virtualenv -p /usr/bin/python2.7 venv # Activate `venv` $ source venv/bin/activate # Deactivate `venv` $ deactivate
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Pythonでデータ分析の最初のステップを実行する場合、最初は仮想環境に問題があるように見えるかもしれません。 特に、プロジェクトが1つしかない場合、仮想環境が必要な理由がまったく理解できないかもしれません。



しかし、複数のプロジェクトを同時に実行していて、同じPythonインストールを使用したくない場合はどうでしょうか？ または、プロジェクトに矛盾する要件がある場合。 このような場合、仮想環境は理想的なソリューションです。



記事の第2部では、データ分析用のメインライブラリについて説明します。

継続するには...