Excel VBAでWebサイトから情報を抽出！初心者「おっさん」でもできるAmazon商品データ取得術

この記事では、Excel VBAを使ってWebサイトから商品タイトルと価格を抽出し、Excelに自動的にデータを入力する方法を解説します。特に、プログラミング初心者の方や、パソコン歴が浅い「おっさん」と呼ばれるような方々でも理解できるよう、具体的な手順と注意点を丁寧に説明します。Amazonの商品データを例に、実際のコードとステップを追いながら、あなたもWebスクレイピングの第一歩を踏み出しましょう。

Excel VBAの質問です。

画像のサイトから商品タイトルと価格を抽出し、Excelに落とすという流れを作りたいのですが解説サイトを見ても混乱中です。

以下が関係してるのか？と思いつつパソコン歴の浅い「おっさん」が奮闘中です。

商品タイトル

<title>Amazon.co.jp： Adobe Illustrator CC 単体サブスクリプション(月々払い)[定期購入] 【2,000円分のギフト券プレゼント※12か月プランのみ対象】: ソフトウェア</title>

価格

<span class=”a-size-small a-color-price aok-float-right”>￥ 2,354/月</span>補足サイトは以下です。

Excel VBAを使ってWebサイトから情報を取得する技術は、データ分析、業務効率化、副業など、様々な場面で役立ちます。この記事では、Webスクレイピングの基礎から、具体的なコードの実装、そしてエラーへの対処法まで、わかりやすく解説します。初心者の方でも、この記事を読めば、Excel VBAを使ってWebサイトから必要な情報を抽出し、日々の業務に活かせるようになります。

1. Webスクレイピングとは？基礎知識を理解しよう

Webスクレイピングとは、Webサイトから特定の情報をプログラムを使って自動的に抽出する技術のことです。手作業でWebサイトから情報をコピー＆ペーストする代わりに、スクレイピングを用いることで、大量のデータを効率的に収集し、分析することができます。

Webスクレイピングのメリット:
- 効率化: 手作業に比べて圧倒的に速く、大量の情報を収集できます。
- 自動化: 定期的なデータ収集を自動化し、業務効率を向上させます。
- データ分析: 収集したデータを分析し、ビジネス上の意思決定に役立てます。
Webスクレイピングの注意点:
- 利用規約の遵守: Webサイトの利用規約を確認し、スクレイピングが許可されているかを確認しましょう。
- robots.txt: Webサイトのrobots.txtファイルを確認し、スクレイピングを許可されていないページは避けましょう。
- 負荷への配慮: Webサイトへの過度なアクセスは、サーバーに負荷をかける可能性があります。アクセス頻度を調整するなど、配慮が必要です。

2. Excel VBAでWebスクレイピングを始める準備

Excel VBAでWebスクレイピングを行うためには、いくつかの準備が必要です。ここでは、必要なツールと設定について説明します。

Excelの準備:
- Excelのバージョン: Excel 2010以降のバージョンであれば、基本的なWebスクレイピング機能を利用できます。
- 開発者タブの表示: Excelの「ファイル」→「オプション」→「リボンのユーザー設定」で、「開発」タブにチェックを入れて表示させます。
必要なライブラリの追加:
- Microsoft XML, v6.0: VBAエディタを開き、「ツール」→「参照設定」で「Microsoft XML, v6.0」にチェックを入れます。
- Microsoft Internet Controls: 同様に、「Microsoft Internet Controls」にチェックを入れます。
セキュリティ設定:
- マクロの有効化: Excelのセキュリティ設定で、マクロを有効にする必要があります。「ファイル」→「オプション」→「セキュリティセンター」→「セキュリティセンターの設定」→「マクロの設定」で、「すべてのマクロを有効にする」を選択するか、「デジタル署名されたマクロだけを有効にする」を選択します。

3. Webサイトから情報を抽出するVBAコードの書き方

ここでは、具体的なVBAコードの書き方について解説します。Amazonの商品ページから商品タイトルと価格を抽出するコードを例に、ステップごとに説明します。

ステップ1: WebページのHTMLを取得する

まず、WebサイトのHTMLソースコードを取得します。このコードは、Webページの情報を読み込むために必要です。


Sub GetAmazonData()
    Dim objHTTP As Object
    Dim strURL As String
    Dim strHTML As String

    ' Amazonの商品ページのURLを指定
    strURL = "http://www.amazon.co.jp/Adobe-Illustrator-%E3%82%B5%E3%83%96%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3-%E6%9C%88%E3%80%85%E6%89%95%E3%81%84-000%E5%86%86%E5%88%86%E3%81%AE%E3%82%AE%E3%83%95%E3%83%88%E5%88%B8%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%88%E2%80%BB12%E6%9C%88%E3%81%8B%E6%9C%88%E3%83%97%E3%83%A9%E3%83%B3%E3%81%AE%E3%81%BF%E5%AF%BE%E8%B1%A1%E3%80%91/dp/B016YBMAKQ/ref=pd_rhf_gw_p_img_1?ie=UTF8&refRID=1AEE0XGTDHKME0S8WM4T"

    ' HTTPオブジェクトを作成
    Set objHTTP = CreateObject("MSXML2.XMLHTTP")

    ' Webページにアクセス
    With objHTTP
        .Open "GET", strURL, False
        .send
        strHTML = .responseText
    End With

    ' 取得したHTMLを表示（確認用）
    Debug.Print strHTML

    ' オブジェクトを解放
    Set objHTTP = Nothing

End Sub

ステップ2: HTMLから商品タイトルを抽出する

次に、HTMLソースコードから商品タイトルを抽出します。商品タイトルは、HTMLの特定のタグ（例: <meta>タグのcontent属性）に含まれていることが多いです。ここでは、正規表現を使って抽出する方法を紹介します。


Sub GetAmazonData()
    Dim objHTTP As Object
    Dim strURL As String
    Dim strHTML As String
    Dim objRegExp As Object
    Dim strTitle As String

    ' Amazonの商品ページのURLを指定
    strURL = "http://www.amazon.co.jp/Adobe-Illustrator-%E3%82%B5%E3%83%96%E3%82%AF%E3%83%AA%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3-%E6%9C%88%E3%80%85%E6%89%95%E3%81%84-000%E5%86%86%E5%88%86%E3%81%AE%E3%82%AE%E3%83%95%E3%83%88%E5%88%88%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%88%E2%80%BB12%E6%9C%88%E3%81%8B%E6%9C%88%E3%83%97%E3%83%A9%E3%83%B3%E3%81%AE%E3%81%BF%E5%AF%BE%E8%B1%A1%E3%80%91/dp/B016YBMAKQ/ref=pd_rhf_gw_p_img_1?ie=UTF8&refRID=1AEE0XGTDHKME0S8WM4T"

    ' HTTPオブジェクトを作成
    Set objHTTP = CreateObject("MSXML2.XMLHTTP")

    ' Webページにアクセス
    With objHTTP
        .Open "GET", strURL, False
        .send
        strHTML = .responseText
    End With

    ' 正規表現オブジェクトを作成
    Set objRegExp = CreateObject("VBScript.RegExp")
    With objRegExp
        .Global = True
        .MultiLine = True
        .Pattern = "<meta name=""description"" content=""(.*?)"">" ' 商品タイトルのパターン
        If .test(strHTML) Then
            strTitle = .Execute(strHTML)(0).submatches(0)
        Else
            strTitle = "タイトルが見つかりません"
        End If
    End With

    ' 抽出した商品タイトルを表示
    Debug.Print "商品タイトル: " & strTitle

    ' オブジェクトを解放
    Set objHTTP = Nothing
    Set objRegExp = Nothing

End Sub

ステップ3: HTMLから価格を抽出する

価格も同様に、HTMLソースコードから抽出します。価格は、HTMLの特定のタグ（例: <span>タグのclass属性）に含まれていることが多いです。ここでは、正規表現を使って抽出する方法を紹介します。


Sub GetAmazonData()
    Dim objHTTP As Object
    Dim strURL As String
    Dim strHTML As String
    Dim objRegExp As Object
    Dim strTitle As String
    Dim strPrice As String

    ' Amazonの商品ページのURLを指定
    strURL = "http://www.amazon.co.jp/Adobe-Illustrator-%E3%82%B5%E3%83%96%E3%82%AF%E3%83%AA%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3-%E6%9C%88%E3%80%85%E6%89%95%E3%81%84-000%E5%86%86%E5%88%86%E3%81%AE%E3%82%AE%E3%83%95%E3%83%88%E5%88%88%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%88%E2%80%BB12%E6%9C%88%E3%81%8B%E6%9C%88%E3%83%97%E3%83%A9%E3%83%B3%E3%81%AE%E3%81%BF%E5%AF%BE%E8%B1%A1%E3%80%91/dp/B016YBMAKQ/ref=pd_rhf_gw_p_img_1?ie=UTF8&refRID=1AEE0XGTDHKME0S8WM4T"

    ' HTTPオブジェクトを作成
    Set objHTTP = CreateObject("MSXML2.XMLHTTP")

    ' Webページにアクセス
    With objHTTP
        .Open "GET", strURL, False
        .send
        strHTML = .responseText
    End With

    ' 正規表現オブジェクトを作成
    Set objRegExp = CreateObject("VBScript.RegExp")
    With objRegExp
        .Global = True
        .MultiLine = True
        .Pattern = "<meta name=""description"" content=""(.*?)"">" ' 商品タイトルのパターン
        If .test(strHTML) Then
            strTitle = .Execute(strHTML)(0).submatches(0)
        Else
            strTitle = "タイトルが見つかりません"
        End If
        .Pattern = "<span class=""a-size-small a-color-price aok-float-right"">.*?￥ (.*?)/月</span>" ' 価格のパターン
        If .test(strHTML) Then
            strPrice = .Execute(strHTML)(0).submatches(0)
        Else
            strPrice = "価格が見つかりません"
        End If
    End With

    ' 抽出した商品タイトルと価格を表示
    Debug.Print "商品タイトル: " & strTitle
    Debug.Print "価格: " & strPrice

    ' オブジェクトを解放
    Set objHTTP = Nothing
    Set objRegExp = Nothing

End Sub

ステップ4: 抽出したデータをExcelに書き込む

最後に、抽出した商品タイトルと価格をExcelのシートに書き込みます。


Sub GetAmazonData()
    Dim objHTTP As Object
    Dim strURL As String
    Dim strHTML As String
    Dim objRegExp As Object
    Dim strTitle As String
    Dim strPrice As String
    Dim ws As Worksheet
    Dim lastRow As Long

    ' Amazonの商品ページのURLを指定
    strURL = "http://www.amazon.co.jp/Adobe-Illustrator-%E3%82%B5%E3%83%96%E3%82%AF%E3%83%AA%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3-%E6%9C%88%E3%80%85%E6%89%95%E3%81%84-000%E5%86%86%E5%88%86%E3%81%AE%E3%82%AE%E3%83%95%E3%83%88%E5%88%88%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%88%E2%80%BB12%E6%9C%88%E3%81%8B%E6%9C%88%E3%83%97%E3%83%A9%E3%83%B3%E3%81%AE%E3%81%BF%E5%AF%BE%E8%B1%A1%E3%80%91/dp/B016YBMAKQ/ref=pd_rhf_gw_p_img_1?ie=UTF8&refRID=1AEE0XGTDHKME0S8WM4T"

    ' HTTPオブジェクトを作成
    Set objHTTP = CreateObject("MSXML2.XMLHTTP")

    ' Webページにアクセス
    With objHTTP
        .Open "GET", strURL, False
        .send
        strHTML = .responseText
    End With

    ' 正規表現オブジェクトを作成
    Set objRegExp = CreateObject("VBScript.RegExp")
    With objRegExp
        .Global = True
        .MultiLine = True
        .Pattern = "<meta name=""description"" content=""(.*?)"">" ' 商品タイトルのパターン
        If .test(strHTML) Then
            strTitle = .Execute(strHTML)(0).submatches(0)
        Else
            strTitle = "タイトルが見つかりません"
        End If
        .Pattern = "<span class=""a-size-small a-color-price aok-float-right"">.*?￥ (.*?)/月</span>" ' 価格のパターン
        If .test(strHTML) Then
            strPrice = .Execute(strHTML)(0).submatches(0)
        Else
            strPrice = "価格が見つかりません"
        End If
    End With

    ' シートを指定
    Set ws = ThisWorkbook.Sheets("Sheet1") ' シート名を変更してください

    ' 最終行を取得
    lastRow = ws.Cells(Rows.Count, 1).End(xlUp).Row + 1

    ' データを書き込み
    ws.Cells(lastRow, 1).Value = strTitle
    ws.Cells(lastRow, 2).Value = strPrice

    ' オブジェクトを解放
    Set objHTTP = Nothing
    Set objRegExp = Nothing
    Set ws = Nothing

End Sub

補足:

上記のコードはあくまで一例です。Webサイトの構造が変わると、コードも修正する必要があります。
AmazonのWebサイトは頻繁に構造が変わるため、上記のコードが常に有効とは限りません。
Webスクレイピングを行う際は、Webサイトの利用規約を必ず確認し、適切な方法で行ってください。

4. エラーへの対処法とトラブルシューティング

Webスクレイピングを行う際には、様々なエラーが発生する可能性があります。ここでは、よくあるエラーとその対処法について説明します。

エラー1: Webページにアクセスできない
- 原因:
  - URLが間違っている。
  - Webサイトが一時的にダウンしている。
  - ネットワークに接続されていない。
  - Webサイトがアクセスをブロックしている。
- 対処法:
  - URLを再確認し、正しいURLを入力する。
  - Webサイトが正常に動作しているか確認する。
  - ネットワーク接続を確認する。
  - アクセス頻度を調整する、またはUser-Agentを変更するなどの対策を検討する。
- エラー2: データの抽出に失敗する
  - 原因:
    - HTMLの構造が変更された。
    - 抽出する要素のタグやクラス名が変わった。
    - 正規表現のパターンが間違っている。
  - 対処法:
    - WebページのHTMLソースコードを再度確認し、抽出する要素のタグやクラス名を確認する。
    - 正規表現のパターンを修正する。
    - HTML解析ライブラリ（例: HTML Agility Pack）を使用する。
  - エラー3: 文字化けが発生する
    - 原因:
      - Webページの文字コードとVBAの文字コードが一致していない。
    - 対処法:
      - Webページの文字コードを確認し、VBAコードで文字コードを指定する。例: objHTTP.Charset = "UTF-8"
    5. Webスクレイピングの応用とさらなるステップアップ
    
    Webスクレイピングは、様々な場面で活用できる強力なツールです。ここでは、Webスクレイピングの応用例と、さらにスキルアップするための方法を紹介します。
    - Webスクレイピングの応用例:
      - 価格比較サイトの作成: 複数のECサイトから価格情報を収集し、価格比較サイトを作成する。
      - データ分析: 企業のWebサイトから情報を収集し、競合分析や市場調査に活用する。
      - 自動化ツール: Webサイトへのログイン、情報の入力、データのダウンロードなどを自動化するツールを作成する。
      - 求人情報の収集: 求人サイトから情報を収集し、自分の希望に合った求人を探す。
    - スキルアップのための方法:
      - HTMLとCSSの基礎を学ぶ: Webページの構造を理解することで、より効率的にスクレイピングを行うことができます。
      - 正規表現をマスターする: 正規表現は、文字列のパターンを検索、抽出、置換するための強力なツールです。
      - HTML解析ライブラリを学ぶ: HTML Agility Packなどのライブラリを使用することで、より複雑なWebサイトのスクレイピングが可能になります。
      - Pythonなどのプログラミング言語を学ぶ: Pythonは、Webスクレイピングに特化したライブラリ（例: Beautiful Soup, Scrapy）が豊富にあり、より高度なスクレイピングが可能です。
    Webスクレイピングのスキルを習得することで、あなたの仕事や副業の幅が大きく広がります。ぜひ、この記事で紹介した内容を参考に、Webスクレイピングの世界に挑戦してみてください。
    
    もっとパーソナルなアドバイスが必要なあなたへ
    
    この記事では一般的な解決策を提示しましたが、あなたの悩みは唯一無二です。
    AIキャリアパートナー「あかりちゃん」が、LINEであなたの悩みをリアルタイムに聞き、具体的な求人探しまでサポートします。
    
    今すぐLINEで「あかりちゃん」に無料相談する
    
    無理な勧誘は一切ありません。まずは話を聞いてもらうだけでも、心が軽くなるはずです。
    
    6. まとめ: Excel VBAでWebスクレイピングを始めよう
    
    この記事では、Excel VBAを使ったWebスクレイピングの基礎から応用までを解説しました。Webスクレイピングは、データ収集や業務効率化に非常に役立つ技術です。初心者の方でも、この記事で紹介した手順を参考に、Webスクレイピングに挑戦し、スキルアップを目指しましょう。Amazonの商品データを例に、具体的なコードとステップを追いながら、Webスクレイピングの楽しさを体験してください。そして、あなたのキャリアアップに役立ててください。
    
    “`

コメントするコメントをキャンセル

お役立ちコンテンツ

転職体験談

転職ノウハウ

転職コラム

コミュ力が、
最強の武器
になる。

まずは登録