☰

抓点亚马逊和速卖通的搜索数据

抓取亚马逊和速卖通商品数据并导出到Excel，支持多页抓取和自定义页面范围

// ==UserScript==
// @name         抓点亚马逊和速卖通的搜索数据
// @namespace    http://tampermonkey.net/
// @version      1.0.2
// @description  抓取亚马逊和速卖通商品数据并导出到Excel，支持多页抓取和自定义页面范围
// @author       Meng
// @license      MIT
// @homepage     https://github.com/yourusername/amazon-ali-scraper
// @supportURL   https://github.com/yourusername/amazon-ali-scraper/issues
// @match        https://www.amazon.com/s*
// @match        https://www.aliexpress.com/*
// @grant        GM_xmlhttpRequest
// @grant        GM_download
// @require      https://cdnjs.cloudflare.com/ajax/libs/xlsx/0.18.5/xlsx.full.min.js
// @icon         https://www.google.com/s2/favicons?domain=amazon.com
// ==/UserScript==

/*
 * 使用说明：
 * 1. 安装要求：
 *    - 安装Tampermonkey浏览器扩展
 *    - 支持Chrome、Firefox、Edge等主流浏览器
 * 
 * 2. 功能特点：
 *    - 支持亚马逊和速卖通商品数据抓取
 *    - 可自定义抓取页面范围
 *    - 自动导出Excel文件
 *    - 支持多页连续抓取
 * 
 * 3. 使用方法：
 *    - 在亚马逊或速卖通搜索页面运行脚本
 *    - 输入要抓取的起始页码和结束页码
 *    - 点击对应的导出按钮
 *    - 等待抓取完成，自动下载Excel文件
 * 
 * 4. 注意事项：
 *    - 请合理设置抓取间隔，避免对网站造成压力
 *    - 建议每次抓取不超过50页
 *    - 如遇到问题，请查看浏览器控制台日志
 * 
 * 5. 更新日志：
 *    v1.0.0 (2024-03-31)
 *    - 首次发布
 *    - 支持亚马逊和速卖通数据抓取
 *    - 支持自定义页面范围
 *    - 自动导出Excel文件
 */

(function() {
    'use strict';

    // 添加导出按钮
    function addExportButton() {
        const buttonContainer = document.createElement('div');
        buttonContainer.style.cssText = `
            position: fixed;
            top: 20px;
            right: 20px;
            z-index: 9999;
            display: flex;
            flex-direction: column;
            gap: 10px;
            background-color: white;
            padding: 15px;
            border-radius: 8px;
            box-shadow: 0 2px 10px rgba(0,0,0,0.1);
        `;

        // 添加页面范围输入框
        const inputContainer = document.createElement('div');
        inputContainer.style.cssText = `
            display: flex;
            flex-direction: row;
            gap: 5px;
            margin-bottom: 10px;
        `;

        const startPageInput = document.createElement('input');
        startPageInput.type = 'number';
        startPageInput.placeholder = '起始页码';
        startPageInput.min = '1';
        startPageInput.value = '1';
        startPageInput.style.cssText = `
            padding: 5px;
            border: 1px solid #ccc;
            border-radius: 4px;
            width: 100px;
        `;

        const endPageInput = document.createElement('input');
        endPageInput.type = 'number';
        endPageInput.placeholder = '结束页码';
        endPageInput.min = '1';
        endPageInput.style.cssText = `
            padding: 5px;
            border: 1px solid #ccc;
            border-radius: 4px;
            width: 100px;
        `;

        inputContainer.appendChild(startPageInput);
        inputContainer.appendChild(endPageInput);
        buttonContainer.appendChild(inputContainer);

        // 判断当前网站
        const isAmazon = window.location.hostname.includes('amazon');
        const isAliExpress = window.location.hostname.includes('aliexpress');

        if (isAmazon) {
            // Amazon按钮
            const amazonButton = document.createElement('button');
            amazonButton.innerHTML = '导出Amazon商品数据';
            amazonButton.style.cssText = `
                padding: 10px 20px;
                background-color: #FF9900;
                color: white;
                border: none;
                border-radius: 4px;
                cursor: pointer;
                font-size: 14px;
            `;
            amazonButton.onclick = () => {
                const startPage = parseInt(startPageInput.value) || 1;
                const endPage = parseInt(endPageInput.value);
                if (endPage && endPage < startPage) {
                    alert('结束页码不能小于起始页码！');
                    return;
                }
                scrapeAndExport(startPage, endPage);
            };
            buttonContainer.appendChild(amazonButton);
        }

        if (isAliExpress) {
            // AliExpress按钮
            const aliButton = document.createElement('button');
            aliButton.innerHTML = '导出AliExpress商品数据';
            aliButton.style.cssText = `
                padding: 10px 20px;
                background-color: #E62E04;
                color: white;
                border: none;
                border-radius: 4px;
                cursor: pointer;
                font-size: 14px;
            `;
            aliButton.onclick = () => {
                const startPage = parseInt(startPageInput.value) || 1;
                const endPage = parseInt(endPageInput.value);
                if (endPage && endPage < startPage) {
                    alert('结束页码不能小于起始页码！');
                    return;
                }
                scrapeAliExpress(startPage, endPage);
            };
            buttonContainer.appendChild(aliButton);
        }

        document.body.appendChild(buttonContainer);
    }

    // 添加加载提示
    function showLoading(message) {
        let loadingDiv = document.getElementById('amazon-scraper-loading');
        if (!loadingDiv) {
            loadingDiv = document.createElement('div');
            loadingDiv.id = 'amazon-scraper-loading';
            loadingDiv.style.cssText = `
                position: fixed;
                top: 50%;
                left: 50%;
                transform: translate(-50%, -50%);
                background-color: rgba(0, 0, 0, 0.8);
                color: white;
                padding: 20px;
                border-radius: 8px;
                z-index: 10000;
                text-align: center;
            `;
            document.body.appendChild(loadingDiv);
        }
        loadingDiv.innerHTML = message;
    }

    // 隐藏加载提示
    function hideLoading() {
        const loadingDiv = document.getElementById('amazon-scraper-loading');
        if (loadingDiv) {
            loadingDiv.remove();
        }
    }

    // 获取商品数据
    async function getProductData(startPage = 1, endPage = null) {
        const products = [];
        let currentPage = startPage;
        let hasNextPage = true;

        // 如果当前不在起始页，需要先跳转到起始页
        if (currentPage > 1) {
            showLoading(`正在跳转到第 ${currentPage} 页...`);
            // 构建URL跳转到指定页面
            const currentUrl = new URL(window.location.href);
            currentUrl.searchParams.set('page', currentPage);
            window.location.href = currentUrl.toString();
            return products; // 页面会刷新，所以这里直接返回
        }
        
        while (hasNextPage) {
            showLoading(`正在抓取第 ${currentPage} 页数据...`);
            
            const productElements = Array.from(document.querySelectorAll('div[data-asin][data-component-type="s-search-result"]'));
            console.log(`当前页面找到 ${productElements.length} 个商品`);
            
            for (const product of productElements) {
                const asin = product.getAttribute('data-asin');
                if (!asin) continue;

                // 获取标题
                let title = '';
                try {
                    const h2WithAriaLabel = product.querySelector('h2[aria-label]');
                    if (h2WithAriaLabel) {
                        title = h2WithAriaLabel.getAttribute('aria-label');
                    } else {
                        title = product.querySelector('h2 span').textContent.trim();
                    }
                } catch (e) {
                    title = '无标题';
                }

                // 获取价格
                let price = '';
                try {
                    const priceElement = product.querySelector('.a-price .a-offscreen');
                    if (priceElement) {
                        price = priceElement.textContent.trim();
                    } else {
                        const listPriceElement = product.querySelector('.a-text-price .a-offscreen');
                        if (listPriceElement) {
                            price = listPriceElement.textContent.trim();
                        }
                    }
                } catch (e) {
                    price = '无价格';
                }

                products.push({
                    title: title,
                    price: price
                });
            }

            // 检查是否达到结束页
            if (endPage && currentPage >= endPage) {
                console.log(`已达到指定的结束页 ${endPage}，停止抓取`);
                break;
            }

            // 检查是否有下一页
            const nextButton = document.querySelector('a.s-pagination-next:not(.s-pagination-disabled)');
            if (nextButton) {
                console.log('找到下一页按钮，准备翻页');
                nextButton.click();
                await new Promise(resolve => setTimeout(resolve, 3000));
                currentPage++;
            } else {
                console.log('没有找到下一页按钮，停止抓取');
                hasNextPage = false;
            }
        }

        console.log(`总共抓取了 ${products.length} 条数据`);
        return products;
    }

    // 导出到Excel
    function exportToExcel(products, startPage, endPage) {
        // 创建工作簿
        const wb = XLSX.utils.book_new();
        
        // 准备数据
        const data = [
            ['标题', '价格'] // 表头
        ];
        
        // 添加商品数据
        products.forEach(product => {
            data.push([
                product.title,
                product.price
            ]);
        });

        // 创建工作表
        const ws = XLSX.utils.aoa_to_sheet(data);
        
        // 将工作表添加到工作簿
        XLSX.utils.book_append_sheet(wb, ws, '商品信息');

        // 生成Excel文件
        const wbout = XLSX.write(wb, { bookType: 'xlsx', type: 'binary' });

        // 转换二进制数据为Blob
        const blob = new Blob([s2ab(wbout)], { type: 'application/octet-stream' });

        // 下载文件
        const url = URL.createObjectURL(blob);
        const a = document.createElement('a');
        a.href = url;
        a.download = `amazon_products_${startPage}-${endPage || 'end'}.xlsx`;
        document.body.appendChild(a);
        a.click();
        document.body.removeChild(a);
        URL.revokeObjectURL(url);
    }

    // 辅助函数：字符串转ArrayBuffer
    function s2ab(s) {
        const buf = new ArrayBuffer(s.length);
        const view = new Uint8Array(buf);
        for (let i = 0; i < s.length; i++) {
            view[i] = s.charCodeAt(i) & 0xFF;
        }
        return buf;
    }

    // 主函数：抓取数据并导出
    async function scrapeAndExport(startPage = 1, endPage = null) {
        try {
            showLoading('开始导出数据...');
            const products = await getProductData(startPage, endPage);
            showLoading(`共抓取 ${products.length} 条数据，正在生成Excel文件...`);
            exportToExcel(products, startPage, endPage);
            hideLoading();
            alert(`数据导出完成！共导出 ${products.length} 条数据`);
        } catch (error) {
            console.error('导出失败:', error);
            alert('导出失败，请查看控制台获取详细信息');
            hideLoading();
        }
    }

    // 获取速卖通商品数据
    async function getAliExpressData(startPage = 1, endPage = null) {
        const products = [];
        let currentPage = startPage;
        let hasNextPage = true;
        
        // 如果当前不在起始页，需要先跳转到起始页
        if (currentPage > 1) {
            showLoading(`正在跳转到第 ${currentPage} 页...`);
            // 这里需要实现跳转到指定页面的逻辑
            // 由于速卖通可能没有直接的页面跳转，我们可能需要多次点击下一页
            for (let i = 1; i < currentPage; i++) {
                const nextButton = findNextButton();
                if (nextButton) {
                    nextButton.click();
                    await new Promise(resolve => setTimeout(resolve, 3000));
                } else {
                    alert(`无法跳转到第 ${currentPage} 页，请确保页面存在！`);
                    return products;
                }
            }
        }
        
        while (hasNextPage) {
            showLoading(`正在抓取第 ${currentPage} 页数据...`);
            
            // 获取当前页面的商品
            const productElements = document.querySelectorAll('div.lj_z');
            console.log(`当前页面找到 ${productElements.length} 个商品`);
            
            for (const product of productElements) {
                // 获取标题
                let title = '';
                try {
                    const titleElement = product.querySelector('h3.lj_jz');
                    if (titleElement) {
                        title = titleElement.textContent.trim();
                    }
                } catch (e) {
                    title = '无标题';
                }

                // 获取价格
                let price = '';
                try {
                    const priceElement = product.querySelector('div.lj_k1');
                    if (priceElement) {
                        price = priceElement.textContent.trim();
                    }
                } catch (e) {
                    price = '无价格';
                }

                products.push({
                    title: title,
                    price: price
                });
            }

            // 检查是否达到结束页
            if (endPage && currentPage >= endPage) {
                console.log(`已达到指定的结束页 ${endPage}，停止抓取`);
                break;
            }

            // 检查是否有下一页
            const nextButton = findNextButton();
            if (nextButton) {
                console.log('找到下一页按钮，准备翻页');
                nextButton.click();
                await new Promise(resolve => setTimeout(resolve, 3000));
                currentPage++;
            } else {
                console.log('没有找到下一页按钮，停止抓取');
                hasNextPage = false;
            }
        }

        console.log(`总共抓取了 ${products.length} 条数据`);
        return products;
    }

    // 查找下一页按钮
    function findNextButton() {
        const nextButtonSelectors = [
            'button.comet-pagination-item-link[aria-label="Next"]',
            'button.comet-pagination-item-link:not([disabled])',
            'button.comet-pagination-item-link',
            'a.comet-pagination-item-link',
            'a[aria-label="Next"]',
            'a[rel="next"]'
        ];

        for (const selector of nextButtonSelectors) {
            const button = document.querySelector(selector);
            if (button && !button.disabled) {
                return button;
            }
        }
        return null;
    }

    // 导出速卖通数据
    async function scrapeAliExpress(startPage = 1, endPage = null) {
        try {
            showLoading('开始导出速卖通数据...');
            const products = await getAliExpressData(startPage, endPage);
            showLoading(`共抓取 ${products.length} 条数据，正在生成Excel文件...`);
            
            // 创建工作簿
            const wb = XLSX.utils.book_new();
            
            // 准备数据
            const data = [
                ['标题', '价格'] // 表头
            ];
            
            // 添加商品数据
            products.forEach(product => {
                data.push([
                    product.title,
                    product.price
                ]);
            });

            // 创建工作表
            const ws = XLSX.utils.aoa_to_sheet(data);
            
            // 将工作表添加到工作簿
            XLSX.utils.book_append_sheet(wb, ws, '速卖通商品信息');

            // 生成Excel文件
            const wbout = XLSX.write(wb, { bookType: 'xlsx', type: 'binary' });

            // 转换二进制数据为Blob
            const blob = new Blob([s2ab(wbout)], { type: 'application/octet-stream' });

            // 下载文件
            const url = URL.createObjectURL(blob);
            const a = document.createElement('a');
            a.href = url;
            a.download = `aliexpress_products_${startPage}-${endPage || 'end'}.xlsx`;
            document.body.appendChild(a);
            a.click();
            document.body.removeChild(a);
            URL.revokeObjectURL(url);
            
            hideLoading();
            alert(`速卖通数据导出完成！共导出 ${products.length} 条数据`);
        } catch (error) {
            console.error('导出失败:', error);
            alert('导出失败，请查看控制台获取详细信息');
            hideLoading();
        }
    }

    // 页面加载完成后添加导出按钮
    window.addEventListener('load', () => {
        addExportButton();
    });
})();