采集阿里巴巴国际站商品工作台产品的信息
// ==UserScript==
// @name 阿里巴巴商品工作台数据导出工具--树洞先生
// @namespace http://tampermonkey.net/
// @version 1.0
// @license MIT
// @author Assistant
// @description 采集阿里巴巴国际站商品工作台产品的信息
// @match https://hz-productposting.alibaba.com/product_operate/product_growth.htm*
// @grant none
// ==/UserScript==
(function() {
'use strict';
// 全局变量
let allProducts = []; // 存储所有收集到的商品数据
let isCollecting = false; // 标记是否正在收集数据
let currentPage = 1; // 当前页码
let totalPages = 1; // 总页数
// 创建主界面
function createMainInterface() {
// 创建主按钮，点击后弹出主对话框
const toolButton = document.createElement('button');
toolButton.textContent = '📊 商品数据导出--树洞';
toolButton.style.cssText = `
position: fixed;
top: 120px;
right: 20px;
z-index: 9999;
padding: 12px 20px;
background: linear-gradient(135deg, #667eea 0%, #764ba2 100%);
color: white;
border: none;
border-radius: 8px;
cursor: pointer;
font-size: 14px;
font-weight: bold;
box-shadow: 0 4px 15px rgba(0,0,0,0.2);
transition: all 0.3s ease;
`;
// 鼠标悬停效果
toolButton.onmouseover = () => {
toolButton.style.transform = 'translateY(-2px)';
toolButton.style.boxShadow = '0 6px 20px rgba(0,0,0,0.3)';
};
toolButton.onmouseout = () => {
toolButton.style.transform = 'translateY(0)';
toolButton.style.boxShadow = '0 4px 15px rgba(0,0,0,0.2)';
};
toolButton.onclick = showMainDialog; // 点击按钮显示主对话框
document.body.appendChild(toolButton);
}
// 显示主对话框
function showMainDialog() {
// 创建对话框容器
const dialog = document.createElement('div');
dialog.style.cssText = `
position: fixed;
top: 50%;
left: 50%;
transform: translate(-50%, -50%);
z-index: 10000;
background: white;
border-radius: 12px;
box-shadow: 0 20px 60px rgba(0,0,0,0.3);
padding: 30px;
width: 500px;
max-height: 80vh;
overflow-y: auto;
`;
// 设置对话框内容，包括状态、按钮、调试信息等
dialog.innerHTML = `
<div style="text-align: center; margin-bottom: 25px;">
<h2 style="margin: 0; color: #333; font-size: 24px;">📊 商品工作台数据导出工具--树洞</h2>
<p style="margin: 10px 0 0 0; color: #666;">根据自己商品工作台页面筛选结果进行采集,可以快速采集重铺品</p>
</div>
<div style="margin-bottom: 20px;">
<div style="display: flex; justify-content: space-between; margin-bottom: 10px;">
<span style="color: #333; font-weight: bold;">收集状态:</span>
<span id="collection-status" style="color: #666;">待开始</span>
</div>
<div style="display: flex; justify-content: space-between; margin-bottom: 10px;">
<span style="color: #333; font-weight: bold;">当前页面:</span>
<span id="current-page-info" style="color: #666;">-</span>
</div>
<div style="display: flex; justify-content: space-between; margin-bottom: 10px;">
<span style="color: #333; font-weight: bold;">已收集商品:</span>
<span id="collected-count" style="color: #666;">0</span>
</div>
<div style="background: #f5f5f5; border-radius: 8px; padding: 4px; margin-bottom: 15px;">
<div id="progress-bar" style="background: linear-gradient(90deg, #4CAF50, #45a049); height: 20px; border-radius: 6px; width: 0%; transition: width 0.3s ease;"></div>
</div>
</div>
<div style="display: flex; gap: 10px; margin-bottom: 20px;">
<button id="start-collection" style="flex: 1; padding: 12px; background: #4CAF50; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;">🔄 开始收集数据</button>
<button id="stop-collection" style="flex: 1; padding: 12px; background: #f44336; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;" disabled>⏹️ 停止收集</button>
</div>
<div style="display: flex; gap: 10px; margin-bottom: 20px;">
<button id="export-all" style="flex: 1; padding: 12px; background: #2196F3; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;" disabled>📥 导出所有数据</button>
<button id="clear-data" style="flex: 1; padding: 12px; background: #FF9800; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;">🗑️ 清空数据</button>
</div>
<div style="display: flex; gap: 10px;">
<button id="test-extraction" style="flex: 1; padding: 12px; background: #9C27B0; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;">🧪 测试提取</button>
<button id="close-dialog" style="flex: 1; padding: 12px; background: #666; color: white; border: none; border-radius: 6px; cursor: pointer; font-weight: bold;">❌ 关闭</button>
</div>
<div id="debug-info" style="margin-top: 20px; padding: 15px; background: #f9f9f9; border-radius: 6px; font-family: monospace; font-size: 12px; max-height: 200px; overflow-y: auto; display: none;">
<strong>调试信息:</strong><br>
<div id="debug-content"></div>
</div>
`;
// 创建遮罩层，点击遮罩层可关闭对话框
const overlay = document.createElement('div');
overlay.style.cssText = `
position: fixed;
top: 0;
left: 0;
width: 100%;
height: 100%;
background: rgba(0,0,0,0.5);
z-index: 9999;
`;
overlay.appendChild(dialog);
document.body.appendChild(overlay);
// 绑定对话框按钮事件
bindDialogEvents(overlay);
}
// 绑定对话框事件，包括按钮点击等
function bindDialogEvents(overlay) {
const startBtn = overlay.querySelector('#start-collection'); // 开始收集按钮
const stopBtn = overlay.querySelector('#stop-collection'); // 停止收集按钮
const exportBtn = overlay.querySelector('#export-all'); // 导出数据按钮
const clearBtn = overlay.querySelector('#clear-data'); // 清空数据按钮
const testBtn = overlay.querySelector('#test-extraction'); // 测试提取按钮
const closeBtn = overlay.querySelector('#close-dialog'); // 关闭对话框按钮
startBtn.onclick = startCollection; // 绑定开始收集事件
stopBtn.onclick = stopCollection; // 绑定停止收集事件
exportBtn.onclick = exportAllData; // 绑定导出数据事件
clearBtn.onclick = clearAllData; // 绑定清空数据事件
testBtn.onclick = testExtraction; // 绑定测试提取事件
closeBtn.onclick = () => overlay.remove(); // 关闭对话框
// 点击遮罩层关闭对话框
overlay.onclick = (e) => {
if (e.target === overlay) overlay.remove();
};
}
// 数字格式处理函数 - 修复数字分割问题
function parseNumber(text) {
if (!text) return '';
// 移除所有逗号和空格，保留数字、小数点和百分号
const cleaned = text.replace(/[,-\s]/g, '');
// 如果包含百分号，保留百分号
if (cleaned.includes('%')) {
return cleaned;
}
// 如果是纯数字，返回清理后的数字
const number = parseFloat(cleaned);
if (!isNaN(number)) {
return number.toString();
}
// 如果无法解析，返回原始文本
return text;
}
// 基于实际DOM结构提取商品数据 - 修复数字格式问题
function extractProductsFromCurrentPage() {
const products = [];
try {
// 基于实际DOM结构，使用正确的选择器，遍历每一行商品
const productRows = document.querySelectorAll('div[role="row"].next-row');
console.log(`找到 ${productRows.length} 个商品行`);
productRows.forEach((row, index) => {
try {
const product = {};
// 商品图片
const imgElement = row.querySelector('._informationImg_gr0vo_49 img');
product.imageUrl = imgElement ? imgElement.src : '';
// 商品标题
const titleElement = row.querySelector('._informationText_gr0vo_67');
product.title = titleElement ? titleElement.textContent.trim() : '';
// 商品ID
const idElement = row.querySelector('._informationId_gr0vo_79');
product.id = idElement ? idElement.textContent.replace('ID：', '').trim() : '';
// 商品标签
const tagElements = row.querySelectorAll('._everyTag_gr0vo_92');
product.tags = Array.from(tagElements).map(tag => tag.textContent.trim()).join(', ');
// 访问数据 - 修复数字格式问题
const visitElements = row.querySelectorAll('._visitPut_gr0vo_126');
visitElements.forEach(element => {
const fullText = element.textContent.trim();
const spanElement = element.querySelector('span');
const rawValue = spanElement ? spanElement.textContent.trim() : '';
const value = parseNumber(rawValue); // 使用数字格式处理函数
// 根据不同的文本内容，提取不同的访问数据
if (fullText.includes('近30天搜索曝光数')) {
product.searchExposure = value;
} else if (fullText.includes('近30天访问人数')) {
product.visitors = value;
} else if (fullText.includes('近90天[TM+询盘]人数')) {
product.inquiries = value;
} else if (fullText.includes('近90天[TM+询盘]转化')) {
product.inquiryConversion = value;
} else if (fullText.includes('近90天支付买家数')) {
product.payingBuyers = value;
} else if (fullText.includes('近90天访客到支付转化率')) {
product.paymentConversion = value;
}
});
// 优化建议
const suggestionElements = row.querySelectorAll('._oneOptimization_gr0vo_170');
if (suggestionElements.length > 0) {
// 采集第一个优化建议块的所有文字内容（包含子元素）
const parentDiv = suggestionElements[0].closest('div');
if (parentDiv) {
let suggestionText = parentDiv.innerText.trim();
// 过滤无关提示词
suggestionText = suggestionText.replace(/去完成|配置服务/g, '');
product.suggestions = suggestionText.trim();
} else {
let suggestionText = Array.from(suggestionElements).map(el => el.textContent.trim()).join('; ');
suggestionText = suggestionText.replace(/去完成|配置服务/g, '');
product.suggestions = suggestionText.trim();
}
} else {
product.suggestions = '';
}
// 只添加有ID的商品
if (product.id) {
product.index = allProducts.length + products.length + 1;
product.pageNumber = currentPage;
products.push(product);
}
} catch (error) {
// 单个商品提取出错时，打印错误但不中断整体流程
console.error(`处理第 ${index + 1} 个商品时出错:`, error);
}
});
} catch (error) {
// 整体提取出错时，打印错误
console.error('提取商品数据时出错:', error);
}
return products;
}
// 测试数据提取，显示调试信息
function testExtraction() {
const debugInfo = document.querySelector('#debug-info');
const debugContent = document.querySelector('#debug-content');
debugInfo.style.display = 'block';
debugContent.innerHTML = '正在测试数据提取...<br>';
try {
const products = extractProductsFromCurrentPage();
debugContent.innerHTML += `✅ 成功提取到 ${products.length} 个商品<br>`;
if (products.length > 0) {
debugContent.innerHTML += '<br><strong>第一个商品示例:</strong><br>';
const firstProduct = products[0];
Object.keys(firstProduct).forEach(key => {
debugContent.innerHTML += `${key}: ${firstProduct[key]}<br>`;
});
// 测试数字格式处理
debugContent.innerHTML += '<br><strong>数字格式测试:</strong><br>';
debugContent.innerHTML += `原始: "3,897" -> 处理后: "${parseNumber('3,897')}"<br>`;
debugContent.innerHTML += `原始: "2.5%" -> 处理后: "${parseNumber('2.5%')}"<br>`;
debugContent.innerHTML += `原始: "1,234,567" -> 处理后: "${parseNumber('1,234,567')}"<br>`;
} else {
debugContent.innerHTML += '<br>❌ 未找到商品数据<br>';
}
} catch (error) {
debugContent.innerHTML += `❌ 测试失败: ${error.message}<br>`;
console.error('测试提取时出错:', error);
}
}
// 开始收集数据 - 修复最后一页卡住问题
async function startCollection() {
if (isCollecting) return; // 如果已经在收集则不重复执行
isCollecting = true;
updateUI();
try {
// 获取总页数
await getTotalPages();
// 从第一页开始收集
currentPage = 1;
// 循环遍历每一页，收集数据
while (currentPage <= totalPages && isCollecting) {
updateStatus(`正在收集第 ${currentPage} 页数据...`);
// 提取当前页面数据
const pageProducts = extractProductsFromCurrentPage();
allProducts.push(...pageProducts);
updateUI();
// 检查是否为最后一页 - 修复卡住问题
if (currentPage >= totalPages) {
updateStatus(`收集完成！共收集 ${allProducts.length} 个商品`);
break;
}
// 如果不是最后一页，翻到下一页
if (isCollecting) {
const success = await goToNextPage();
if (!success) {
updateStatus('翻页失败，收集停止');
break;
}
currentPage++;
// 等待页面加载
await sleep(3000); // 增加等待时间确保页面完全加载
}
}
if (isCollecting) {
updateStatus(`收集完成！共收集 ${allProducts.length} 个商品`);
}
} catch (error) {
updateStatus(`收集过程中出错: ${error.message}`);
console.error('收集数据时出错:', error);
} finally {
isCollecting = false;
updateUI();
}
}
// 停止收集
function stopCollection() {
isCollecting = false; // 设置标志位，主循环会自动停止
updateStatus('收集已停止');
updateUI();
}
// 获取总页数 - 改进页数检测
async function getTotalPages() {
try {
// 查找分页信息，使用更精确的方法
const paginationElements = document.querySelectorAll('.next-pagination-item');
let maxPage = 1;
paginationElements.forEach(element => {
const ariaLabel = element.getAttribute('aria-label');
if (ariaLabel && ariaLabel.includes('共') && ariaLabel.includes('页')) {
// 从aria-label中提取总页数，如"第1页，共76页"
const match = ariaLabel.match(/共(\d+)页/);
if (match) {
const pageNum = parseInt(match[1]);
if (pageNum > maxPage) {
maxPage = pageNum;
}
}
}
// 备用方法：从按钮文本中获取页码
const text = element.textContent.trim();
const pageNum = parseInt(text);
if (!isNaN(pageNum) && pageNum > maxPage) {
maxPage = pageNum;
}
});
totalPages = maxPage;
console.log(`检测到总页数: ${totalPages}`);
} catch (error) {
console.error('获取总页数时出错:', error);
totalPages = 1;
}
}
// 翻到下一页 - 改进翻页逻辑
async function goToNextPage() {
try {
// 查找下一页按钮
const nextButton = document.querySelector('.next-pagination-item.next-next');
if (nextButton && !nextButton.disabled && !nextButton.classList.contains('next-disabled')) {
console.log(`点击下一页按钮，从第 ${currentPage} 页到第 ${currentPage + 1} 页`);
nextButton.click();
// 等待页面开始加载
await sleep(1000);
// 检查页面是否真的翻页了
let attempts = 0;
const maxAttempts = 10;
while (attempts < maxAttempts) {
await sleep(500);
// 检查当前页码是否已更新
const currentPageElement = document.querySelector('.next-pagination-item.next-current');
if (currentPageElement) {
const displayedPage = parseInt(currentPageElement.textContent.trim());
if (displayedPage === currentPage + 1) {
console.log(`页面已成功翻到第 ${displayedPage} 页`);
return true;
}
}
attempts++;
}
console.log('翻页超时，可能页面加载缓慢');
return true; // 即使超时也继续，避免卡住
} else {
console.log('下一页按钮不可用或已到最后一页');
return false;
}
} catch (error) {
console.error('翻页时出错:', error);
return false;
}
}
// 导出所有数据
function exportAllData() {
if (allProducts.length === 0) {
alert('没有数据可导出');
return;
}
try {
// 生成CSV内容并下载
const csvContent = generateCSV(allProducts);
downloadCSV(csvContent, `阿里巴巴商品数据_${new Date().toISOString().split('T')[0]}.csv`);
updateStatus(`已导出 ${allProducts.length} 个商品数据`);
} catch (error) {
alert(`导出失败: ${error.message}`);
console.error('导出数据时出错:', error);
}
}
// 生成CSV内容
function generateCSV(products) {
// 定义表头
const headers = [
'序号', '商品ID', '商品标题', '商品图片链接','商品标签',
'近30天搜索曝光数', '近30天访问人数', '近90天询盘人数',
'近90天询盘转化率', '近90天支付买家数', '近90天支付转化率', '优化建议'
];
// 添加BOM头，防止中文乱码
let csvContent = '\uFEFF' + headers.join(',') + '\n';
// 遍历每个商品，生成每一行
products.forEach(product => {
const row = [
product.index || '',
product.id || '',
`"${(product.title || '').replace(/"/g, '""')}"`,
`"${(product.tags || '').replace(/"/g, '""')}"`,
product.imageUrl || '',
product.searchExposure || '',
product.visitors || '',
product.inquiries || '',
product.inquiryConversion || '',
product.payingBuyers || '',
product.paymentConversion || '',
`"${(product.suggestions || '').replace(/"/g, '""')}"`
];
csvContent += row.join(',') + '\n';
});
return csvContent;
}
// 下载CSV文件
function downloadCSV(content, filename) {
// 创建Blob对象并生成下载链接
const blob = new Blob([content], { type: 'text/csv;charset=utf-8;' });
const link = document.createElement('a');
if (link.download !== undefined) {
const url = URL.createObjectURL(blob);
link.setAttribute('href', url);
link.setAttribute('download', filename);
link.style.visibility = 'hidden';
document.body.appendChild(link);
link.click();
document.body.removeChild(link);
}
}
// 清空所有数据
function clearAllData() {
if (confirm('确定要清空所有收集的数据吗？')) {
allProducts = [];
currentPage = 1;
updateStatus('数据已清空');
updateUI();
}
}
// 更新状态显示
function updateStatus(message) {
const statusElement = document.querySelector('#collection-status');
if (statusElement) {
statusElement.textContent = message;
}
console.log(message);
}
// 更新UI，包括状态、进度条、按钮状态等
function updateUI() {
const statusElement = document.querySelector('#collection-status');
const pageInfoElement = document.querySelector('#current-page-info');
const countElement = document.querySelector('#collected-count');
const progressBar = document.querySelector('#progress-bar');
const startBtn = document.querySelector('#start-collection');
const stopBtn = document.querySelector('#stop-collection');
const exportBtn = document.querySelector('#export-all');
if (pageInfoElement) {
pageInfoElement.textContent = `${currentPage} / ${totalPages}`;
}
if (countElement) {
countElement.textContent = allProducts.length;
}
if (progressBar && totalPages > 0) {
const progress = (currentPage / totalPages) * 100;
progressBar.style.width = `${Math.min(progress, 100)}%`;
}
if (startBtn) {
startBtn.disabled = isCollecting;
}
if (stopBtn) {
stopBtn.disabled = !isCollecting;
}
if (exportBtn) {
exportBtn.disabled = allProducts.length === 0;
}
}
// 工具函数：延时，返回Promise
function sleep(ms) {
return new Promise(resolve => setTimeout(resolve, ms));
}
// 初始化，等待页面加载完成后创建主界面
function init() {
// 等待页面加载完成
if (document.readyState === 'loading') {
document.addEventListener('DOMContentLoaded', createMainInterface);
} else {
createMainInterface();
}
}
// 启动脚本
init();
})();