2026 新手爬虫入门终极指南！代理 IP + 实战项目，从 0 到 1 学会爬虫-易代理

import requestsimport csvimport timefrom fake_useragent import UserAgent# 1. 配置代理（隧道代理直接用，不用提取IP）proxies = {
    "http": "http://账号:密码@隧道地址:端口",
    "https": "http://账号:密码@隧道地址:端口"}# 2. 配置UA伪装ua = UserAgent()headers = {
    "User-Agent": ua.random,
    "Accept-Language": "zh-CN,zh;q=0.9"}# 3. 商品数据采集函数def crawl_product(url):
    try:
        # 发起请求，携带代理和UA
        response = requests.get(url, proxies=proxies, headers=headers, timeout=10)
        response.raise_for_status()
        print("请求成功！")

        # 解析数据（根据目标网站结构调整）
        # 示例：提取商品名称、价格、销量、链接
        product_list = []
        # 此处省略网页解析逻辑（根据实际网站修改）
        product_list.append({
            "name": "示例商品",
            "price": "99元",
            "sales": "1000+",
            "link": "https://example.com"
        })
        return product_list    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}，2秒后重试...")
        time.sleep(2)
        return crawl_product(url)# 4. 保存数据到CSVdef save_to_csv(data, filename="products.csv"):
    if not data:
        print("无数据可保存")
        return
    keys = data[0].keys()
    with open(filename, "w", newline="", encoding="utf-8") as f:
        writer = csv.DictWriter(f, fieldnames=keys)
        writer.writeheader()
        writer.writerows(data)
    print(f"数据已保存到{filename}，共{len(data)}条")# 5. 主函数if __name__ == "__main__":
    target_url = "https://example.com/category"  # 替换为目标URL
    print("开始采集商品数据...")
    product_data = crawl_product(target_url)
    save_to_csv(product_data)
    print("采集完成！")