怎么用Python写一个爬虫框架

要写一个简单的爬虫框架，可以使用Python的requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML页面。以下是一个简单的爬虫框架示例：

import requestsfrom bs4 import BeautifulSoupdef get_html(url):    response = requests.get(url)    return response.textdef parse_html(html):    soup = BeautifulSoup(html, 'html.parser')    # 在这里编写解析HTML的代码    # 例如提取页面中的链接、标题等信息    links = [link.get('href') for link in soup.find_all('a')]    return linksdef crawl(url):    html = get_html(url)    links = parse_html(html)    for link in links:        print(link)if __name__ == '__main__':    url = 'https://www.example.com'    crawl(url)

在这个示例中，我们定义了三个函数：get_html用于发送HTTP请求并获取HTML页面内容，parse_html用于解析HTML页面并提取链接信息，crawl用于爬取指定URL页面的链接并打印出来。最后在main函数中指定了要爬取的URL，并调用crawl函数开始爬取。

当然，这只是一个简单的爬虫框架示例，实际项目中可能需要更多的功能和处理逻辑，比如处理页面的js渲染、处理异常、保存数据等。建议在实际项目中根据需求进行相应的扩展和改进。