上海市人民检察院第二分院第三检察部副主任ღღ、三级高级检察官ღღ，法学博士ღღ，上海市第九届优秀公诉人好神途ღღ，入选全国检察机关网络犯罪检察人才库ღღ、上海市治理电信网络诈骗犯罪专家人才库ღღ，上海检察机关网络犯罪专业化办案团队召集人ღღ，国家检察官学院上海分院兼职教师ღღ，华东政法大学兼职硕士生导师好神途ღღ。在《法学》《政治与法律》《中国检察官》等期刊发表论文30余篇ღღ，完成省部级以上课题11项ღღ，参与编写《体系刑法学》《刑事证据运用》等著作ღღ。

　　网络爬虫（web crawler）是一项在互联网时代普遍运用的网络信息搜索技术ღღ，其本质是一个高效的下载系统凯时尊龙官网ღღ，能够将海量的网页数据传送到本地ღღ，形成互联网网页的镜像备份ღღ。当前网络爬虫的应用场景主要有ღღ：新闻资讯的搜索凯时尊龙官网ღღ、分类ღღ、排序及动态推送ღღ；电商平台的商品浏览ღღ、销售ღღ、评价等数据的市场调研与分析ღღ；政务公开数据的优化及商业使用等ღღ。值得注意的是ღღ，网络爬虫被一些不法分子用于非法目的ღღ，如利用网络爬虫技术大量下载文字作品ღღ、音频视频等转售牟利ღღ；窃取竞争对手的商业数据进行不正当竞争ღღ；爬取各类公民个人信息ღღ，成为网络赌博凯时尊龙官网ღღ、电信诈骗等犯罪的上游黑产ღღ。

　　诚然ღღ，不是所有的互联网场景都排斥数据爬虫ღღ，有些网站和应用希望被搜索以提高曝光率ღღ，但是多数网站基于服务器的承受能力ღღ、风险考量以及对商业数据的保密等原因ღღ，不希望被爬取数据ღღ。后者会制定相应的策略ღღ，采取一定的技术手段好神途ღღ，来防止爬虫对数据的抓取凯时尊龙官网ღღ。常见的应对策略是在网站根目录下放置 Robots协议ღღ，提示网络搜索引擎的漫游器可被获取的内容范围ღღ。但Robots协议更像君子协议好神途ღღ，只能起到告示作用ღღ，有的爬虫仍然会利用“模拟真人访问”“通过协议破解”等方法来爬取数据ღღ。于是ღღ，很多网站和应用不得不采用反爬虫技术拦截手法ღღ，爬虫ღღ、反爬机制ღღ、反反爬机制ღღ，进行无休止的攻防对抗ღღ，浪费大量资源ღღ。

　　网络爬虫技术本质上是一项中立技术ღღ，一般不具有天然的违法性ღღ，但是使用爬虫技术的行为ღღ，则面临是非善恶的价值评判ღღ，以及法律责任评价ღღ。

　　爬虫与反爬机制的攻防对抗ღღ，实质是数据之争ღღ。当下ღღ，数据已成为经济社会的重要生产要素ღღ，是互联网企业核心竞争力ღღ，使用数据爬虫技术爬取数据ღღ，引发了众多竞争法上的纠纷凯时尊龙官网ღღ。在竞争法视野下ღღ，司法裁判一般考虑两方面的利益权衡ღღ：一方面要遵从契约精神ღღ，既然已设置Robots协议ღღ，就应当遵守竞争规范ღღ，维护市场秩序ღღ。另一方面要防止市场垄断ღღ，避免因Robots协议对爬虫技术的限制而形成数据孤岛ღღ，进而构成数据垄断ღღ。

　　数据爬虫技术利用方式的不断发展变异ღღ，也引发刑事风险ღღ。在刑法视野下ღღ，司法裁判主要考虑以下因素ღღ：一是数据是否公开ღღ，数据犯罪所侵害的法益为数据安全ღღ，包括数据的保密性ღღ、完整性ღღ、可用性ღღ。二是手段是否具备侵入性好神途ღღ，在数据权利人已经采取设置Robots协议ღღ、反爬机制等防范手段的情况下ღღ，通过反反爬技术继续爬取数据的行为ღღ，就具备较为明显的侵入性ღღ。三是行为是否具有社会危害性ღღ，社会危害性是犯罪的本质特征ღღ，如果一个行为没有社会危害性ღღ，或是社会危害性不明显ღღ，甚至对社会发展有利ღღ，就没有必要进行刑事追责ღღ。对于网络爬虫技术的使用如果突破其原有的技术中立性ღღ，目的从高效的搜索ღღ、下载ღღ，延伸至窃取他人信息进而非法牟利ღღ，应当以相关罪名追究其刑事责任ღღ。

　　没有法律规制的数据爬虫ღღ，很可能变异为“害虫”ღღ。使用网络爬虫技术要体现并保持技术的中立性ღღ，需要从以下三个方面进行限定ღღ，确保不逾越法律的红线ღღ：

　　一是爬取对象为公开数据ღღ；二是采取的手段不具有侵入性ღღ，是否具有侵入性可以从技术本身是否具有侵入性和数据爬取行为是否遵守爬虫协议与合同约定两个方面来判定ღღ；三是爬取的目的具有正当性好神途ღღ、合理性ღღ、公平性凯时尊龙官网ღღ。法律要规范的并非技术本身ღღ，除非该技术本身就有伦理问题ღღ。法律要调整的是由于技术运用而带来的当事人之间的利益分配问题ღღ，要传递的是公平合理的价值追求ღღ。高悬达摩克利斯之剑ღღ，才能确保数据爬虫技术在推动数字经济发展中发挥正向作用ღღ。新闻摄影ღღ，黑白摄影ღღ。尊龙凯时ღღ。尊龙凯时- 人生就是搏!ღღ！莱卡镜头ღღ，