新功能：阿里云反爬虫管理利器！
背景
爬虫形势
Web安全形势一直不容乐观, 根据 Globaldots的2018年机器人报告 , 爬虫占据Web流量的42%左右.
为什么要反爬
防资源过度消耗
大量的机器人访问网站, 设想你的网站有42%的流量都不是真的人访问的. 相当一部分还会大量占用后台的网络带宽, 服务器计算, 存储资源.
防黄牛党
航空公司占座: 黄牛党利用恶意爬虫遍历航空公司的低价票，同时批量发起机器请求进行占座，导致航班座位资源被持续占用产生浪费，最终引发航班空座率高对航空公司造成业务损失，并且损害正常用户的利益。
防薅羊毛党
黄牛党在电商活动时针对有限的高价值商品的限时秒杀、优惠活动等可牟利场景，批量发起机器请求来模拟正常的交易，再将商品、资源进行倒卖从中赚取差价，导致电商企业的营销资源无法触达正常用户，而被黄牛牟取暴利。
防黑客
核心接口被刷: 登录、注册、短信等业务环节作为业务中的关键节点，相关接口往往会被黑客利用，为后续的欺诈行为作准备。
私信菜鸟007即可获取数十套PDF！
为什么需要日志分析
找出隐藏更深的机器人
爬虫与反爬虫是一个攻与防的过程, 根据前述报告, 高级机器人占据了74%的比例(剩余是比较简单的机器人), 而根据 FileEye M-Trends 2018报告 ，企业组织的攻击从发生到被发现，一般经过了多达101天，其中亚太地区问题更为严重，一般网络攻击被发现是在近498（超过16个月）之后。有了日志才能更好的找出隐藏很深的坏机器人.
了解机器人并区分对待
爬虫也分好与坏, 搜索引擎来查询, 才可以达到SEO效果并带来更多有价值的访问. 通过日志可以帮助管理员更好的区分哪些是好的机器人, 并依据做出更加适合自己的反爬配置.
保留报案证据
发现非法攻击的机器人, 可以保留攻击者信息与路径, 作为报警的重要证据.
增强运维效率
基于日志可以发现异常, 并能快速报警并采取行动.
更多附加功能
依托日志服务的其他功能, 可以发挥日志的更大价值.
阿里云反爬管理 - 实时日志分析概述
阿里云反爬管理
云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。 产品提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。
阿里云日志服务
阿里云的日志服务（log service）是针对日志类数据的一站式服务，无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能，提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能，适用于从实时监控到数据仓库的各种开发、运维、运营与安全场景：
目前，阿里云WAF与日志服务打通，对外开发Web访问与攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
发布地域
适用客户
功能优势
反爬日志实时查询分析服务具有以下功能优势：
开通前提
限制说明
反爬管理所存储的日志库属于专属的日志库，有如下限制：
使用场景
1.追踪机器人爬取与封禁日志，溯源安全威胁：
查看Top 100的爬取机器人列表:
2. 实时正常可信Web请求活动，洞察状态与趋势：
查看PV/UV访问趋势的SQL:
3. 快速了解安全运营效率，即时反馈处理：
查看有效请求与拦截率趋势的SQL:
4. 输出安全网络日志到自建数据与计算中心
进一步参考
我们会陆续发布WAF安全日志分析的最佳时间, 这里可以进一步参考相关用户手册：
360重磅发布十大网络安全“利器”，重塑数字化时代大安全格局
随着全球数字化的推进，网络空间日益成为一个全域连接的复杂巨系统，安全需要以新的战法和框架解决这个巨系统的问题。 近日，在第九届互联网安全大会（ISC 2021）上，三六零（股票代码：601360.SH，下称“360”）创始人、董事长周鸿祎正式提出以360安全大脑为核心，协同安全基础设施体系、安全专家运营应急体系、安全基础服务赋能体系“四位一体”的新一代安全能力框架。
基于此框架，360在ISC 2021上重磅发布十大网络安全“利器”，全面考虑安全防御、检测、响应等威胁应对环节的需求，充分发挥安全战略资源、人的作用，保障框架防御的动态演进和运行。
360下一代威胁情报订阅服务
360下一代威胁情报订阅服务是集成360云端安全大脑所有安全能力的XaaS服务。 云端订阅安全服务，依托于360安全大脑16年来亿万级资产、漏洞、样本、网址、域名等安全大数据的积累，以及对于安全大数据分析形成的安全知识库，精细利用数据直 接从云端赋能，能够缩短安全的价值链，提高实时响应水平，降低设备、运营、人力成本，提高网络安全防护的专业性、灵活性和有效性。 本次ISC 2021中，360发布的360下一代威胁情报订阅服务包含了产品订阅服务和云端订阅服务两大类的十余个订阅应用和多个专业情报分析工具， 可以助力城市、行业、企业通过管理外部攻击面，掌握攻击者的意图、能力和技战术等，从而高效制定出应对策略；并可以专业的分析人员可以精准完成事件定性、攻击溯源、APT狩猎等高级分析工作，全方位护航相关业务的可持续发展。
360安全大脑情报中心
360安全大脑情报中心，是数据运营基础设施的“利器”。负责安全大数据采集、分析的数据运营基础设施下的新品。 360安全大脑情报中心依托于360安全大脑的亿万级安全大数据， 以数据运营和情报生产为核心，通过平台+社区的形式让更多的安全专业人员对威胁进行有效的分析溯源，为他们提供前所未有的情报和平台支撑服务。用户能够在平台上进行情报的检索、生产、 消费、讨论和反馈，并实现情报的再次生产。360各个研究方向的安全团队将根据热点安全事件实时将研究成果在情报社区进行共享，真正实现情报的互联互通。
360态势感知一体机2.0
360态势感知一体机2.0，是专家运营基础设施的“利器”。 在安全基础设施体系中，专家运营基础设施承担日常安全运营和应急响应的工作，负责提高态势感知与自动处置能力。360态势感知一体机2.0通过整合流量侧神经元，以轻松部署、方便运营、快速有效的能力优势广泛服务于中小型客户，充分满足客户对可视化、自动化、智能化态势感知、威胁分析、集中安全运营及合规需求，并通过远程专家运营和安全托管服务，帮助客户解决可持续运营的痛点问题。
360 新一代 网络攻防靶场平台
360新一代网络攻防靶场平台是攻击面防御基础设施下的“利器” ，面对数字化浪潮下不断加剧的安全风险，攻击面防御基础设施可有效负责发现和阻断外部攻击。360新一代网络攻防靶场平台利用虚拟化技术模拟真实业务网络，可为政企机构提供高度仿真、相互隔离、高效部署的虚实结合场景，为训练、对抗、试验、演习等需求提供流程管理、能效评估、数据分析、推演复盘等能力，可以全方位满足应对不断演化的网络攻击威胁、检验攻防能力、迭代防御体系等多样化需求。
360天相-资产威胁与漏洞管理系统
360天相-资产威胁与漏洞管理系统是攻击面防御基础设施下的“利器”， 其从数字资产安全日常管理场景出发，专注帮助用户发现资产，建立和增强资产的管理能力，同时结合全网漏洞情报，进一步弥补传统漏洞扫描信息不及时性，以及爆发新漏洞如何在海量资产中快速定位有漏洞的资产，并进行资产漏洞修复，跟踪管理。
360终端资产管理系统
360终端资产管理系统是数据运营基础设施下的“利器”， 其依托于360安全大脑情报中亿万级设备库信息，从XDR攻防对抗视角出发，以终端自动发现为基础，设备类型自动识别为核心实现内网终端资产的全发现，从而不断提高内网终端安全防护水平，提高攻击门槛，降低被攻击风险。
360零信任解决方案
360零信任解决方案是资源面管控基础设施下的“利器”， 资源面管控基础设施包括身份、密码证书、零信任和SASE基础设施，以身份化管理的方法，实现网络、系统、应用、数据的细粒度动态管控。此次ISC 2021中正式发布360“零信任解决方案”，是基于360积累的安全大数据，结合安全专家运营团队，可提供强大的数据和运营支撑能力。同时，通过整合攻击侧防护和访问侧防护，强调生态联合，构建了安全大数据支持下的零信任生态体系。
面向实战的攻防服务体系
持续的实战检验是“知己知彼”的有效途径。攻防对抗中的对 手、环境、自己都在不断变化，针对性发现问题和解决问题，才是 安全防护保持敏捷的关键，只有充分的利用好实战检验手段，才能 快速的弥补安全对抗中认知、经验、能力的不足。 面向实战的攻防服务体系是专家运营服务的最佳实践， 在360高级攻防实验室攻防对抗、漏洞研究、武器能力、情报分析、攻击溯源等核心研究方向和实战经验的赋能下，面向实战的攻防服务体系推出AD域评估、漏洞利用、攻击连分析、红蓝对抗等一系列攻防服务，打造出面向真实网络战场的安全能力，并实现安全能力的不断进化和成长，进一步保障各类业务安全。
车联网安全解决方案
在360新一代安全能力框架的支撑下，360能够整合各种生态产品，支撑各行各业的数字化场景，形成一张动态的、多视角、全领域覆盖的数字安全网。ISC 2021中，360正式发布了面向车联网的安全解决方案。车联网安全检测平台和车联网安全监测平台是基于对车联网环境的重要组件的数据采集、分析等技术，结合360安全大脑提供的分析预警和威胁情报，为车企、车路协同示范区车联网系统建立安全威胁感知分析体系，实现智能网联 汽车 安全事件的可感、可视、可追踪，为 汽车 行业、车路协同的安全运营赋能。
信创安全解决方案
当前，信创安全面临严峻的能力建设和整体集成方面的挑战。此次发布的信创安全解决方案， 从web应用和浏览器视角切入信创业务应用迁移带来的兼容性问题以及相关威胁和相应解决方案，推出了360扁鹊及支持零信任SDP安全接入体系的360企业安全浏览器。据悉，360扁鹊能针对基于Wintel平台上IE浏览器构建的业务系统的兼容性问题进行自动化排查及修复；同时，360企业安全浏览器可以实现跨平台终端的统一接入管理，并可以作为零信任SDP安全防护体系的终端载体实现基于国密加密通讯的算法的安全接入、基于环境及设备身份、用户身份、用户行为的动态判断和持续的访问控制能力。
随着新型网络威胁持续升级，传统碎片化的防御理念必然要向注重实战能力的安全新战法升级。同时要建设新的安全能力框架，提升纵深检测、纵深防御、纵深分析、纵深响应的整体防御能力。此次在ISC 2021上，360重磅发布的十大新品，无疑是充分调动自身数据、技术、专家等能力原量，将安全能力框架面向全域赋能落地的创新实践。
渗透测试利器【Cobalt Strike】CDN隐匿
Cobalt Strike是一款漂亮国Red Team开发的渗透测试神器，常被业界人称为CS。成为了渗透测试中不可缺少的利器。其拥有多种协议主机上线方式，集成了提权，凭据导出，端口转发，socket代理，office攻击，文件捆绑，钓鱼等功能。同时，Cobalt Strike还可以调用Mimikatz等其他知名工具并且可以作为团队服务使用，因此广受网络安全人员喜爱。
虽然Cobalt Strike在渗透测试使用过程中非常的方便和强大，但其默认的特征信息使得CS服务端也会很容易被态势感知等监测设备所识别到，并且服务器开启默认端口后也会被情报网站标记为攻击服务器，且如果teamserver密码简单也会被反爆破。
因此就需要对Cobalt Strike的流量、特征等进行隐匿。本文章采用的是CDN+修改特征隐匿的方法。
这里使用 平台进行注册，需要登陆，因此提前准备好一个邮箱，国内外邮箱都行。
tips：
1、在选择好域名并注册后，需要登录平台，然后填写相关信息以用于注册（当前ip所处的地址这里必须一致、邮编、手机号等可采用漂亮的虚拟信息）；
2、后续要使用cdn平台，因此需要在这个域名平台里面绑定cdn平台的ns记录。
域名注册完成后先不要急着解析，进行第二步的CDN平台配置。
CDN平台建议使用cloudflare
先注册个账号登陆一波，使用邮箱注册，方便起见可以和freenom平台用同一个邮箱。
进入cloudflare平台后，点击左侧的网站，然后添加一个域名，这里添加的域名就是freenom注册的。
站点添加完成后，点击站点进去，在左侧DNS中添加记录。
在添加完成后如果上面出现这样的告警，就代表在freenom平台中还没有修改ns记录，需要去将ns记录修改为cdn平台的。
进入freenom平台修改ns记录，先登录，进入到域名管理处，修改ns名称。这里要填写的ns名称是CDN平台给分配的，参见上面一张图，ns前缀基本都是随机分配的，因此以CDN平台上的为准。
freenom改好ns记录后，再到CDN平台上点击上上图的“检查名称服务器”即可更新完成。此时再去解析域名、ping域名，都会成功返回到CDN的ip地址。
在CDN平台左侧的SSL/TLS-----概述中，将右边的加密模式选择为灵活。
在左侧源服务器中，点击创建证书。源服务器私钥类型选择ECC，密钥格式选择PEM。 一定要将源证书和私钥复制下来！后续要用到。
CDN默认开启缓存，可能会影响后续主机上线、shell命令回显等。因此这里有两种关闭缓存的方法建议都开启。
在CDN平台-缓存-配置-开发者模式-开启。
规则-创建页面规则中创建两条规则。以下规则中的域名不需要填写A记录名。
1、 .your dmoain/ ；
2、your dmoain/*；
3、将规则设置为-缓存级别-绕过。
2.生成新的cobaltstrike证书。如果原先的cobaltstrike文件夹内有默认的.store证书，需要先删除掉默认的。使用以下命令生成：
ps：这里的pass密码需要修改，改为复杂的密码，不要使用123456。
ps：这里的所有密码都要和上面的一致。
6.1 修改teamserver默认端口
编辑teamserver配置文件，将CobaltStrike默认的50050端口改成其它端口。
6.2 修改teamserver默认指纹信息
编辑teamserver配置文件，默认的是cobalt strike信息或Microsoft信息。
可将指纹信息改为其它的内容。
启动teamserver的命令需要微调下：
./teamserver 服务器公网IP 密码 C2.profile
连接上teamserver后，创建个监听器和马子。注意监听器的地址要填写CDN绑定的域名，而不是IP地址了
PS：在创建监听器时，建议使用https模式。并且监听器的https上线端口不要使用默认的443，否则可能会无法正常上线。建议监听端口使用CDN支持的其它端口。
先在虚拟机里面打开个wireshark开启抓包模式，然后将马子丢到虚拟机里面执行。
此时在CS里面主机已经上线。然后看wireshark中的数据包，过滤服务器真实地址发现一条都没有，均是和CDN地址的交互数据。
下图筛选服务器地址：
下图筛选CDN地址：
至此CDN隐匿完成。
宅男深夜利器下载会对手机有影响吗
宅男深夜利器下载会对手机有影响。手机被可能被监听，而且手机内的数据，都会被拷贝走，你的个人信息，以及一些私人照片，都可能被泄露，甚至你还可能被“偷拍”，所以说，当你安装了这类软件后，就会经常接听到一些骚扰电话，并且收到大量的垃圾短信。
0条大神的评论