【Keras】Jupyter Notebook显示图片

在使用Keras做深度学习训练时,通常需要通过图形化方式展示每一轮的训练的损失、验证数据。 默认Jupyter Notebook不支持,可以通过生成配置并调整参数即可: 一.使用以下cmd命令生成ipython_config.py 文件

二.在ipython_config.py中添加以下代码(路径:C:\Users\[你的用户名]\.ipython\profile_default)

  0 0

【ML笔记】假设空间、版本空间

1.1、假设空间 监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测。模型属于由输入空间到输出空间的集合,这个集合就是假设空间。我们可以将学习过程看作是一个在所有假设组成的空间进行搜索的过程,搜索目标是找到与集合匹配的假设。 1.2、版本空间 与训练一致的“假设集合” 1.3、例子 假定我们已获得如下表的训练数据集

先来求假设空间: 这里我们的假设空间由形如“(色泽=?)^(根蒂=?)^(敲声=?)”的可能取值所形成的假设组成。 色泽有“青绿”和“乌黑”两种取值,还需考虑无论色泽取什么值都合适的情况,用通配符(*)表示。色泽属性共三种取值; 根蒂有“蜷缩”、“硬挺”和“稍蜷”三种取值,同理再加通配符(*)表示,根蒂属性共四种取值; 敲声有“浊响”、“清脆”和“沉闷”三种取值,同理再加通配符(*)表示,敲声属性共四种取值; 还有一种假设组成——可能”好瓜”这个概念就不成立,我们用∅表示这种假设。 那么,所对应的假设组成的个数为:3x4x4+1=49. 即表1所对应的假设空间的规模大小为49. 其中: 具体假设: 2x3x3=18 种 一个通配符:2×3+3×3+2×3=21种 两个通配符:2+3+3=8 种 三个通配符:1种 概念不存在:1种 以下列出该假设空间中的所有假设组成: (1)(色泽=青绿)^(根蒂=蜷缩)^(敲声=浊响) (2)(色泽=青绿)^(根蒂=蜷缩)^(敲声=清脆) (3)(色泽=青绿)^(根蒂=蜷缩)^(敲声=沉闷) (4)(色泽=青绿)^(根蒂=硬挺)^(敲声=浊响) (5)(色泽=青绿)^(根蒂=硬挺)^(敲声=清脆) (6)(色泽=青绿)^(根蒂=硬挺)^(敲声=沉闷) […]

mysql触发器

创建触发器:

0 0

win10安装django报错parser解决

家里集群服务器挂掉了,准备写个定制化的课程管理系统,pip安装django竟然失败了?? 环境:win10, Anaconda3(64bit), python3.6.3 在Anaconda Prompt中使用pip install命令时出现TypeError: parse() got an unexpected keyword argument ‘transport_encoding’的错误。 解决办法:

0 0

elasticsearch索引分片存储配置更新不成功问题

问题描述 需求描述 ES版本:5.2.2 集群节点:node_main,nodemain1,nodeleaf1,nodeleaf2 需求:因为几个集群主机上所拥有的硬盘容量大小不统一,其中nodeleaf2最大。要导入的数据量跟除了nodeleaf2之外的其他节点硬盘容量差不多,我们都知道es索引数据后,占用空间会至少是数据容量的double(由配置的索引分片数量决定)。所以希望导入的数据之索引后分片只存储在nodeleaf2节点上。 阻碍所在 按照官方的文档,先创建索引,然后设置即可,参考链接: https://www.elastic.co/guide/en/elasticsearch/reference/current/allocation-filtering.html 昨晚按照文档进行配置: 1)创建索引

2)排除分配节点

设置后导入数据是成功的,在排除掉的两个节点的data目录中对应索引文件夹,查看容量: 文件夹都是12k:

但是今天中午,排除三个节点的时候遇到了问题: 发现排除掉的三个节点,在创建索引并配置排除后,这三个被排除的节点上,对应索引文件夹大小不一样。导致导入数据也存到排除掉的三个节点上! 解决思路 排查 在排查前我的思路是: 配置的有问题 网络问题 其他 第二点的网络问题很好排查,在创建配置某索引的设置后,其他节点也会更新,并且生成文件了。 这样我觉得是我配置的问题,我又仔细的按照官网来来回回配置,并重新导入数据一个下午啊。结果还是不行。一路谷歌也不行。 饭还没做了,在准备6点的时候,想了下,去索引后存储的文件夹看看,结果发现建立索引并配置排除分配节点后,配置更新不成功的节点上,其索引存储文件夹除了“_state”文件夹还有其他文件夹(0、1、2等),然后对比了昨晚更新成功的排除节点,发现更新成功并不会存在其他文件夹(其实就是存储的索引的文件夹)。 解决方法 既然能有对比,我们创建索引后,配置排除节点后,手动删除更新不正确的节点中的索引目录下文件夹的除“_state”文件夹外的其他文件夹即可。 声明一下,这个解决办法可能会导致bug,目前暂未给ES官方提bug。本来想自己研究下问题,暂时没时间去看其源码。。。。。 1 0

Python_Map多线程的使用

很多次写脚本验证一些东西总会遇到需要多线程,目前最简单的是map。 1、单线程 含参数的情况:

无参数:

函数内部可以做你想做的,不做过多介绍. 2、多线程单参数 但是到了多线程:我们需要“并行”做一些事以便提高效率 用Map可以这样写:

以上线程数为4个线程并发。 以上传的是单个参数到并发线程函数中。 满足并发提高效率需求,棒! 3、多线程多参数 假如有这么一个需求:读取网页的信息,并统一存数据到某个文件夹中,以url作为文件名。 第2点的实例中只见传有一个参数,现在是传两个参数,一个是爬去的url,一个是文件夹路径。 可以这么写:

    0 0

Python模块:python-user-agents(解析浏览器用户代理User Agent)

user_agents提供了一个简单的方法来判断用户设备(手机、平板..)和使用什么类型的浏览器。它是基于ua-parser的。 安装:

使用:

它还提供了属性判断: is_mobile:判断是不是手机 is_tablet:判断是不是平板 is_pc:判断是不是桌面系统 is_touch_capable:有没有触屏功能 is_bot:是不是搜索引擎的爬虫 例如:

0 0

我是如何通过Fofa拿到Google $1337现金奖励的

文章已发布于Freebuf! 链接:http://www.freebuf.com/articles/web/138198.html 序 首先不得不感谢白帽汇旗下的Fofa这个网络空间数据平台,是它帮助我发现了下面提到的安全漏洞并获得的Google奖励!通过它可以很快地找到网络空间中的“目标”,白帽汇的Fofa网络空间搜索平台在平时可以帮助我们快速地对一些安全问题的影响范围进行数据统计。Fofa上有Web应用指纹和7000多条匹配规则,我们能想到的东西在Fofa上都能检索到的,比如通过Fofa三分钟内去了解一个Web 0Day漏洞在全球的影响分布情况。同时,个人觉得Fofa一个非常棒的地方就是能够帮助白帽子们挖洞赚“零花钱”,从Fofa的创始人也是Pangolin的作者口中得知Fofa会根据站点的更新频率来决定爬取信息,由此可猜想其Fofa产品的研发过程应是很注重细节的吧。 一、 发现的过程 时间回到5月8号的中午12点30分,饭后同事说新出的Jenknis漏洞RCE的EXP网上已经在转播了,当时记得那个漏洞是大概在5月1号出的,然后在网上迅速流出针对Jenknis2.23.1的RCE漏洞POC和EXP。 随后上了Fofa进行查询,查询语句:

当时第一眼的是ci.tensorflow.org,现在的检索结果已经改变了,难道是Fofa会判断是否存在漏洞,优先给出有漏洞的站点?如果是真的话,这对于白帽子是非常Nice的福利:)。 因为平时关注到机器学习和深度学习,当然就注意到了这个域名就是Google旗下的Tensorflow分支项目二级域名(当时心里想的是666啊)。 打开域名一看,果真是使用的Jenkins。 随后想到Tensorflow作为深度学习框架,又具有主从的测试机器。就99%肯定有Python环境了,所以思路是通过Jenkins Exp先上传可反弹Shell的Python脚本(这里的Py脚本应该尽量不引用第三方库),然后再执行上传的Python脚本。 Python脚本如下: 因为怕对应目标上有杀软之类的安全防护软件,所以选择反弹到53端口。 然后生成第一个下载文件的payload文件: 然后生成第二个反弹Shell的payload文件: 随后反弹成功:

当天中午13点11分左右匆忙写了封信给Google应急响应中心的三位大佬。很快三个小时后收到来信确认: 5月13号确认漏洞存在并打算奖励1337美刀:   二、 挖洞思路 1、关注Fofa等网络4平台; 国内外常见的网络空间数据平台有: 目前我也只买有Fofa的会员账号,毕竟相对好用。 注:最后一个“烛龙”是成都一家公司未上线的项目,考虑购买其系统的可以联系我,我可帮助你联系对方。 2、关注热门实时的漏洞,特别是高危漏洞 3、可尝试编写搭建自己的网络空间搜索平台。 专注于Alex排名前1000且给钱多的公司,比如关注其业务变动,新业务上线时和出新的高危漏洞是挖洞的最好时机(活少来钱快)。 三、 如何接收国外奖励 国内的现金奖励基本会要求漏洞提交者提供姓名、身份证、银行卡号、开户行地址。 然而国外公司不太一样,需要我们填写W8表单信息: 以Google为例总结下国外公司需要提交的信息和流程如下: 一、    注册为Google的供应商: 1、打印并填写W8表单,然后扫描填好的表单。 2、填写信息注册为Google供应商,填写地址: https://www.google.com/corporate/suppliers/business.html 3、在上面的表单最后记得提交填好的W8表单扫描附件(pdf/img) 二、    等待Google开PO PO的意思是purchaseorder,相当于Google收了我们帮他们挖洞(也属于劳动力,我们已经属于雇佣者),需要支付雇佣者奖励,自然需要开税单,也就是PO。 值得注意的是在开放PO之前需要先注册成为Google的供应商。 三、    耐心等待付款 1、 到银行取钱时需要向国家申报,然后等1-3个工作日就可以取钱(美刀)出来。 四、总结 时间线: 1、5月8号12:30-13:20在Fofa上找到Google漏洞站点并提交漏洞 2、5月8号Google接受漏洞等待审核 3、5月13号Google确认漏洞并打算奖励$1337 4、6月16号申请PO完毕(太懒一直没注册成为其供应商,逃…) […]

WannaCry勒索病毒一系列补丁包下载

提供下载的免疫工具软件为深信服科技股份有限公司版权所有,禁止用于商业。否则追究法律责任! 1、相关补丁包和免疫工具下载: 链接:http://pan.baidu.com/s/1dE3Dfxf 密码:2ck1 注意:Win 10 不受影响哦 2、补丁安装说明 确认系统是否已经打上sp1包(如下图,以win7为例) 看到service pack 1说明已经打上了,如果是没有service pack 字样则需要安装windows6.1-KB976932-X64.exe(系统是64位的安装这个),如果系统是32位的则安装windows6.1-KB976932-X86.exe 安装针对该病毒所利用漏洞的补丁包 点击WannaCry免疫工具.exe工具使系统对该病毒具有免疫功能(相当于给小朋友打疫苗)   2 1