iptables -I FORWARD -i zteb4mxqhb -j ACCEPTiptables -I FORWARD -o zteb4mxqhb -j ACCEPTiptables -t nat -I POSTROUTING -o zteb4mxqhb -j MASQUERADE ...继续阅读 (20)

下载 Visual Studio Code Web Serverwget -O vscode-web-server.tar.gz https://update.code.visualstudio.com/latest/server-linux-x64-web/stable tar -xvf vscode-web-server.tar.gz cd vscode-server-linux-x64-web创建启动文件vi server.sh列表项目#!/usr/bin/env sh # # Copyright (c) Microsoft Corporation. All rights reserved. # ROOT="$(dirname "$0")" "$ROOT/node" ${INSPECT:-} "$ROOT/out/server-main.js" --compatibility=1.63 "$@"启动通过 --host 和 --port 可以改变绑定的 ip 和端口./server.sh --accept-server-license-terms --host 0.0.0.0 --port 8189可以通过nohup或者pm2守护，也可以注册service ...继续阅读 (19)

github地址脚本主要用于方便学习，从不断配置环境中解脱出来,版本为hadoop2最后一个版本，可自行修改脚本调整版本信息为：hadoop 2.9.2hive 1.2.2(使用MapReduce引擎)mysql 5.7.6jdbc 5.1.48centos切换为root用户su root(可选)centos7初始化脚本，centos其他版本可将脚本内换源地址修改为想用版本号主要为yum换源及基础工具安装cd ~ curl -O https://cdn.jsdelivr.net/gh/shawn-ms/HadoopScript/centos/centos7_init.sh chmod 766 centos7_init.sh ./centos7_init.sh安装hadoopcd ~ curl -O https://file.masheng.fun/shell/centos_hadoop_install.sh chmod 766 centos_hadoop_install.sh ./centos_hadoop_install.sh[scode type="red"]执行1.安装hadoop前要先执行2 ssh localhost[/scode][scode type="yellow"]报错解决1：ssh: connect to host localhost port 22: Conn ...继续阅读 (18)

MySQL是一个开源数据库管理系统。它使用关系数据库和SQL（结构化查询语言）来管理其数据。本教程将解释如何在Ubuntu 18.04服务器上安装MySQL版本5.7。因为MySQL 5.7版本采用了全新安装机制，改善了MySQL的安全性，所以导致一些和以前安装不太一样。比如：root密码设置放置到了安装完成之后的安全设置中来（这个坑我爬了半天… …），还有一些其他的安全设置等。1.安装 mysql在Ubuntu 18.04上，默认情况下，只有最新版本的 MySQL 包含在APT软件包存储库中。目前来说是MySQL 5.7。首先在安装之前需要更新服务器上的软件包索引然后才能使用apt安装默认软件包：su root apt update apt install mysql-server接下来便会开始安装MySQL，但这里不会提示设置密码或进行任何其他配置更改。（这里与我在ubuntu 16.04上安装不一样。从网上查阅资料得知：因为这会使MySQL的安装不安全，目前已经使用在安装后执行安全设置来代替这一点）2.配置MySQL对于全新的安装模式，需要首先运行附带的安全脚本，这样才能进行接下来的数据库访问。 这改变了一些不太安全的默认选项，例如远程root登录和示例用户。 在旧版本的MySQL中，是需要手动初始化数据目录，但现在会自动完成。# 重启 MySQL 服务以保证 MySQL 已 ...继续阅读 (15)

更换清华源脚本https://tuna.moe/oh-my-tuna/例如oracle jdk等sdk在国内下载太慢，且限制诸多，故整理国内镜像链接v友整理的一份国内源、代理、前端公共库https://shimo.im/sheets/83H98wpYQJPDP3pxjavamavenhttps://developer.aliyun.com/mirror/mavenhttps://blog.csdn.net/map_cx/article/details/89473115oracle-jdkhttps://repo.huaweicloud.com/java/jdk/https://www.injdk.cn/open-jdkhttps://mirrors.huaweicloud.com/openjdk/adoptopenjdkhttps://adoptopenjdk.net/pythonpythonhttps://mirrors.huaweicloud.com/python/https://mirror.bjtu.edu.cn/python/piphttps://developer.aliyun.com/mirror/pypigitgit-for-windowshttps://mirrors.huaweicloud.com/git-for-windows/数据库mysqlhttps:// ...继续阅读 (18)

[button color="primary" icon="" url="https://own.masheng.fun/data/nanjing.csv" type=""]nanjing.csv[/button]import numpy as np import pandas as pdnames=['city','addr','rule','price','size','additional','zdate','unit'] df=pd.read_csv('/data/nanjing.csv',names=names) df.head()cityaddrrulepricesizeadditionalzdateunit0南京鼓楼-青云巷3室1厅1卫90012㎡电视 冰箱 洗衣机 空调 热水器 床 暖气 宽带 衣柜 天然气2020-03-08元/月(季付价)1南京鼓楼-南东瓜市2室0厅1卫160020㎡NaN2020-03-05元/月2南京鼓楼-五塘和园4室1厅1卫139012㎡冰箱 洗衣机 空调 热水器 床 宽带 衣柜2020-03-05元/月(月付价)3南京鼓楼-凤凰二村1室1厅1卫200027㎡NaN2020-03-06元/月4南京鼓楼-中海桃源里4室1厅1卫109010㎡冰箱 洗衣机 空调 热水器 床 宽带 衣柜2020-03-08元/月(月付价)df = df.filln ...继续阅读 (15)

HBase简介HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使用HBase，使用Ubuntu本地文件系统保存数据，不涉及数据的分布式存储HDFS；伪分布式模式：在一台计算机上模拟一个小的集群，数据使用分布式文件系统HDFS存储；分布式模式：使用多台计算机实现物理意义上的分布式存储。这里出于学习目的，我们只重点讨论单机模式和伪分布式模式。下载HBase安装文件cd /home wget https://mirrors.aliyun.com/apache/hbase/2.1.9/hbase-2.1.9-bin.tar.gz解压tar -zxvf /home/hbase-2.1.9-bin.tar.gz -C /usr/local cd /usr/local sudo mv hbase-2.1.9 hbase环境变量export HBASE_HOME=/usr/local/hbase export PATH=$PATH:${HBASE_HOME}/bin使环境变 ...继续阅读 (18)

基本参数调节以下参数是在自己的 MapReduce 应用程序中配置就可以生效mapreduce.map.memory.mb:一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb:一个 Reduce Task 可使用的资源上限（单位:MB），默认为 1024。如果 Reduce Task 实际使用的资源量超过该值，则会被强制杀死。mapreduce.map.cpu.vcores:每个 Maptask 可用的最多 cpu core 数目, 默认值: 1mapreduce.reduce.cpu.vcores:每个 Reducetask 可用最多 cpu core 数目默认值: 1mapreduce.map.java.opts:Map Task 的 JVM 参数，你可以在此配置默认的 java heap size 等参数, 例如：“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”（@taskid@会被 Hadoop 框架自动换为相应的 taskid）, 默认值: “”mapreduce.reduce.java.opts: Reduce Task 的 JVM 参数，你可以在此配置默认的 java heap s ...继续阅读 (22)

口红是一类唇用美容化妆品，其主要功能是赋予嘴唇以色调，强调或改变两唇的轮廓，显示出更有生气和活力。早在公元前3500年，人类便已开始使用一些带色的矿物和植物色素涂抹在面颊和唇上，以达到美容的目的。随着美容化妆品的发展，口红的色调、配方和功能都有较大的变化。口红的色调与女性的发型、指甲油色调和服装变化密切相关，变得更具有潮流色彩。特别是近年来各种珠光粉和处理颜料的使用，使口红的色调更加多样化，质感更加舒适。与其他美容化妆品的发展趋势相似，它继续保持美容为主，兼顾保湿、滋养和防晒功能。评论数分析评论数在一定程度上能够反映品牌的热度，Dior，资生堂，MAC,圣罗兰四大品牌热度远高于其他品牌，长期受到广大女性追捧,可以看到在网易考拉网上，迪奥的市场份额属于第一梯队，资生堂、圣罗兰、纪梵希、MAC属第二梯队。品牌产地这些热门品牌口红大多产于法国，法国占比达到52.2%,其次是美国，国产口红仅占比2.22%，欧洲系列口红显然更受消费者青睐品牌sku数SKU：SKU=Stock Keeping Unit(库存量单位) ，即库存进出计量的单位;以服装为例可以是以件为单位。是一种表示库存进出计量的单位，例如，盒，件。如今的sku被广泛引申为某款产品的统一编号的简称，每一个产品都有它独一无二的sku号。sku号包括其商品的品牌、型号、等级、配置、单位、用途、产地、价格、生产日期、保质期等等一系列属性 ...继续阅读 (19)

数据格式后端代码import pymysql from flask import Flask, render_template import json app = Flask(__name__) app.jinja_env.filters['zip'] = zip def handel(sql): conn = pymysql.connect( host='localhost', port=3306, user='root', password='123456', database='lagoudb', charset='utf8' ) cur = conn.cursor() cur.execute(sql) result = cur.fetchall() return result @app.route('/') def salary_average(): sql_city = "SELECT city FROM citys order by id" rs_city = handel(sql_city) citys = [] for i in rs_city: citys.append ...继续阅读 (17)

一盏灯， 一片昏黄； 一简书， 一杯淡茶。 守着那一份淡定， 品读属于自己的寂寞。 保持淡定， 才能欣赏到最美丽的风景！ 保持淡定， 人生从此不再寂寞。在日常的数据处理中，经常会对一个DataFrame进行逐行、逐列和逐元素的操作，对应这些操作，Pandas中的map,apply和applymap可以解决绝大部分这样的数据处理需求。这篇文章就以案例附带图解的方式，为大家详细介绍一下这三个方法的实现原理，相信读完本文后，不论是小白还是Pandas的进阶学习者，都会对这三个方法有更深入的理解。boolean=[True,False] gender=["男","女"] color=["white","black","yellow"] data=pd.DataFrame({ "height":np.random.randint(150,190,100), "weight":np.random.randint(40,90,100), "smoker":[boolean[x] for x in np.random.randint(0,2,100)], "gender":[gender[x] for x in np.random.randint(0,2,100)], "age":np.random.r ...继续阅读 (18)

要大笑、要做梦、要与众不同。人生是一场伟大的冒险。——《外婆的道歉信》为yum配置mysql57的源# 下载MySQL的repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm # 安装MySQL源 yum -y install mysql57-community-release-el7-10.noarch.rpm rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 # 通过yum安装MySQL yum -y install mysql-community-server启动mysql# 启动MySQL systemctl start mysqld.service # 查看其状态 systemctl status mysqld.service 看到 active(running) 即为正确运行，如下查看默认密码grep "password" /var/log/mysqld.log #查看结果如下：#登录 mysql -u root -p输入默认密码关闭弱密码限制和长度限制mysql> set global validate_password_policy=0; mysql> set globa ...继续阅读 (18)

《美国往事》里有句台词说："当我对世事厌倦的时候，我就会想到你。想到你在世界的某个地方生活着，存在着，我就愿意忍受一切。你的存在对我来说，很重要。安装hive之前，请完成： [post cid="3" /] [post cid="7" /]hdfs的启动不推荐mysql8,因为hive版本较旧在大多数的文章中，都是用cp hive-default.xml.template hive-site.xml的方式来配置hive-site.xml 我认为很不科学，因为这个文件有上万行，改动起来很麻烦，所以换了一种赋值方式下载、配置Hive下载wgethttps://mirrors.aliyun.com/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz安装Hive，并设置环境变量# 解压Hive 到安装目录/usr/local/ tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /usr/local/ # 编辑profile文件 配置Hive环境变量 vim /etc/profile # 配置的内容 # Hive export HIVE_HOME=/usr/local/apache-hive-1.2.2-bin export HIVE_CONF_DIR=$HIVE_HOME/conf export ...继续阅读 (12)

我希望自己能够有足够的运气和足够的勇气去见到命运里更多的不同的风。也期待在未来的日子里，能够被这些涌动的气流雕刻成不一样的山川与河流。 --《见风》厦门大学数据库实验室网站提供了阿里云构建大数据环境的详细流程，从服务器的配置到ubuntu的配置到大数据环境的搭建详情见dblab.xmu.edu一、安装jdk下载jdk直接wget下载到服务器wget https://repo.huaweicloud.com/java/jdk/8u191-b12/jdk-8u191-linux-x64.tar.gz或者自行下载上传点击这里下载官网下载上传到/home下，解压缩tar -zxvf /home/jdk-8u191-linux-x64.tar.gz -C /usr/local/将Java添加至环境变量vim /etc/profile 添加如下： export JAVA_HOME=/usr/local/jdk1.8.0_191 export PATH=$PATH:$JAVA_HOME/binsource /etc/profile 生效 java -version 检测一下 systemctl status firewalld 检查下防火墙状态 (如果为active状态,执行 systemctl stop firewalld systemctl disable firewalld)二 、环境配置 ...继续阅读 (14)

阿里云安装mongodb4.0下载$ cd /home $ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.16.tgz解压缩安装包，并重命名文件夹。tar -zxvf mongodb-linux-x86_64-4.0.16.tgz -C /usr/local/ mv mongodb-linux-x86_64-4.0.0 mongodb配置环境变量vim /etc/profile添加export MONGODB_HOME=/usr/local/mongodb export PATH=$MONGODB_HOME/bin:$PATH使环境变量生效source /etc/profile创建数据库目录$ cd /usr/local/mongodb $ touch mongodb.conf $ mkdir db $ mkdir log $ cd log $ touch mongodb.log修改mongodb配置文件vim /usr/mongodb/local/mongodb.conf添加如下port=27012 #修改端口，防止被攻击，默认是27017 dbpath= /usr/local/mongodb/db #数据库存文件存放目录 logpath= /usr/local/mongodb/log/mongodb ...继续阅读 (19)