首页
编程日记
ChatGpt专题
LINUX学习
Java学习
前端教程
单片机
python入门
操作系统
抽象代数
样本熵
当前安全上下文下访问数据库
pat考试
GPT-4
UGUI
ECDSA
运算符重载
cisp证书
filter
EmguCV
Java语言
存储
docker 搭建es7
dpdk
ssh工具
BCG
服务发现
pyhon
2024/4/12 5:10:48
python多线程采集高新技术企业名录
#3601 #coded by 伊玛目的门徒 import re import requests import time from bs4 import BeautifulSoup import pandas as pdurllist[] titlelist[]list0[] start time.clock() # 计时-开始from concurrent.futures import ThreadPoolExecutorheader{user-agent:Mozilla/5.0 …
阅读更多...
python在带单位的实验数据处理中的应用(python数据处理python正则匹配)
作为一名理工科实验狗,日常科研的数据经常很容易到100M,而用传统的excelorigin处理的方法需要消耗大量的时间因此,我用python写了数据处理的脚本,可以快速得到我想要的数据,将原来需要4个小时的数据处理工作缩短为4分钟…
阅读更多...
python xgboost踩坑實錄
python xgboost踩坑實錄前言載入模型載入數據參考連結前言 在python下運行xgboost有許多要注意的地方。 筆者在載入模型及載入數據的時候都踩了坑,為了避免再度踩坑,所以將解法記錄於此。 載入模型 如果儲存模型時是使用: model.save_mod…
阅读更多...
sympy高斯光束模型
文章目录Gauss模型sympy封装实战sympy.phisics.optics.gaussopt集成了高斯光学中的常见对象,包括光线和光学元件等,有了这些东西,就可以制作一个光学仿真系统。Gauss模型 高斯光束的基本模型为 E(r,z)E0ω0ω(z)exp[−r2ω2(z)]exp[−ik…
阅读更多...
爬虫之简单反爬虫措施和解决方法
0x01 常见的反爬虫 这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲,爬虫一般分为数据采集,处理…
阅读更多...
python 读文件并处理成DataFrame
1. 从hive表中批量读取数据,处理成DataFrame。 #!/usr/bin/python # -*- coding: UTF-8 -*- from pyhive import hive import pandas as pddef get_batch_data_from_hive(sql_str, batch_size100):# sql_str select * from zx_dm.lx_user_wt_gjc_contact_4_predic…
阅读更多...