MENU

Category: TJU

帕累托累积分布

前两天实验室师妹来问平时我们计算腹地的前百分之多少的人怎么定这个到底怎么计算,以及每次都要数据库到处数据excel算这个问题,想想自己也需要tableau连接数据库做可视化后挑选出相应的分段值,就想着写个脚本来实现。花了半个小时写了个直接读取csv输出最靠近10,20....90%分段值的数,查了下还是没搞明白是不是叫帕累托累积分布,不过应该是一种累积分布。

后续需要修改的就是让python直接读取postgresql数据库,然后在排序计算分段值,而且要提高下效率,现在的计算效率不是很高,不过现在能用就行(此处要配个罗玉龙那个又不是不能用的牌子233)。

顺便学了下github,把代码也放了上去,以后代码也都放github上。

https://github.com/imcake/pareto


#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Date    : 2018-11-01
# @Author  : imcake (likaike@gmail.com)
# @Link    : https://github.com/imcake

##############################################
# 计算累积频率分段值(帕累托图)
# 输入带有需要累积的值的csv文件和该值的字段名
# 输出百分之10-90对应的最相近数值
# 输出结果为字典,10:xxx, 20:xxx, ..., 90:xxx
#############################################
import pandas as pd


def get_pareto_penct(csv_name, value_column):
    data_df = pd.read_csv(csv_name, header=0)
    pencentList = []
    pencentage = 0
    for i in range(len(data_df)):
        rawList = data_df[value_column].tolist() # change colume to list
        rawList.sort(reverse=True)
        pencent = float(rawList[i]) / sum(rawList) * 100
        pencentage = pencentage + pencent # calculate the accumulated pencentage
        pencentList.append(pencentage)
    # add pencentage and raw date to a dict
    dictionary = dict(zip(pencentList, rawList))
    init_penct = [10, 20, 30, 40, 50, 60, 70, 80, 90]
    value = []
    for j in init_penct:
        # get the closest raw date of certain pencentage
        dict_key = min(pencentList, key=lambda x: abs(x - j))
        value.append(dictionary.get(dict_key))
    result_dict = dict(zip(init_penct, value))
    return result_dict


if __name__ == '__main__':
    csv_name = 'pareto.csv' # csv文件名
    value_column = 'TOTAL' # 需要累积的字段名
    print get_pareto_penct(csv_name, value_column)

又毕业了

三年很快,转眼又毕业了

学了点东西,还有很多没来得及学

滚到社会上继续学

再见,校园生活

致谢

交了评阅稿,不出意外毕业论文算是结束了,在写致谢的时候回顾了这三年,那些在我身边的人,与我擦肩而过的人,感谢你们,组成了我的这三年。

这篇论文是对三年研究生学习的总结,在三年的研究生生涯中,导师、父母、同学、朋友等都给予了无私的帮助,在此我向他们表示深深的感谢。

首先要感谢我的导师钮心毅老师,是钮老师带领着我走进了规划空间分析的世界。有幸师从三年,钮老师严谨的治学态度,活跃的学术思维,以及熟练的计算机编程让我在专业学习上受益匪浅。本论文在钮老师的悉心指导下完成,从开题到现在终稿,从前期的框架性构想到后期的文字修改,每一次讨论,每一次修改都凝聚了钮老师的智慧和心血。同时,钮老师的言传身教、平易近人不仅让我在学术上有了长足的进步,更让我学到了严于律已、谦虚谨慎的做人态度。在此向导师表示衷心的感谢和深深的敬意。

还要感谢宋小冬老师。作为规划技术方向的骨干,宋老师治学严谨,思维缜密,研究执着,同时宋老师淡薄名利,静下心来认真做研究几十年,这些都是我学习的榜样。虽然和宋老师交流不多,但是他乐观、崇高的人格魅力一直在感染和激励着我。

其次要感谢包豪斯大学的Wing Man Liza Kam(甘咏雯)博士。在包豪斯的一年中,Liza不仅在学习上,更是在生活上给予了我很大的帮助。在异国他乡,碰到各种生活学习问题去找Liza,她总是第一时间给予我帮助解决。要是没有Liza,我肯定不会这么顺利的度过这一年,在此向Liza表示衷心的感谢。

还有包豪斯大学的Britta Trostofff女士、Dagmar Kurthe女士,感谢她们在这一年中对我生活和学习上的帮助和支持。

此外还要感谢实验室的张海晔学长、丁亮学长、熊鹏、徐梦洁、沈天潭提供的宝贵建议,让我不断开阔思路。感谢林晓蓉学姐不断抽出时间与我讨论论文与专业内容。感谢单瑞琦、陈明磊、高雅、孙小淳在德国期间生活学习上的帮助。感谢三年中陪伴我身边的朋友。

最后,感谢我的父母,他们给予了我最大的宽容和爱护,给予了我无私的支持和鼓励。

最近的一些事

十一很快结束了,这个十一特别短暂,都是计划不如变化。党结婚去了一大帮人,然后有女朋友男朋友的都是准备结婚,单身的还都是游戏。读研的都毕业了,工作了,只有我得在今年形势这么差的时候准备开始投简历了(当然还有个余秀才,不在国内不算)。工作基本应该就找长三角的吧,其实应该说不是上海就是杭州吧。杭州挺好,上次去杭州和虎哥聊的也没和爸妈讲,讲了肯定劝我去杭州,但是上海还有我放不下的。后天各种宣讲会了,现在还是懒得搞个简历,Linkedin上整理了下,貌似也就这样,连个作品集啊没(连个作品啊没!)。还有快题没练,基本不会画了,两年没做项目了。还有论文要继续,回家一点啊没干。回个家碰到个亲戚都是该结婚了,搞得我再不结婚就是大逆不道了。事情太多感觉无从下手,逃避了一年的各种问题都集中在了这段时间,有点烦,很烦,非常烦。

本科毕业的时候也没有这么迷茫过,那时候算有目标吧,有目标总是好的。现在貌似没啥目标了,快点毕业算不算目标,赚钱算不算目标。那天台州回来的车上,蒙哥和阿莎在谈生孩子什么的,总感觉他们这一毕业就像瞬间两个世界了一样。那些和你一起抱怨导师,一起讨论找工作,一起有好多共同话题的小伙伴突然都没了,突然孤立的感觉,哎,人还是社会化的动物。

听着五月天的歌,仿佛又回到了年轻的时候。

熬过这个冬天就行。

bst g22 jinniu lilai opebet orange88 vinbet xbet yuebo zunlong shijiebei bet007 hg0088 ju111 letiantang m88 mayaba qg777 qianyiguoji sbf777 tengbohui tlc ule weilianxier waiweitouzhu xingfayule xinhaotiandi yinheyule youfayule zhongying 2018shijiebei w88 18luck 188bet beplay manbet 12bet 95zz shenbo weide1946 ca88 88bifa aomenxinpujing betway bodog bt365 bwin tongbao vwin weinisiren 88jt fenghuangyule hongyunguoji 918botiantang huanyayule jianada28 jixiangfang libo long8 hongzuyishi zuqiutouzhu