金融 | 治理 | 科技

个人项目 \| W. Ding

English | 中文

  1. 标准化国家代码

    这个工具帮助社会科学的研究人员将各个数据来源中五花八门的国家名、国家代码标准划成统一的 ISO 国家编码。

    目前这套数据是横截面的。考虑政权变化的版本在计划中。如果您有兴趣加入此项目,请务必联系我!

  2. 标准化证券代码

    这套连接表帮助社会科学的研究人员将各个数据来源的证券代码和公司代码统一为 ISIN。

  3. 服务器使用指南

    关于如何远程连接、配置 Linux 服务器用于学术研究的操作指南。目前本网站只有中文版本。欢迎各位翻译该网站!

  4. 编程笔记

    在这个仓库中同步了我做过的编程或数据练习,主要是用 Python 写的。在首页罗列了一些我认为比较有趣、有价值的题目和我的解。欢迎尝试这些题目并提出思路和意见。

  5. PyReminder

    这是一个发送邮件的 Python 装饰器。在 Python 函数体前附加了该装饰器后,一旦该函数执行完毕,程序将按照状态向你发送一封邮件,既可以提示完成信息,也可以捕捉发送报错信息。这个工具特别适用于以下两个场景:

    • 周期性任务:比如每天定时的爬虫完成后,可以邮件提示你完成的情况。我们监视的网页随时可能会改版导致爬虫失败,这个工具可以及时的提醒你,从而尽快做出调整,避免损失观测数据。
    • 长耗时任务:对于机器学习或大型数据集的处理,常常需要等待较长的时间。通过应用该工具,你可以提交任务后放心的去做其他事情,等收到邮件提醒了再回来继续。
  6. Error Catcher

    这是一个用于捕获报错信息的 Python 装饰器。在捕获错误提示的同时,它还能捕获在该时刻(1)与该错误有关的变量的值和(2)其他你设定的感兴趣的变量的值。该装饰器返回的信息既可以是打印在命令行的,也可以是在日志文件中的。总结而言,该工具比原生的try & except在处理异常时更有用,同时更方便。

  7. 这是一系列用于将 SIC 行业分类转换为 Fama French 行业分类的表格。

  8. 微博爬虫框架

    基于 SQLite 和队列、以并发爬取的思路设计的微博爬虫,可以综合爬取用户、搜索、转发、评论、话题等。本项目完全只使用 Python 标准库。