Files
python/文档/基于数据表的数据基座技术思路.txt

43 lines
2.7 KiB
Plaintext
Raw Normal View History

2025-08-30 18:35:01 +08:00
数据上行办法
1、为每个厂商提供Mysql库,限定登录访问的IP地址,
对表授权,分配select ,insert 权限,没有Update,Delete权限
2、业务系统每天定时上报数据(频率视业务属性而定,可以是24小时,也可以是2小时)
3、此处创建表的结构信息为与电教馆、业务系统、业务部门共同讨论确定后的数据结构信息,参照国家相关标准
4、上报表为流水日志表,每次业务系统上报的数据,不能删除和修改,完整记录上报信息。
5、上报表需要增加一列,为上报时间列,可以理解为时间戳,后面的增量以此为标记进行提取。
6、数据基座 定时(比如每2小时),将各上报数据表中的数据进行检查,检查内容:
a) 教育机构十位标准代码 
b)教师编号 (以提供基础信息的系统,比如目前看是天喻公司提供的教师编号为准,它是guid,这里就是guid,下同)
c)班级编号
d)学生编号
采用类似于 select t1.*,t2.机构名称 from 业务表A as t1 left join 标准机构表 as t2 on t1.机构代码=t2.机构代码 where t1.上报时间>=2023-03-01 and t2.机构名称 is null
如果数据集不为空,说明存在不符合条件的上报数据,记录到上报异常日志表中,标识为待处理,同时,将符合检查条件的数据入库。
7、对应每一张上报日志表,有一张工作表,为最终真实结果。
8、业务系统通过读取错误日志表,修正后,重新上报数据,基座检查通过后,正确上报的数据,同步修改错误日志表中相应业务主键ID的数据信息为已处理。
------------------------------------------------------------------------
数据下行办法
1、以只读表方式提供数据下行
2、基座为每个厂商根据数据订阅权限范围,维护每个数据库帐号对某张表的权限设定,是否有select 权限。
3、要求各厂商,定期将获取到的数据同步到本地数据库中使用。
参考文档
https://blog.csdn.net/qq_43459116/article/details/124232387
优势:
1、长春政务云采用的数据上报方式中,主要办法是:可写数据库、同步API等方式,开放数据库方案也是主力方案。
2、无论是对业务提供方,还是基座方,逻辑简单,开发容易
缺陷:
1、不支持指定数据范围的授权,比如只想获取二道区的数据,目前无法实现。
解决办法:未来可采用细化授权区域的思路,在WEB上维护二道区,南关区等概念,指定创建create view的查询语句,然后将view提供给某个用户即可