监听银行短信自动入账消费情况,用 Lumen 完成。

分享 CJ ⋅ 于 2017-10-08 19:48:49 ⋅ 最后回复由 CJ 2017-10-09 11:17:19 ⋅ 757 阅读

不知道大家平时是否记账,反正我是不记的。最近想知道平时都花了多少钱,比如做一个支出的趋势图看看,顺便在看看支出明细。

作为一个工程师,查看一下消费短信不是什么很酷的事情。如果可以把每一笔消费都记录在数据库里面,这件事情看起来比较酷。没事用SELECT查询消费清单,或者用GROUP sum 一下每段时间的消费总额。

思路是这样的,银行一般都有消费短信的提醒,分析短信的内容得到每一笔消费记录。开发一个Android的App,接收到短信后把短信内容发送给PHP后端程序分析并入库。我手上的有一台安卓备用机,除了分析支出之外,还要把其他所有的短信用邮件发送到我的邮箱。

先看看下面数据库保存支出的时间和金额,金额的单位按分保存。

mysql> select * from payments;
+----+------+-------+---------------------+---------------------+---------------------+
| id | bank | money | charge_time         | created_at          | updated_at          |
+----+------+-------+---------------------+---------------------+---------------------+
|  1 |      |  6000 | 2017-10-02 22:04:00 | 2017-10-05 00:02:56 | 2017-10-05 00:02:56 |
|  2 |      |  6000 | 2017-10-02 22:04:00 | 2017-10-05 00:12:29 | 2017-10-05 00:12:29 |
|  3 |      |  6000 | 2017-10-02 22:04:00 | 2017-10-05 00:15:06 | 2017-10-05 00:15:06 |
|  4 |      |  6000 | 2017-10-02 22:04:00 | 2017-10-05 00:15:14 | 2017-10-05 00:15:14 |
|  5 |      |    98 | 2017-10-05 08:28:00 | 2017-10-05 00:28:33 | 2017-10-05 00:28:33 |
|  6 |      |   351 | 2017-10-05 08:29:00 | 2017-10-05 00:29:19 | 2017-10-05 00:29:19 |
|  7 |      |    98 | 2017-10-05 08:33:00 | 2017-10-05 00:33:37 | 2017-10-05 00:33:37 |
|  8 |      |  3901 | 2017-10-05 08:35:00 | 2017-10-05 00:36:15 | 2017-10-05 00:36:15 |
|  9 |      |  1000 | 2017-10-06 06:25:00 | 2017-10-05 22:25:31 | 2017-10-05 22:25:31 |
| 10 |      |  4300 | 2017-10-07 04:17:00 | 2017-10-06 20:17:31 | 2017-10-06 20:17:31 |
| 11 |      | 17800 | 2017-10-07 05:48:00 | 2017-10-06 21:48:42 | 2017-10-06 21:48:42 |
| 12 |      |  2340 | 2017-10-07 07:09:00 | 2017-10-06 23:09:36 | 2017-10-06 23:09:36 |
| 13 |      |   450 | 2017-10-08 00:12:00 | 2017-10-07 16:12:16 | 2017-10-07 16:12:16 |
| 14 |      |  2700 | 2017-10-08 00:30:00 | 2017-10-07 16:30:28 | 2017-10-07 16:30:28 |
| 15 |      |  1100 | 2017-10-08 01:58:00 | 2017-10-07 17:58:37 | 2017-10-07 17:58:37 |
| 16 |      | 11600 | 2017-10-08 01:53:00 | 2017-10-07 17:59:00 | 2017-10-07 17:59:00 |
| 17 |      |  2800 | 2017-10-08 04:52:00 | 2017-10-07 20:52:19 | 2017-10-07 20:52:19 |
+----+------+-------+---------------------+---------------------+---------------------+
17 rows in set (0.00 sec)

邮件接收短信

用到的框架

因为后端只是提供一个接口保存支出和发送邮件,所以框架选择了精练的lumen,没有选择laravel。用symfony/swiftmailer 发送邮件。由于邮件发送过程通常需要很长时间,不希望支出接口把Android客户端请求Hold太久时间,所以用mqk/mqk做后台背景任务。

MQK是纯PHP的多进程背景任务处理框架,客户端使用K::invoke('Mailer', 'Subject', 'example@qq.com')发起一个异步调用。MQK会将任务进入消息队列,并在后台独立的进程里面执行。比较适合邮件发送这样的场景。

这里我使用了MQK的另外一个特性:事件机制,短信接口在接收到短信后派发一个事件到MQK。

事件机制相当于观察者模式,特别适合对代码进行解耦。另外MQK使用固定的进程池,和其他的消息队列组件不同。一般的消息队列组件会在消息到达的时候启动一个新的进程并在任务完成后销毁,在消息吞吐量比较大的时候会产生很大的开销。

而MQK使用和php-fpm类似的进程管理机制,启动固定的多个进程,进程数量不够的时候,再去动态的调整。

https://github.com/imcj/mqk 是MQK项目的地址,用 composer require mqk/mqk 安装。

  1. 定义短信保存接口的路由
# routes/web.php

$router->post('/', 'InboxController@sms');
  1. 实现控制器
    \K::dispatch 作用是派发事件,message.in 是事件名。MessageInEvent 是事件,定义App\Events\MessageInEvent
class InboxController
{
    public function sms(Request $request)
    {
        $sender = $request->get("sender");
        $message = $request->get("message");

        \K::dispatch("message.in", new MessageInEvent($sender, $message));
    }
}
  1. 定义MessageInEvent

    # app/Events/MessageInEvent.php
    class MessageInEvent extends \Symfony\Component\EventDispatcher\Event
    {
    public $sender;
    public $message;
    
    public function __construct($sender, $message)
    {
        $this->sender = $sender;
        $this->message = $message;
    }
    }
  2. 监听MessageIn事件
    \K::addListener 监听 message.in 事件,接收短信分析出时间和金额,然后保存。
    最后用Swift Mailer将短信转发到我的邮箱。

    # /bootstrap.php
    \K::addListener("message.in", function(MessageInEvent $event) {
    $sender = $event->sender;
    $message = $event->message;
    
    $financeMessage = new Message();
    $payment = $financeMessage->extract($message);
    
    if ($payment) {
        $payment->save();
    }
    
    $transport = (new \Swift_SmtpTransport(getenv("SMTP_HOST"), (int)getenv("SMTP_PORT"), 'ssl'))
        ->setUsername(getenv("SMTP_USER"))
        ->setPassword(getenv("SMTP_PASSWORD"));
    
    $mailer = new \Swift_Mailer($transport);
    $message = (new \Swift_Message("SMS from {$sender}"))
        ->setFrom(['weicongju@qq.com' => 'weicongju'])
        ->setTo(['weicongju@qq.com' => 'weicongju'])
        ->setBody($message);
    
    $mailer->send($message);
    });

使用qqq

上面的lumen项目已经把源代码push到github上了,只需要clone下来并部署一下就可以用了。

Download source code

$ git clone https://github.com/imcj/qqq 

安装依赖

$ composer install

配置数据库和SMTP

编辑 .env 文件

DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=data
DB_USERNAME=root
DB_PASSWORD=123456

SMTP_HOST=smtp.qq.com
SMTP_PORT=465
SMTP_USER=
SMTP_PASSWORD=

QUEUE_DRIVER=array

部署数据库

$ php artisan migate

运行演示

$ php -S localhost:8000 -t public

Android

Android完整源代码在 https://github.com/imcj/QQQAndroid

iOS没有办法监听短信,只能用一个Android备用机处理。思路是android.provider/Telephony.SMS_RECEIVED Intent 接收短信。

修改配置文件

拷贝 app/src/main/assets/config.properties.exampleapp/src/main/asset/config.properties

没有sentry的可以在 https://getsentry.com 申请并注册一个项目

app/src/main/assets/config.properties

apiURL=新部署的API URL
sentry=Sentry DSN

配置短信接收

配置IncomingBroadcastReceiver作为短信的Receiver 。

<application>
    <receiver android:permission="android.permission.BROADCAST_SMS" android:name=".IncomingBroadcastReceiver" android:enabled="true" android:exported="true">
            <intent-filter android:priority="2147483647">
                <action android:name="android.provider.Telephony.SMS_RECEIVED" />
            </intent-filter>
        </receiver>
</application>

在IncomingBroadcastReceiver中查询接收的短信。调HTTPGateway.sendMessage 发送短信。这里短信接收的接口使用MQK异步发送邮件和写入记录,接口响应时间只有40ms。

public class IncomingBroadcastReceiver extends BroadcastReceiver {

    HTTPGateway gateway;

    @Override
    public void onReceive(Context context, Intent intent) {

        final Bundle bundle = intent.getExtras();
        try {
            if (null == bundle)
                return;
            final Object[] objects = (Object[]) bundle.get("pdus");
            for (int i = 0, size = objects.length; i < size; i++) {
                SmsMessage smsMessage = SmsMessage.createFromPdu((byte[]) objects[i]);
                String phoneNumber = smsMessage.getDisplayOriginatingAddress();
                String body = smsMessage.getMessageBody();

                gateway.message(phoneNumber, body);

                Log.i("receive", phoneNumber + " " + body);
            }
        } catch (Exception e) {
            Log.e("Receive", e.getMessage());
        }

        Log.i("info", "On receive");
    }
}

Android异常重启

考虑到在莫名的情况下Android会崩溃,增加一个Android异常后重启的功能。设置默认的异常处理,出现异常的时候重启自己。

设置Application启动的Java类。

<application
    ...
    android:name=".QQQApplication">
</application>

在QQQApplication中捕获异常并重启App

public class QQQApplication extends Application {
    private static QQQApplication instance;

    @Override
    public void onCreate() {
        super.onCreate();

        instance = this;
        Thread.setDefaultUncaughtExceptionHandler(restartHandler);
    }

    private Thread.UncaughtExceptionHandler restartHandler = new Thread.UncaughtExceptionHandler() {

        public void uncaughtException(Thread thread, Throwable ex) {
            restartApp();
        }
    };

    public void restartApp() {
        Intent intent = new Intent(instance,MainActivity.class);
        intent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
        instance.startActivity(intent);
        android.os.Process.killProcess(android.os.Process.myPid());
    }
}

使用SentryAndroid捕获异常

Sentry是一个全平台的异常捕获软件,当软件出现异常时把错误信息发送到Sentry后台,方便出现问题的时候追踪错误

在MainActivity中配置Sentry。

public class MainActivity extends AppCompatActivity {
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
Context ctx = this.getApplicationContext();
        // Use the Sentry DSN (client key) from the Project Settings page on Sentry
        String sentryDsn = "https://[key]:[secret]@sentry.io/[id]?options";
        Sentry.init(sentryDsn, new AndroidSentryClientFactory(ctx));
    }
}
本帖已被设为精华帖!
本帖由 Summer 于 1周前 加精
回复数量: 2
  • leo MOD 不会写前端的后端不是好运维
    2017-10-08 21:38:53

    对于记账这个事,光靠短信是远远不够的,银行卡里资金的流入流出不等于你的收入支出,比如信用卡还款,从储蓄卡来看是一笔流出,但对于你来说只是一笔转账,你的总资产并没有变。

  • CJ
    2017-10-09 11:17:19

    @leo 这方面的确欠缺考虑,主要是为了去实践自动入账的想法。

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 Emoji 自动补全来咯,可用的 Emoji 请见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
Ctrl+Enter