aiopti_adam.h

Go to the documentation of this file.

 
#ifndef AIOPTI_ADAM
#define AIOPTI_ADAM
 
#include "core/aifes_core.h"
 
typedef struct aiopti_adam              aiopti_adam_t; 
typedef struct aiopti_adam_momentums    aiopti_adam_momentums_t; 
struct aiopti_adam {
    aiopti_t base; 
    void *beta1; 
    void *beta2; 
    void *eps; 
 
    void *beta1t; 
    void *beta2t; 
    void *one_minus_beta1; 
    void *one_minus_beta2; 
    void *lrt; 
 
 
    void (*multiply)(const aitensor_t *a, const aitensor_t *b, aitensor_t *result);
 
    void (*divide)(const aitensor_t *a, const aitensor_t *b, aitensor_t *result);
 
    void (*tensor_add)(const aitensor_t *a, const aitensor_t *b, aitensor_t *result);
 
    void (*tensor_sub)(const aitensor_t *a, const aitensor_t *b, aitensor_t *result);
 
    void (*scalar_mul)(const void *scalar, const aitensor_t *a, aitensor_t *result);
 
    void (*scalar_add)(const void *scalar, const aitensor_t *a, aitensor_t *result);
 
    void (*sqrt)(const aitensor_t *x, aitensor_t *result);
 
    void (*zero_tensor)(aitensor_t *tensor);
 
};
 
extern const aicore_optitype_t *aiopti_adam_type;
 
struct aiopti_adam_momentums {
    aitensor_t m; 
    aitensor_t v; 
};
 
aiopti_t *aiopti_adam(aiopti_adam_t *opti);
 
uint32_t aiopti_adam_sizeof_optimem(aiopti_t *self, const aitensor_t *params);
 
void aiopti_adam_init_optimem(aiopti_t *self, const aitensor_t *params, const aitensor_t *gradients, void *optimem);
 
void aiopti_adam_zero_gradients(aiopti_t *self, aitensor_t *gradients);
 
void aiopti_adam_update_params(aiopti_t *self, aitensor_t *params, const aitensor_t *gradients, void *optimem);
 
#ifdef AIDEBUG_PRINT_MODULE_SPECS
void aiopti_adam_print_specs(const aiopti_t *self);
#endif // AIDEBUG_PRINT_MODULE_SPECS
 
#endif // AIOPTI_ADAM